1.复杂事件处理
大数据应用领域存在业务逻辑非常复杂的应用系统,比如,一个应用要检测特定顺序先后发生的一组事件,对事件组进行分析或报警提示,若使用SQL 或者DataStream API 处理这类应用,过程相对来说比较复杂。例如,针对用户登录的应用场景,需要检测用户连续登录失败事件的发生。一次登录失败可以定义为一个事件,两次登录失败就可以定义为两个事件的组合。电商系统需要检测用户“下订单和支付”的行为,这也可以定义为组合事件,即“下订单”和“支付”两个事件的组合,这两个事件之间存在着时间先后的关系,“下订单”事件在“支付”事件之前完成,电商应用系统可能还会约定“下订单”事件和“支付”事件的时间限制,也就是说,如果“下订单”后超过了约定的时间没有“支付”,“支付”就失效了。类似这样多个事件的组合称为“复杂事件”。对于复杂事件的处理,由于涉及事件的严格顺序,有时还有时间约束,很难直接用FlinkSQL 或者DataStream API 来完成,即使使用这些API 可以实现复杂事件的处理,实现的复杂度也会非常高,程序的可维护性也相对比较差。对于这类复杂事件的处理,Flink 提供了专门用于处理复杂事件的库CEP,通过使用CEP 提供的API 进行开发,可以比较容易地解决这类问题。
2.CEP 简介
Flink CEP 是Flink 提供的用于处理复杂事件的库。CEP 是针对流处理而言的,分析的是低延迟、频繁产生的事件流,主要目的是在无界流中检测特定的数据组合,以便进行后续处理。“复杂事件处理”可以在事件流中检测到特定的事件组合并进行处理,例如,“连续登录失败”或者“订单支付超时”这样的事件组合。处理过程是把事件流中的一个个简单事件,通过一定的规则匹配组合起来,构成“复杂事件”,然后基于这些满足规则的一组组复杂事件进行转换处理,得到结果并输出。复杂事件处理的流程可以分成如下3 个步骤。
(1)定义复杂事件的一个匹配规则。
(2)将匹配规则应用到事件流上,检测满足规则的复杂事件。
(3)对检测到的复杂事件进行处理,得到结果并输出。
图 7-1 展示了复杂事件处理的示意图。输入的事件流是不同的几何形状,如圆形、矩形和三角形。然后定义匹配规则“在圆形后面紧跟着三角形”,现在将这个规则应用到输入的事件流上,就可以检测到3 组匹配的复杂事件,它们构成了一个新的“复杂事件流”,事件流中的数据就变成了一组一组的复杂事件,每个事件组合都包含了一个圆形和一个三角形。接下来就可以针对检测到的复杂事件进行后续处理,例如,输出一个提示信息或者报警信息。
3.模式
基于Flink CEP 开发程序的第一步是定义事件的匹配规则,这个匹配规则叫作“模式”(Pattern)。模式主要包括如下两部分内容。
● 简单事件的特征。例如,以上提到的不同形状的几何图形,不同的形状就是不同的特性。
● 简单事件之间的组合关系。事件之间的组合关系主要是指“近邻关系”,也就是说,一个事件跟着另一个事件出现的情况是否存在。“近邻关系”可以定义为严格的近邻关系,也可以定义为宽松的近邻关系。严格的近邻关系是指两个事件之间不存在任何其他事件,非严格的宽松的近邻关系是指两个事件之间允许存在其他事件,两个事件只需前后顺序正确就可以。除了近邻关系以外,还可以扩展模式的功能,例如,匹配检测的时间限制;每个简单事件是否可以重复出现;对于事件可重复出现的模式,遇到一个匹配模式后是否跳过后面的匹
4.Flink CEP 应用场景
Flink CEP 主要用于实时流数据的分析处理。Flink CEP 可以帮助在复杂的事件流中找出那些有意义的事件组合,进而近实时地分析判断、输出信息或报警。Flink CEP 在企业项目的风控控制、用户画像和运维监控中都有非常重要的应用。
● 风险控制:设定行为模式对用户的异常行为进行实时监测。当用户行为符合异常行为模式,例如短时间内频繁登录失败、在电商网站大量下订单却不支付,就可以向用户发送报警提示,可以有效地控制用户和平台的风险。
● 用户画像:利用预先定义好的模式,对用户的行为轨迹进行实时跟踪,从而检测出具有特定行为习惯的用户,画出相应的用户画像。基于用户画像可以进行精准营销,即向行为匹配预定义规则的用户实时发送相应的营销推广。
● 运维监控:对于企业服务的运维管理,可以利用CEP 灵活配置多指标、多依赖来实现更复杂的监控模式。