1.什么是Flink
是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。
官网：Flink
2.Flink的发展历史
-
Flink起源于一个叫作Stratosphere的项目，它是由3所地处柏林的大学和欧洲其他一些大学在2010~2014年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科(Volker Markl)领衔开发。2014年4月，Stratosphere的代码被复制并捐赠给了Apache软件基金会，Flink就是在此基础上被重新设计出来的。
-
在德语中，“flink”’一词表示“快速、灵巧”。
-
项目的logo是一只彩色的松鼠。（如下图）
-
2014年8月，Flimnk第一个版本0.6正式发布，与此同时Fink的几位核心开发者创办Data Artisans公司；
-
2014年12月，Flink项目完成孵化；
-
2015年4月，Flink发布了里程碑式的重要版本0.9.0；
-
2019年1月，长期对Flink投入研发的阿里巴巴，以9000万欧元的价格收购了Data Artisans公司；
-
2019年8月，阿里巴巴将内部版本Blink开源，合并入Flink1.9.0版本。
3.有界流和无界流
3.1 无界数据流
- 有定义流的开始，但没有定义流的结束；
- 它们会无休止的产生数据；
- 无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能得到所有数据都到达再处理，因为输入是无限的。
3.2 有界数据流
- 有定义流的开始，也有定义流的结束；
- 有界流可以在摄取所有数据后再进行计算；
- 有界流的数据可以被排序，所以并不需要有序摄取。
4.有状态流处理
- 把流处理需要的额外数据保存成一个“状态”，然后针对这条数据进行处理，并且更新状态；
- 状态在内存中：优点，速度快；缺点，可靠性差；
- 状态在分布式系统中：优点，速度慢；缺点，可靠性高。
5.Flink特点
处理数据的目标：低延迟、高吞吐、结果的准确性和良好的容错性。
5.1 批流统一
- 同一套代码，可以跑流也可以跑批；
- 同一个SQL，可以跑流也可以跑批。
5.2 性能卓越（每秒处理数百万个事件，毫秒级延迟）
- 高吞吐；
- 低延时。
5.3 规模计算
- 支持水平扩展架构；
- 支持超大状态与增量检查点机制。
5.4 生态兼容
- 支持与Yarn集成；
- 支持与Kubernetes集成；
- 支持单机模式运行。
5.5 高容错
- 故障自动重试；
- 一致性检查点；
- 保证故障场景下精确一次的状态一致性。（Flink提供了事件时间(event-time)和处理时间(processing-time)语义。对于乱序事件流，事件时间语义仍然能提供一致且准确的结果。）
5.6 高可用
- 本身高可用的设置，加上与K8S，YARN和Mesos的紧密集成，再加上从故障中快速恢复和动态扩展任务的能力，Flink能做到以极少的停机时间7x24全天候运行。
6.Flink的应用场景
- 电商和市场营销：实时数据报表、广告投放、实时推荐；
- 物联网(IOT)：传感器实时数据采集和显示、实时报警，交通运输业；
- 物流配送和服务业：订单状态实时更新、通知信息推送；
- 银行和金融业：实时结算和通知推送，实时监测异常行为。
7.Fllink分层API
- 有状态流处理:通过底层API(处理函数)，对最原始数据加工处理。底层API与DataStream API相集成，可以处理复杂的计算。
- DataStream API(流处理)和DataSet API(批处理)封装了底层处理函数，提供了通用的模块，比如转换(transformations，包括map、flatmap等)，连接(joins)，聚合(aggregations)，窗口(windows)操作等。注意:Flink1.12以后，DataStream
API已经实现真正的流批一体，所以DataSet API已经过时。 - Table API是以表为中心的声明式编程，其中表可能会动态变化。Table API遵循关系模型:表有二维数据结构，类似于关系数据库中的表;同时API提供可比较的操作，例如select、project、join、group-by、aggregate等。我们可以在表与DataStream/Dataset 之间无缝切换，以允许程序将Table API与DataStream以及DataSet混合使用。
- SQL这一层在语法与表达能力上与 Table API类似，但是是以SQL查询表达式的形式表现程序。SQL抽象与Table
API交互密切，同时SOL查询可以直接在Table API定义的表上执行。
