Apache Flink（一）：Apache Flink是什么？

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客

 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频

目录

1. Flink的定义

2. Flink前身Stratosphere

​​​​​​​3. Flink发展时间线及重大变更

在当前数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。目前比较流行的大数据处理引擎Apache Spark，基本上已经取代了MapReduce成为当前大数据处理的标准。随着数据的不断增长，人们逐渐意识到对实时数据处理的重要性。相对传统数据处理模式，流式数据处理有着更高的处理效率和成本控制要求。Apache Spark 不仅支持批数据计算还支持流式数据计算，但是SparkStreaming在底层架构、数据抽象等方面采用了批量计算的概念，其流计算的本质还是批(微批)计算。

近年来Apache Flink计算框架发展迅速，Flink以流处理为基础，对批数据也有很好的支持，尤其是在流计算领域相比其他大数据分布式计算引擎有着明显优势，能够针对流式数据同时支持高吞吐、低延迟、高性能分布式处理，Flink在未来发展上有着令人期待的前景。

​​​​​​​1. Flink的定义

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments, perform computations at in-memory speed and at any scale.

Flink可以处理批数据也可以处理流数据，本质上，流处理是Flink中的基本操作，流数据即无边界数据流，在Flink中处理所有事件都可看成流事件，批数据可以看成是一种特殊的流数据，即有边界数据流，这与Spark计算框架截然相反，在Spark中批处理是最基本操作，流事件可以划分为一小批一小批数据进行微批处理，来达到实时效果，这也是两者区别之一。

  • 无界流

有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。

  • 有界流

有定义流的开始，也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序，所以并不需要有序摄取。有界流处理通常被称为批处理。

Apache Flink 擅长处理无界和有界数据集，精确的时间控制和状态化使得 Flink 的运行时(runtime)能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理，产生了出色的性能。

Flink官网：https://flink.apache.org

​​​​​​​2. Flink前身Stratosphere

Flink最早是德国一些大学中的研究项目，并且早期项目名称也不是Flink，在2010~2014年间，由德国柏林工业大学、德国柏林洪堡大学和德国哈索·普拉特纳研究所联合发起名为“Stratosphere:Information Management on the Cloud”研究项目，该项目就是Flink的前身：Stratosphere项目。该项目创建初衷就是构建一个一数据库概念为基础、以大规模并行处理架构为支撑、以MapReduce计算模型为逻辑框架的分布式数据计算引擎，在此构想之上还引入了流处理，为后来的Flink发展打下良好基础。

2014年4月，Stratosphere代码被贡献给Apache软件基金会，成为Apache基金会孵化器项目，项目孵化期间，项目Stratosphere改名为Flink。Flink在德语中意为“敏捷、快速”，用来体现流式数据处理器速度快和灵活性强等特点，同时使用棕红色松鼠图案作为Flink项目的Logo，也是为了突出松鼠灵活快速的特点，由此，Flink正式进入社区开发者的视线。

Flink自从加入Apache后发展十分迅猛，自2014年8月发布0.6版本后，Flink仅用了3个月左右的时间，在2014年11月发布了0.7版本，该版本包含Flink目前为止最重要的 Flink Streaming 特性，2014年底，Flink顺利从孵化器“毕业”成为Apache顶级项目。随着Flink技术成为Apache顶级项目，Flink受到社区越来越多的关注，Flink逐步增加了很多核心的功能，例如：一致性语义、事件时间和Table API等，其功能和稳定性也不断得到完善。

早期Stratosphere项目的核心成员曾共同创办一家名叫“Data Artisans”的公司，其主要的任务就是致力于Flink技术的发展和商业化，2019年阿里巴巴收购了Data Artisans公司，并将其开发的分支Blink开源，越来越多的公司开始将Flink应用到他们真实的生产环境中，并在技术和商业上共同推动Flink的发展。

Flink逐步被广泛使用不仅仅是因为Flink支持高吞吐、低延迟和exactly-once语义的实时计算，同时Flink还提供基于流式计算引擎处理批量数据的计算能力，在计算框架角度真正实现了批流统一处理。目前，国内很多公司都已经大规模使用Flink作为分布式计算场景的解决方案，如：阿里巴巴、华为、小米等，其中，阿里巴巴已经基于Flink实时计算平台实现了对淘宝、天猫、支付宝等数据业务支持。

​​​​​​​3. Flink发展时间线及重大变更

Flink发展非常迅速，目前官网Flink最新版本是1.16版本，下面列举Flink发展过程中重要时间和重要版本发布时间点以及Flink各个版本推出的新特性以帮助大家更好了解Flink。

  • 2010~2014:德国柏林工业大学研究性项目Stratosphere，目标是建立下一代大数据分析引擎；
  • 2014-04-16:Stratosphere成为Apache 孵化项目，从Stratosphere0.6开始，正式更名为Flink，由Java语言编写；
  • 2014-08-26:Flink 0.6发布；
  • 2014-11-04:Flink 0.7.0发布，推出最重要的特性：Streaming API；
  • 2016-03-08:Flink 1.0.0，流处理基础功能完善，支持Scala；
  • 2016-08-08:Flink 1.1.0 版本发布，流处理基础功能完善；
  • 2017-02-06:Flink 1.2.0 版本发布，流处理基础功能完善；
  • 2017-06-01:Flink 1.3.0 版本发布，流处理基础功能完善；
  • 2017-11-29:Flink 1.4.0 版本发布，流处理基础功能完善；
  • 2018-05-25:Flink 1.5.0 版本发布，流处理基础功能完善；
  • 2018-08-08:Flink 1.6.0 版本发布，流处理基础功能完善，状态TTL支持；增强SQL和Table API；
  • 2018-11-30:Flink 1.7.0 版本发布，Scala2.12支持；支持S3文件处理；支持Kafka 2.0 connector；
  • 2019-04-09:Flink 1.8.0 版本发布，支持TTL清除旧状态；不再支持hadoop二进制文件；
  • 2019-01:阿里巴巴以9000万欧元价格收购Data Artisans公司，并开发内部版本Blink；
  • 2019年8月阿里巴巴开源Blink。
  • 2019-08-22:Flink 1.9.0 版本发布，主要特性如下：
    1. 合并阿里内部Blink；
    2. 重构Flink WebUI；
    3. Hive集成；
    4. Python Table API支持；
  • 2020-02-11:Flink 1.10.0 版本发布【重要版本】，主要特性如下：
    1. 整合Blink全部完成；
    2. 集成K8S；
    3. PyFlink优化；
    4. 内存管理配置优化；
  • 2020-07-06:Flink 1.11.0 版本发布【重要版本】，主要特性如下：
    1. 从Flink1.11开始,Blink planner是Table API/SQL中的默认设置，仍支持旧的Flink planner；
    2. Flink CDC支持；
    3. 支持Hadoop3.x版本，不提供任何更新的flink-shaded-hadoop-x jars，用户需要通过HADOOP_CLASSPATH环境变量（推荐）或 lib/ folder 提供 Hadoop 依赖项。
  • 2020-12-08:Flink 1.12.0 版本发布【重要版本】，主要特性如下：
    1. DataStream API 上添加了高效的批执行模式的支持，批处理和流处理实现真正统一的运行时的一个重要里程碑；
    2. 实现了基于Kubernetes的高可用性（HA）方案，作为生产环境中，ZooKeeper方案之外的另外一种选择；
    3. 扩展了 Kafka SQL connector，使其可以在 upsert 模式下工作，并且支持在 SQL DDL 中处理 connector 的 metadata；
    4. PyFlink 中添加了对于 DataStream API 的支持；
    5. 支持FlinkSink，不建议再使用StreamingFileSink；
  • 2021-04-30:Flink 1.13.0 版本发布，主要特性如下：
    1. SQL和表接口改进；
    2. 改进DataStream API和Table API/SQL之间的互操转换；
    3. Hive查询语法兼容性；
    4. PyFlink的改进；
  • 2021-09-29:Flink1.14.0 版本发布
    1. 改进批和流的状态管理机制;
    2. 优化checkpoint机制;
    3. 不再支持Flink on Mesos资源调度；
    4. 开始支持资源细粒度管理；
  • 2022-05-05:Flink1.15.0 版本发布，主要特性如下：
    1. Per-job任务提交被弃用，未来版本会丢弃，改用Application Mode。
    2. Flink依赖包不使用Scala的话可以排除Scala依赖项，依赖包不再包含后缀；
    3. 持续改进Checkpoint和两阶段提交优化；
    4. 对于Table / SQL用户，新的模块flink-table-planner-loader取代了flink-Table-planner_xx，并且避免了Scala后缀的需要；
    5. 添加对opting-out Scala的支持,DataSet/DataStream api独立于Scala,不再传递地依赖于它。
    6. flink-table-runtime不再有Scala后缀了；
    7. 支持JDK11,后续对JDK8的支持将会移除；
    8. 不再支持Scala2.11，支持Scala2.12；
    9. Table API & SQL优化，移除FlinkSQL upsert into支持；
    10. 支持最低的Hadoop版本为2.8.5；
    11. 不再支持zookeeper3.4 HA ,zookeeper HA 版本需要升级到3.5/3.6；
    12. Kafka Connector默认使用Kafka客户端2.8.1；
  • 2022-10-28:Flink1.16.0 版本发布，主要特性如下：
    1. 弃用jobmanager.sh脚本中的host/web-ui-port参数，支持动态配置；
    2. 删除字符串表达式DSL;
    3. 不再支持Hive1.x、2.1.x、2.2.x版本；
    4. 弃用StreamingFileSink，建议使用FileSink。
    5. 优化checkpoint机制；
    6. PyFlink1.16将python3.6版本标记为弃用，PyFlink1.16版本将成为使用python3.6版本最后一个版本；
    7. Hadoop支持3.3.2版本；
    8. Kafka支持3.1.1版本；
    9. Hive支持2.3.9版本；

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/198265.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

智能优化算法应用：基于花授粉算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于花授粉算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于花授粉算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用：基于花授粉算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.花授粉算法4.实验参数设定5.算法结果6.参考文献7.…
阅读更多...
python实现C++简易自动压行

python实现C++简易自动压行

突发奇想，想要将自己的c压行之后交上去。但是苦于手动压行效率太低，在网上搜索压行网站没有找到，突然发现压行不就是检查检查去个换行符吗。于是心血来潮，用python实现了一个简易压行程序。 首先，宏定义等带#的文件不…
阅读更多...
中间件安全：JBoss 反序列化命令执行漏洞.（CVE-2017-7504）

中间件安全：JBoss 反序列化命令执行漏洞.（CVE-2017-7504）

中间件安全：JBoss 反序列化命令执行漏洞.（CVE-2017-7504） JBoss 反序列化漏洞，该漏洞位于 JBoss 的 HttpInvoker 组件中的 ReadOnlyAccessFilter 过滤器中，其 doFilter 方法在没有进行任何安全检查和限制的情况下尝试…
阅读更多...
【LeetCode】每日一题 2023_11_28 设计前中后队列（数组/链表/双端队列）

【LeetCode】每日一题 2023_11_28 设计前中后队列（数组/链表/双端队列）

文章目录 刷题前唠嗑题目：设计前中后队列题目描述代码与解题思路偷看大佬题解 结语 刷题前唠嗑 LeetCode？启动！！！ 这道题的难度，才是我想象中的中等题的难度好吧，昨天那玩意对我来说还是太难了…
阅读更多...
【C++初阶】五、类和对象（日期类的完善、流运算符重载函数、const成员、“”取地址运算符重载）

【C++初阶】五、类和对象（日期类的完善、流运算符重载函数、const成员、“”取地址运算符重载）

相关代码gitee自取： C语言学习日记: 加油努力 (gitee.com) 接上期： 【C初阶】四、类和对象 （构造函数、析构函数、拷贝构造函数、赋值运算符重载函数）-CSDN博客 一 . 日期类的完善 此次日期类的成员函数，采用声明…
阅读更多...
java List集合（ArrayList，LinkedList，Vector）

java List集合（ArrayList，LinkedList，Vector）

Hi i,m JinXiang ⭐ 前言 ⭐ 本篇文章主要介绍java List集合的三种实现类ArrayList，LinkedList，Vector以及部分理论知识 🍉欢迎点赞 👍 收藏 ⭐留言评论 📝私信必回哟😁 🍉博主收将持续更新学习…
阅读更多...
python 爬虫之 爬取网站信息并保存到文件

python 爬虫之 爬取网站信息并保存到文件

文章目录 前期准备探索该网页的HTML码的特点开始编写代码存入文件总的程序文件存储效果 前期准备 随便找个网站进行爬取，这里我选择的是(一个卖书的网站） https://www.bookschina.com/24hour/62700000/ 我的目的是爬取这个网站的这个页面的书籍的名称以…
阅读更多...
JAVA基础进阶(六)

JAVA基础进阶(六)

一、包装类的作用 在Java中，包装类是一种用于将基本数据类型封装成对象的机制。 byte、short、int、long、float、double、char、boolean都是基本数据类型,不能当做对象使用。而这些基本数据类型都有对应的包装类,可以当做对象进行使用(包装类是引用数据类型)。 这…
阅读更多...
用Sublime编写Lua脚本

用Sublime编写Lua脚本

大家好，我是阿赵。   现在很多手游项目使用lua作为热更新的代码脚本，我一直很喜欢用Sublime来写lua程序。喜欢使用它的原因是它的轻量化，因为我经常要同时打开多个项目，Unity和VisualStudio这些软件都比较占用电脑的性能&#x…
阅读更多...
SpringBoot RestTemplate 的使用

SpringBoot RestTemplate 的使用

一、简介 RestTemplate 在JDK HttpURLConnection、Apache HttpComponents、OkHttp等基础上&#xff0c;封装了更高级别的API&#xff0c;默认依赖JDK HttpURLConnection&#xff0c;连接方式默认长连接。 二、使用 2.1、引入依赖 <dependency><groupId>org.spri…
阅读更多...
删除链表的倒数第N个节点，剑指offerII（21）,力扣

删除链表的倒数第N个节点，剑指offerII（21）,力扣

目录 题目地址&#xff1a; 题目&#xff1a; 相似类型题&#xff1a; 我们直接看本题题解吧&#xff1a; 解题方法&#xff1a; 难度分析&#xff1a; 解题分析&#xff1a; 解题思路&#xff08;双指针&#xff09;&#xff1a; 代码实现&#xff1a; 代码说明&#xff1a; 代…
阅读更多...
001-调用函数访问结构体数组成员，并修改其数值

001-调用函数访问结构体数组成员，并修改其数值

1 代码 /*调用函数访问结构体数组成员&#xff0c;并修改其数值 */ #include <stdio.h> /* for printf */ #include <stdlib.h> /* for exit */struct mytest{char a ;char b ;char c ; };void p_find_test(struct mytest *aaa) {struct mytest *test aaa…
阅读更多...
ubuntu改window任务栏

ubuntu改window任务栏

经常在ubuntu和win之间切换&#xff0c;任务栏的布局不统一会让人很别扭&#xff0c;个人很喜欢win任务栏的不折叠图标功能&#xff0c;而ubuntu没有&#xff0c;又很喜欢的ubuntu的多工作空间&#xff0c;效率比副屏还高&#xff0c;还可以自定义切换工作空间的快捷键。鱼和熊…
阅读更多...
创新、诚信、共赢：湖北乾一律师事务所领航律师行业新发展

创新、诚信、共赢：湖北乾一律师事务所领航律师行业新发展

湖北乾一律师事务所: 一、引言 律师行业在现代社会中扮演着举足轻重的角色,为公民、法人和其他组织提供法律服务,维护法律权益,促进法治建设。湖北乾一律师事务所作为业内的佼佼者,凭借其专业素养、丰富经验和卓越声誉,成为了律师行业的典范。 二、湖北乾一律师事务所概况 …
阅读更多...
振南技术干货集：znFAT 硬刚日本的 FATFS 历险记（8）

振南技术干货集：znFAT 硬刚日本的 FATFS 历险记（8）

注解目录 1、znFAT 的起源 1.1 源于论坛 &#xff08;那是一个论坛文化兴盛的年代。网友 DIY SDMP3 播放器激起了我的兴趣。&#xff09; 1.2 硬盘 MP3 推了我一把 &#xff08;“坤哥”的硬盘 MP3 播放器&#xff0c;让我深陷 FAT 文件系统不能自拔。&#xff09; 1.3 我…
阅读更多...
day66

day66

今日回顾内容 web框架 django 路由控制 视图层 web框架 一、什么是web框架 Web框架&#xff08;Web framework&#xff09;是一种开发框架&#xff0c;用来支持动态网站、网络应用和网络服务的开发。这大多数的web框架提供了一套开发和部署网站的方式&#xff0c;也为web行…
阅读更多...
osgFX扩展库-异性光照、贴图、卡通特效（1）

osgFX扩展库-异性光照、贴图、卡通特效（1）

本章将简单介绍 osgFX扩展库及osgSim 扩展库。osgFX库用得比较多,osgSim库不常用&#xff0c;因此&#xff0c;这里只对这个库作简单的说明。 osgFX扩展库 osgFX是一个OpenSceneGraph 的附加库&#xff0c;是一个用于实现一致、完备、可重用的特殊效果的构架工具&#xff0c;其…
阅读更多...
figma 基础使用——准备阶段

figma 基础使用——准备阶段

1. 注册账号 2. figma有客户端也有网页端&#xff0c;使用注意同步字体 之后点击下载window installeer 字体 3. 安装 Figma汉化包 通过figma.cool 网站&#xff0c;下载离线的汉化包 之后通过谷歌的扩展程序添加
阅读更多...
Charles下载安装及配置之Mac

Charles下载安装及配置之Mac

因工作需要用到抓包工具&#xff0c;但Fiddler不能在mac上使用&#xff0c;所以找到了Charles&#xff0c;Charles其实是一款代理服务器&#xff0c;通过过将自己设置成系统&#xff08;电脑或者浏览器&#xff09;的网络访问代理服务器&#xff0c;然后截取请求和请求结果达到…
阅读更多...
WordPress自动采集伪原创发布工具

WordPress自动采集伪原创发布工具

在当今数字化时代&#xff0c;随着信息爆炸式增长&#xff0c;网站内容的更新速度飞快。对于拥有WordPress网站的用户而言&#xff0c;如何轻松而又快速地批量采集伪原创内容成为一项具有挑战性的任务。本文将专心分享一些方法和技巧&#xff0c;帮助WordPress用户实现批量采集…
阅读更多...
最新文章

Copyright @ 2022~2023