1.Flink 是如何支持批流一体的?
F link 通过一个底层引擎同时支持流处理和批处理.
在流处理引擎之上,F link 有以下机制:
1)检查点机制和状态机制:用于实现容错、有状态的处理;
2)水印机制:用于实现事件时钟;
3)窗口和触发器:用于限制计算范围,并定义呈现结果的时间。
在同一个流处理引擎之上,F link 还存在另一套机制,用于实现高效的批处理。
1)用于调度和恢复的回溯法: 由 Microsoft Dryad 引入,现在几乎用于所有批处理器;
2)用于散列和排序的特殊内存数据结构:可以在需要时,将一部分数据从内存溢出到硬盘上; 3.优化器:尽可能地缩短生成结果的时间。