Flink理论—容错之状态后端(State Backends)

Flink理论—容错之状态后端(State Backends)

Flink 使用流重放和 检查点的组合来实现容错。检查点标记每个输入流中的特定点以及每个运算符的相应状态。通过恢复运算符的状态并从检查点点重放记录，可以从检查点恢复流数据流，同时保持一致性

容错机制不断地绘制分布式流数据流的快照。对于小状态的流式应用程序来说，这些快照非常轻量，可以频繁绘制，而不会对性能产生太大影响。流应用程序的状态存储在可配置的位置，通常存储在分布式文件系统中。

状态后端的分类

由 Flink 管理的 keyed state 是一种分片的键/值存储，每个 keyed state 的工作副本都保存在负责该键的 taskmanager 本地中。另外，Operator state 也保存在机器节点本地。Flink 定期获取所有状态的快照，并将这些快照复制到持久化的位置，例如分布式文件系统。

如果发生故障，Flink 可以恢复应用程序的完整状态并继续处理，就如同没有出现过异常。

Flink 管理的状态存储在 state backend 中。Flink 有两种 state backend 的实现 – 一种基于 RocksDB 内嵌 key/value 存储将其工作状态保存在磁盘上的，另一种基于堆的 state backend，将其工作状态保存在 Java 的堆内存中。

这种基于堆的 state backend 有两种类型：

  1. FsStateBackend，将其状态快照持久化到分布式文件系统
  2. MemoryStateBackend，它使用 JobManager 的堆保存状态快照。
名称Working State状态备份快照
RocksDBStateBackend本地磁盘（tmp dir）分布式文件系统全量 / 增量
支持大于内存大小的状态经验法则：比基于堆的后端慢10倍
FsStateBackendJVM Heap分布式文件系统全量
快速，需要大的堆内存受限制于 GC
MemoryStateBackendJVM HeapJobManager JVM Heap全量
适用于小状态（本地）的测试和实验

当使用基于堆的 state backend 保存状态时，访问和更新涉及在堆上读写对象。但是对于保存在 RocksDBStateBackend 中的对象，访问和更新涉及序列化和反序列化，所以会有更大的开销。

但 RocksDB 的状态量仅受本地磁盘大小的限制。还要注意，只有 RocksDBStateBackend 能够进行增量快照，这对于具有大量变化缓慢状态的应用程序来说是大有裨益的。

所有这些 state backends 都能够异步执行快照，这意味着它们可以在不妨碍正在进行的流处理的情况下执行快照。

状态快照

Checkpoint Storage

Flink 定期对每个算子的所有状态进行持久化快照，并将这些快照复制到更持久的地方，例如分布式文件系统。 如果发生故障，Flink 可以恢复应用程序的完整状态并恢复处理，就好像没有出现任何问题一样。

这些快照的存储位置是通过作业_checkpoint storage_定义的。 有两种可用检查点存储实现：一种持久保存其状态快照 到一个分布式文件系统，另一种是使用 JobManager 的堆。

名称状态备份
FileSystemCheckpointStorage分布式文件系统
支持非常大的状态大小高度可靠推荐用于生产部署
JobManagerCheckpointStorageJobManager JVM Heap
适合小状态（本地）的测试和实验
定义
  • 快照 – 是 Flink 作业状态全局一致镜像的通用术语。快照包括指向每个数据源的指针（例如，到文件或 Kafka 分区的偏移量）以及每个作业的有状态运算符的状态副本，该状态副本是处理了 sources 偏移位置之前所有的事件后而生成的状态。
  • Checkpoint – 一种由 Flink 自动执行的快照，其目的是能够从故障中恢复。Checkpoints 可以是增量的，并为快速恢复进行了优化。
  • 外部化的 Checkpoint – 通常 checkpoints 不会被用户操纵。Flink 只保留作业运行时的最近的 n 个 checkpoints（n 可配置），并在作业取消时删除它们。但你可以将它们配置为保留，在这种情况下，你可以手动从中恢复。
  • Savepoint – 用户出于某种操作目的（例如有状态的重新部署/升级/缩放操作）手动（或 API 调用）触发的快照。Savepoints 始终是完整的，并且已针对操作灵活性进行了优化。
状态快照如何工作

Flink 使用 Chandy-Lamport algorithm 算法的一种变体，称为异步 barrier 快照（asynchronous barrier snapshotting）。

当 checkpoint coordinator（job manager 的一部分）指示 task manager 开始 checkpoint 时，它会让所有 sources 记录它们的偏移量，并将编号的 checkpoint barriers 插入到它们的流中。这些 barriers 流经 job graph，标注每个 checkpoint 前后的流部分。

image-20240216090254496

Checkpoint n 将包含每个 operator 的 state，这些 state 是对应的 operator 消费了严格在 checkpoint barrier n 之前的所有事件，并且不包含在此（checkpoint barrier *n*）后的任何事件后而生成的状态。

当 job graph 中的每个 operator 接收到 barriers 时，它就会记录下其状态。拥有两个输入流的 Operators（例如 CoProcessFunction）会执行 barrier 对齐（barrier alignment） 以便当前快照能够包含消费两个输入流 barrier 之前（但不超过）的所有 events 而产生的状态。

image-20240216090306720

Flink 的 state backends 利用写时复制（copy-on-write）机制允许当异步生成旧版本的状态快照时，能够不受影响地继续流处理。只有当快照被持久保存后，这些旧版本的状态才会被当做垃圾回收。

精确性保证

确保精确一次（exactly once）

当流处理应用程序发生错误的时候，结果可能会产生丢失或者重复。Flink 根据你为应用程序和集群的配置，可以产生以下结果：

  • Flink 不会从快照中进行恢复（at most once）
  • 没有任何丢失，但是你可能会得到重复冗余的结果（at least once）
  • 没有丢失或冗余重复（exactly once）

Flink 通过回退和重新发送 source 数据流从故障中恢复，当理想情况被描述为精确一次时，这并不意味着每个事件都将被精确一次处理。相反，这意味着 每一个事件都会影响 Flink 管理的状态精确一次。

Barrier 只有在需要提供精确一次的语义保证时需要进行对齐（Barrier alignment）。如果不需要这种语义，可以通过配置 CheckpointingMode.AT_LEAST_ONCE 关闭 Barrier 对齐来提高性能。

端到端精确一次

为了实现端到端的精确一次，以便 sources 中的每个事件都仅精确一次对 sinks 生效，必须满足以下条件：

  1. 你的 sources 必须是可重放的，并且
  2. 你的 sinks 必须是事务性的（或幂等的）

状态后端配置

我们在上面的内容中讲到了 Flink 的状态数据可以存在 JVM 的堆内存或者堆外内存中，当然也可以借助第三方存储。默认情况下，Flink 的状态会保存在 taskmanager 的内存中，Flink 提供了三种可用的状态后端用于在不同情况下进行状态后端的保存。

  • MemoryStateBackend
  • FsStateBackend
  • RocksDBStateBackend
MemoryStateBackend

顾名思义，MemoryStateBackend 将 state 数据存储在内存中，一般用来进行本地调试用，我们在使用 MemoryStateBackend 时需要注意的一些点包括：

每个独立的状态（state）默认限制大小为 5MB，可以通过构造函数增加容量
状态的大小不能超过 akka 的 Framesize 大小
聚合后的状态必须能够放进 JobManager 的内存中

MemoryStateBackend 可以通过在代码中显示指定：

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.setStateBackend(new MemoryStateBackend(DEFAULT_MAX_STATE_SIZE,false));

其中，new MemoryStateBackend(DEFAULT_MAX_STATE_SIZE,false) 中的 false 代表关闭异步快照机制。关于快照，我们在后面的课时中有单独介绍。

很明显 MemoryStateBackend 适用于我们本地调试使用，来记录一些状态很小的 Job 状态信息。

FsStateBackend

FsStateBackend 会把状态数据保存在 TaskManager 的内存中。CheckPoint 时，将状态快照写入到配置的文件系统目录中，少量的元数据信息存储到 JobManager 的内存中。

使用 FsStateBackend 需要我们指定一个文件路径，一般来说是 HDFS 的路径，例如，hdfs://namenode:40010/flink/checkpoints。

我们同样可以在代码中显示指定：

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStateBackend(new FsStateBackend("hdfs://namenode:40010/flink/checkpoints", false));

FsStateBackend 因为将状态存储在了外部系统如 HDFS 中，所以它适用于大作业、状态较大、全局高可用的那些任务。

RocksDBStateBackend

RocksDBStateBackend 和 FsStateBackend 有一些类似，首先它们都需要一个外部文件存储路径，比如 HDFS 的 hdfs://namenode:40010/flink/checkpoints，此外也适用于大作业、状态较大、全局高可用的那些任务。

但是与 FsStateBackend 不同的是，RocksDBStateBackend 将正在运行中的状态数据保存在 RocksDB 数据库中，RocksDB 数据库默认将数据存储在 TaskManager 运行节点的数据目录下。

这意味着，RocksDBStateBackend 可以存储远超过 FsStateBackend 的状态，可以避免向 FsStateBackend 那样一旦出现状态暴增会导致 OOM，但是因为将状态数据保存在 RocksDB 数据库中，吞吐量会有所下降。

此外，需要注意的是，RocksDBStateBackend 是唯一支持增量快照的状态后端。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/400272.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Git笔记——1

Git笔记——1

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 Git安装_centos 创建本地仓库 配置本地仓库 添加文件——场景一 查看.git文件 添加文件——场景二 修改文件 版本回退 总结 前言 世上有两种耀眼的光芒&#…
阅读更多...
基于Java (spring-boot)的社区物业管理系统

基于Java (spring-boot)的社区物业管理系统

一、项目介绍 本系统共分为两个角色：管理员和业主。 主要功能有，核心业务处理，基础信息管理，数据统计分析 核心业务处理：车位收费管理，物业收费管理，投诉信息管理，保修信息管理。 …
阅读更多...
大数据计算技术秘史（上篇）

大数据计算技术秘史（上篇）

在之前的文章《2024 年，一个大数据从业者决定……》《存储技术背后的那些事儿》中，我们粗略地回顾了大数据领域的存储技术。在解决了「数据怎么存」之后，下一步就是解决「数据怎么用」的问题。 其实在大数据技术兴起之前，对于用户…
阅读更多...
什么是HTTP代理，socks5代理？它们的区别是什么？

什么是HTTP代理，socks5代理？它们的区别是什么？

什么是HTTP代理？ HTTP代理是一种常见的网络代理方式，它通过在客户端和服务器之间建立一个中间层，将客户端的请求转发给服务器，并将服务器的响应返回给客户端。HTTP代理通常用于访问受限制的网站，或者在网络中隐藏客户…
阅读更多...
NestJS入门9：管道入门

NestJS入门9：管道入门

前文参考 NestJS入门1：创建项目 NestJS入门2：创建模块 NestJS入门3：不同请求方式前后端写法 NestJS入门4：MySQL typeorm 增删改查 NestJS入门5：加入Swagger NestJS入门6：日志中间件 NestJS入门7&…
阅读更多...
HTTP REST 方式调用WebService接口（wsdl）

HTTP REST 方式调用WebService接口（wsdl）

一、WebService接口正常使用SOAP协议调用，测试时常采用SoapUI软件调用，具体如下： 二、由于目前主流web服务逐渐转换为RESTful的形式，且SOAP协议的实现也是基于HTTP协议，故存在通过HTTP调用WebService接口的可能 2.1 …
阅读更多...
嵌入式I2C 信号线为何加上拉电阻(图文并茂)

嵌入式I2C 信号线为何加上拉电阻(图文并茂)

IIC 是一个两线串行通信总线，包含一个 SCL 信号和 SDA 信号，SCL 是时钟信号，从主设备发出，SDA 是数据信号，是一个双向的，设备发送数据和接收数据都是通过 SDA 信号。 在设计 IIC 信号电路的时候我们会在 SC…
阅读更多...
分组统计

分组统计

目录 分组统计 根据部门编号分组，查询每个部门的编号、人数、平均工资 根据职位分组，统计出每个职位的人数、最低工资与最高工资 如果查询不使用 GROUP BY 子句，那么 SELECT 子句中只允许出现统计函数，其他任何字段不允许出现…
阅读更多...
Git笔记——2

Git笔记——2

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、撤销修改__情况一 二、撤销修改__情况二 三、撤销修改__情况三 四、删除文件 五、理解分支 六、创建、切换和合并分支初体验 七、删除分支 八、合并冲突 总…
阅读更多...
java程序流程控制

java程序流程控制

java程序有哪些流程控制、以及Java提供了哪些方案来控制程序的执行顺序？ 程序的流程控制一般分为3种：顺序结构、分支结构、循环结构 顺序结构：就是不加任何控制，代码从main方法开始自上而下执行 分支结构：就是根据条…
阅读更多...
crontab history查看命令的执行时间

crontab history查看命令的执行时间

crontab crontab学习网站（19. crontab 定时任务 — Linux Tools Quick Tutorial） 例子 今天实际工作里用到的（已经进行了防信息泄露处理 比如我现在希望每周三上午10:00之行一个php脚本 --gpt生成 00 10 * * 3 cd /home/user/project/r…
阅读更多...
Python开源项目周排行 2024年第4周

Python开源项目周排行 2024年第4周

#2024年第4周2024年2月18日1Awesome-LLM一个精选的大型语言模型 (LLM) 资源列表，涵盖了以下内容： LLM 模型介绍 论文和代码 部署工具 应用场景 教程和示例 Awesome-LLM 的目标是帮助人们了解和使用 LLM 技术，并为 LLM 开发人员提供一个资源中…
阅读更多...
Git详解及 github与gitlab使用

Git详解及 github与gitlab使用

目录 1.1 关于版本控制 1.1.1 本地版本控制 1.1.2 集中化的版本控制系统 1.1.3 分布式版本控制系统 1.2 Git简介 1.2.1 Git历史 1.3 安装git 1.3.1 环境说明 1.3.2 Yum安装Git 1.3.3 编译安装 1.4 初次运行 Git 前的配置 1.4.1 配置git 1.4.2 获取帮助 1.5 获取 G…
阅读更多...
接口请求重试的8种方法

接口请求重试的8种方法

转载文章：https://blog.csdn.net/qq_34162294/article/details/134131439 文章目录 1.前言2.几种方法 2.1循环重试2.2 使用Spring Retry库 2.2.1 添加 Maven 依赖2.2.2 添加 EnableRetry 注解启用重试功能2.2.3 在需要重试的方法上添加 Retryable 注解2.2.4. 还可以…
阅读更多...
week04day02(爬虫02)

week04day02(爬虫02)

<span>: 通常用于对文本的一部分进行样式设置或脚本操作。<a>: 定义超链接&#xff0c;用于创建链接到其他页面或资源的文本。<img>: 用于插入图像。<br>: 用于插入换行。 姓名&#xff1a;<input type"text" value"lisi">…
阅读更多...
如何更换过期的SSL证书？

如何更换过期的SSL证书？

SSL证书是保护网站安全的重要组成部分&#xff0c;它能在客户端和服务器之间建立数据传输加密通道&#xff0c;防止数据在传输过程中被泄露、劫持和窃听。但SSL证书也有有效期限&#xff0c;当SSL证书到期时&#xff0c;您需要及时更换它&#xff0c;以确保网站的安全性和可信度…
阅读更多...
多端开发围炉夜话

多端开发围炉夜话

文章目录 一、多端开发 一、多端开发 uni-app 官网 UNI-APP中的UI框架&#xff1a;介绍常用的UI框架及其特点 uView UIVant WeappColor UIMint UI uniapp嵌入android原生开发的功能 uniapp使用安卓原生sdk uni-app中的uni.requireNativePlugin Qt for iOS Qt for Android
阅读更多...
SpringBoot+MybatisPlus+Mysql实现批量插入万级数据多种方式与耗时对比

SpringBoot+MybatisPlus+Mysql实现批量插入万级数据多种方式与耗时对比

场景 若依前后端分离版本地搭建开发环境并运行项目的教程&#xff1a; 若依前后端分离版手把手教你本地搭建环境并运行项目_本地运行若依前后端分离-CSDN博客 若依前后端分离版如何集成的mybatis以及修改集成mybatisplus实现Mybatis增强&#xff1a; https://blog.csdn.net…
阅读更多...
一命通关动态规划dp

一命通关动态规划dp

前言 这篇文章详细概括了动态规划的所有题型&#xff0c;以及各个题型的解决公式方法。如果看完这篇动态规划还是不会做题&#xff0c;我来给你补&#xff0c;我爱说点实话。 动态规划 何为动态规划&#xff1f; 动态规划&#xff0c;有一点暴力求解的感觉。用最通俗的语言来…
阅读更多...
Shell基础和变量使用

Shell基础和变量使用

一、Shell概述 1、什么是shell Shell是指一种应用程序&#xff0c;这个应用程序提供了一个界面&#xff0c;用户通过这个界面访问操作系统内核的服务&#xff0c;在用户和内核之间充当翻译官的角色&#xff0c;是一个命令解释器。 Shell是一种编程语言&#xff0c;只是比较古…
阅读更多...
最新文章

Copyright @ 2022~2023