【大数据】Flink 内存管理（三）：TaskManager 内存分配（理论篇）

Flink 内存管理（三）：TaskManager 内存分配

  • 1.配置 Total Memory
  • 2.配置 Heap and Managed Memory
    • 2.1 Task (Operator) Heap Memory
    • 2.2 Managed Memory
  • 3.配置 Off-Heap Memory（Direct or Native）
  • 4.详细内存模型
  • 5.Framework Memory
  • 6.Local Execution

TaskManager 在 Flink 中运行用户代码。根据需要配置内存使用量可大大减少 Flink 的资源占用并提高任务稳定性。与 JobManager 进程的内存模型相比，TaskManager 内存组件具有类似但更复杂的结构。

1.配置 Total Memory

Flink JVM 进程的总内存（Total Process Memory）由 Flink 应用程序（Total Flink Memory，Flink 总内存）和 JVM 运行进程所消耗的内存组成。Flink 总内存（ Total Flink Memory）包括 JVM Heap、Managed Memory（托管内存，由 Flink 管理）和其他 Direct Memory（或 Native Memory）的使用量。
在这里插入图片描述

  • 如果您在本地运行 Flink（例如从集成开发环境运行）而不创建集群，那么只有内存配置选项的一个子集与之相关，请参阅 “本地内存配置”。
  • 否则，为 TaskManager 设置内存的最简单方法就是 配置总内存。这里 将详细介绍一种更精细的方法。
  • 其余内存组件将根据默认值或附加配置选项自动调整。有关其他内存组件的更多详情，请参阅后续章节。

2.配置 Heap and Managed Memory

正如之前在总内存描述中提到的，在 Flink 中设置内存的另一种方法是明确指定 Task Heap Memory 和 Managed Memory。这样，Flink 的任务和托管内存就能更好地控制可用的 JVM 堆。

其余的内存组件将自动调整。

如果已明确配置了任务 Task Heap Memory 和 Managed Memory，建议既不要设置进程总内存（Total Process Memory），也不要设置 Flink 总内存（Total Flink Memory）。否则，很容易导致内存配置冲突。

2.1 Task (Operator) Heap Memory

如果要保证用户代码有一定量的 JVM 堆可用，可以显式设置 Task Heap Memory（taskmanager.memory.task.heap.size）。它将被添加到 JVM 堆大小中，并专门用于运行用户代码的 Flink Operator。

2.2 Managed Memory

托管内存由 Flink 管理，并作为本地内存（堆外）分配。以下工作负载使用托管内存：

  • 流式工作可将其用于 RocksDB 状态后端。
  • 流式和批处理作业都可以用它来进行排序、哈希表、缓存中间结果。
  • 流式和批处理作业都可以用它来执行 Python 进程中的用户自定义函数。

托管内存的大小可以：

  • 可通过 taskmanager.memory.managed.size 进行显式配置。
  • 或通过 taskmanager.memory.managed.fraction 计算为 Flink 总内存（Total Flink Memory）的一部分。

如果同时设置了大小和比例，则大小优先于比例。如果既没有明确配置大小，也没有配置比例，则将使用默认比例。

如果作业包含多种类型的托管内存消费者，还可以控制托管内存在这些类型之间的共享方式。配置选项 taskmanager.memory.managed.consumer-weights 允许你为每种类型设置一个权重，Flink 将根据该权重按比例预留托管内存。有效的消费者类型有：

  • OPERATOR：用于内置算法。
  • TATE_BACKEND：用于流式传输中的 RocksDB 状态后端。
  • PYTHON：用于 Python 进程。

例如，如果一个流作业同时使用了 RocksDB 状态后端和 Python UDF，且消费者权重配置为 STATE_BACKEND:70,PYTHON:30，那么 Flink 将为该作业预留 70 % 70\% 70% 的内存。

对于每种类型，只有当作业包含该类型的托管内存消费者时，Flink 才会为其保留托管内存。例如，如果流作业使用堆状态后端和 Python UDF，且消费者权重配置为 STATE_BACKEND:70,PYTHON:30，Flink 将为 Python 进程使用所有托管内存，因为堆状态后端不使用托管内存。

🚀 Flink 不会为消费者权重中未包含的消费者类型预留托管内存。如果作业确实需要缺少的类型，就会导致内存分配失败。默认情况下，所有消费者类型都包含在内。只有在显式配置 / 改写权重时才会发生这种情况。

3.配置 Off-Heap Memory（Direct or Native）

  • 用户代码分配的堆外内存应计入任务堆外内存（taskmanager.memory.task.off-heap.size）。
  • 你也可以调整框架的堆外内存（Framework Off-Heap Memory）。只有在确定 Flink 框架需要更多内存时，才可更改该值。
  • Flink 将框架堆外内存（Framework Off-Heap Memory）和任务堆外内存（Task Off-Heap Memory）纳入 JVM 的直接内存（Direct Memory）限制。
  • 虽然本地非直接内存（Native Non-Direct Memory）的使用可以作为框架堆外内存或任务堆外内存的一部分，但在这种情况下会导致更高的 JVM 直接内存限制。
  • 网络内存（Network Memory）也是 JVM 直接内存的一部分，但它由 Flink 管理，并保证永远不会超过其配置大小。因此，调整网络内存大小对这种情况没有帮助。

4.详细内存模型

在这里插入图片描述
下表列出了上面描述的所有内存组件，并引用了影响各组件大小的 Flink 配置选项：

组件
配置选项
描述
Framework Heap Memorytaskmanager.memory.framework.heap.size（默认 128 M 128M 128M）专用于运行 Flink 框架，通常不用修改该值，它可能与特定的部署环境或作业结构有关，例如高并行度
Task Heap Memorytaskmanager.memory.task.heap.size专用于用户提交作业划分的 Tasks
Managed Memorytaskmanager.memory.managed.size taskmanager.memory.managed.fraction（默认 0.4 0.4 0.4）这是一块被 Flink 管理的堆外内存，属于 Native Memory，用于批处理作业的排序，Hash 运算，缓存中间结果，以及 RocksDB 状态后端的元数据
Framework Off-Heap Memorytaskmanager.memory.framework.off-heap.size（默认 128 M 128M 128M）专用于运行 Flink 框架，通常不用修改该值，它可能与特定的部署环境或作业结构有关，例如高并行度
Task Off-Heap Memorytaskmanager.memory.task.off-heap.size（默认 0 B y t e 0Byte 0Byte）专用于用户提交作业划分的 Tasks，不受 GC 的影响
Network Memorytaskmanager.memory.network.min （默认 64 M B 64MB 64MB）taskmanager.memory.network.max （默认 1 G B 1GB 1GB）taskmanager.memory.network.fraction（默认 0.1 0.1 0.1）为 Task 之间的数据交换预留的内存，比如说网络缓冲区，默认是 Total Flink Size 的 0.1，通常不需要去调整这个值
JVM Metaspacetaskmanager.memory.jvm-metaspace.size（默认 256 M 256M 256M）JM 的元空间大小，有默认值 256 M 256M 256M， 属于 Native Memory
JVM Overheadtaskmanager.memory.jvm-overhead.min （ 192 M B 192MB 192MB）taskmanager.memory.jvm-overhead.max（ 1 G B 1GB 1GB）taskmanager.memory.jvm-overhead.fraction（ 0.1 0.1 0.1）为 Thread Stacks，Code Cache，Garbage Collection Space 预留的 Native Memory，有默认的 faction of total process size，但是必须在其 min & max 之间

正如你所看到的，某些内存组件的大小可以通过相应选项进行简单设置。其他组件则可以使用多个选项进行调整。

5.Framework Memory

在没有充分理由的情况下，不应更改框架堆内存（Framework Heap Memory）和框架堆外内存（Framework Off-Heap Memory）。只有在确定 Flink 的某些内部数据结构或操作需要更多内存时，才可以调整它们。这可能与特定的部署环境或作业结构（如高并行性）有关。此外，在某些设置中，Flink 的依赖项（如 Hadoop）可能会消耗更多的直接或本地内存。

Flink 目前既没有隔离 Framework Heap Memory 和 Task Heap Memory，也没有隔离 Framework Off-Heap Memory 和 Task Off-Heap Memory。框架内存和任务内存的分离可用于未来版本的进一步优化。

6.Local Execution

如果您在机器上以单个 Java 程序的形式本地启动 Flink，而不创建集群（例如从集成开发环境），那么除了以下组件外，所有组件都将被忽略：

内存组件
相关选项
本地执行的默认值
Task Heaptaskmanager.memory.task.heap.size无限
Task Off-Heaptaskmanager.memory.task.off-heap.size无限
Managed Memorytaskmanager.memory.managed.size 128 M B 128MB 128MB
Network Memorytaskmanager.memory.network.min
taskmanager.memory.network.max		 64 M B 64MB 64MB

上面列出的所有组件均可配置为本地执行，但并非必须。如果没有配置，它们将被设置为默认值。任务堆内存（Task Heap）和任务堆外内存（Task Off-Heap）被视为无限大（Long.MAX_VALUE 字节），托管内存（Managed Memory）的默认值为 128MB，仅适用于本地执行模式。

在这种情况下，任务堆大小与实际堆大小没有任何关系。它可能与未来版本的优化有关。Flink 无法控制已启动的本地进程的实际 JVM 堆大小，这取决于您如何启动进程。如果要控制 JVM 堆大小，必须明确传递相应的 JVM 参数，例如 -Xmx、-Xms。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/407856.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

YOLO系列论文阅读（v1--v3）

YOLO系列论文阅读（v1--v3）

搞目标检测，绕不开的一个框架就是yolo，而且更糟糕的是，随着yolo的发展迭代，yolo网络可以做的事越来越多，语义分割，关键点检测，3D目标检测。。。这几天决定把YOLO系列彻底梳理一下，在…
阅读更多...
C++的STL常用算法-＞常用遍历算法、常用查找算法、常用排序算法、常用拷贝和替换算法、常用算术生成算法、常用集合算法

C++的STL常用算法-＞常用遍历算法、常用查找算法、常用排序算法、常用拷贝和替换算法、常用算术生成算法、常用集合算法

#include<iostream> using namespace std; #include <algorithm> #include <vector> //常用遍历算法 for_each //普通函数 void print01(int val) { cout << val << " "; } //仿函数 //函数对象 class print02 { public: v…
阅读更多...
Wireshark TS | Linux 系统对时问题

Wireshark TS | Linux 系统对时问题

问题描述 节前业务运维同事提交了一个 case &#xff0c;说是部署在新业务区域的 Linux 服务器和老业务区域的 Linux 服务器无法对时&#xff0c;脚本里使用的是 clockdiff 命令&#xff0c;无法正常返回结果&#xff0c;而在老业务区域两台服务器之间执行命令就正常&#xff…
阅读更多...
Java基于微信小程序的校园二手物品交易系统，附源码

Java基于微信小程序的校园二手物品交易系统，附源码

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…
阅读更多...
公厕智慧化_智慧化的公厕

公厕智慧化_智慧化的公厕

公厕智慧化是现代城市建设中的重要一环。通过信息化、数字化和智慧化技术手段&#xff0c;实现对公共厕所的高效管理和服务&#xff0c;不仅提升了城市环境质量&#xff0c;还改善了居民生活品质。智慧公厕的智慧化包括监测、管理、服务和设备的智慧化&#xff0c;利用先进科技…
阅读更多...
Unity中URP实现水体效果（水的深度）

Unity中URP实现水体效果（水的深度）

文章目录 前言一、搭建预备场景1、新建一个面片&#xff0c;使其倾斜一个角度&#xff0c;来模拟水底和岸边的效果2、随便创建几个物体&#xff0c;作为与水面接触的物体3、再新建一个面片&#xff0c;作为水面 二、开始编写水体的Shader效果1、新建一个URP基础Shader2、把水体…
阅读更多...
汇编语言movs指令学习

汇编语言movs指令学习

字符串传送指令(Move String Instruction) movs 该指令是把指针DS:SI所指向的字节、字或双字传送给指针ES:DI所指向内存单元&#xff0c;并根据标志位DF对寄存器DI和SI作相应增减。该指令的执行不影响任何标志位。 记不清这指令是8086就有的&#xff0c;还是386以后新加的&…
阅读更多...
【Redis】常见的5种数据类型（上）

【Redis】常见的5种数据类型（上）

文章目录 1 :peach:前言:peach:2 :peach:Redis 基本的全局命令:peach:2.1 :apple:keys:apple:2.2 :apple:exists:apple:2.3 :apple:del:apple:2.4 :apple:expire:apple:2.5 :apple:ttl:apple:2.6 :apple:type:apple: 3 :peach:单线程架构:peach:4 :peach:Redis 的 5 种常见数据…
阅读更多...
Qt_纯虚函数的信号和槽

Qt_纯虚函数的信号和槽

简介 在C中&#xff0c;纯虚函数是一个在基类中声明但没有实现的虚函数。纯虚函数的声明以 “ 0” 结尾。纯虚函数的目的是为了提供一个接口&#xff0c;但是不提供实现。派生类必须实现纯虚函数&#xff0c;否则它也会成为一个抽象类。纯虚函数可以在基类中定义&#xff0c;也…
阅读更多...
MySQL--索引结构

MySQL--索引结构

索引-索引结构 1. 概述2. 二叉树3. B-Tree4. BTree5. Hash 1. 概述 MySQL的索引是在存储引擎层实现的&#xff0c;不同的存储引擎有不同的索引结构&#xff0c;主要包含以下几种&#xff1a; 上述是MySQL中所支持的所有的索引结构&#xff0c;下面展示不同的存储引擎对于索引…
阅读更多...
力扣382.链表随机节点

力扣382.链表随机节点

Problem: 382. 链表随机节点 文章目录 题目描述思路复杂度Code 题目描述 思路 由水塘抽样易得&#xff0c;当遇到i个元素&#xff0c;有 1 / i 1/i 1/i的概率选择该元素&#xff1b;则在实际操作中我们定义一个下标i从1开始遍历每次判断rand() % i 0&#xff08;该操作就是判断…
阅读更多...
Chrome插件（二）—Hello World！

Chrome插件（二）—Hello World！

本小节将指导你从头到尾创建一个基本的Chrome插件&#xff0c;你可以认为是chrome插件开发的“hello world”&#xff01; 以下详细描述了各个步骤&#xff1a; 第一步&#xff1a;设置开发环境 确保你拥有以下工具&#xff1a; 文本编辑器&#xff1a;如Visual Studio Cod…
阅读更多...
2278. 企鹅游行（最大流，拆点）

2278. 企鹅游行（最大流，拆点）

活动 - AcWing 在南极附近的某个地方&#xff0c;一些企鹅正站在一些浮冰上。 作为群居动物&#xff0c;企鹅们喜欢聚在一起&#xff0c;因此&#xff0c;它们想在同一块浮冰上会合。 企鹅们不想淋湿自己&#xff0c;所以它们只能利用自己有限的跳跃能力&#xff0c;在一块块…
阅读更多...
容器_Docker ( 06 )

容器_Docker ( 06 )

容器_Docker ( 05 ) Kubernetes 资源对象管理 资源对象文件 模板与帮助信息 资源对象文件优势 命令无法实现高级复杂的功能某些资源对象使用命令无法创建方便管理 , 保存 , 追溯历史 资源对象文件太长 , 记不住怎么办 使用命令创建模板查询帮助信息查询官方手册 生成资源…
阅读更多...
区块链游戏解说：什么是 Ultimate Champions

区块链游戏解说：什么是 Ultimate Champions

作者&#xff1a;lesleyfootprint.network 编译&#xff1a;cicifootprint.network 数据源&#xff1a;Ultimate Champions Dashboard 什么是 Ultimate Champions Ultimate Champions 是一款免费的奇幻足球和篮球游戏&#xff0c;拥有官方授权的数字卡牌作为区块链上的 NFT…
阅读更多...
go interface{} 和string的转换问题

go interface{} 和string的转换问题

1.遇到的问题 问题来源于,我sql模版拼接遇到的问题。 首先&#xff0c;这样是没有问题的。 var qhx interface{} "qhx"s : qhx.(string)fmt.Println(s) 但是当我在这段代码里用:1.类型断言 var sqlStr "select * from tx_user where username %s" join…
阅读更多...
SpringBoot -【SmartInitializingSingleton】基础使用及应用场景

SpringBoot -【SmartInitializingSingleton】基础使用及应用场景

SmartInitializingSingleton 在继续深入探讨 SmartInitializingSingleton接口之前&#xff0c;让我们先了解一下 Spring Framework 的基本概念和背景。Spring Framework 是一个开源的 JavaEE&#xff08;Java Enterprise Edition&#xff09;全栈&#xff08;full-stack&#x…
阅读更多...
C++面试题精选与解析

C++面试题精选与解析

C面试题精选与解析 一、基础与语法 请问C中的指针和引用有什么区别&#xff1f; 指针是一个变量&#xff0c;存储的是另一个变量的内存地址。指针可以被重新赋值以指向另一个不同的对象。而引用是某个变量的别名&#xff0c;一旦引用被初始化为一个变量&#xff0c;就不能改变…
阅读更多...
高级统计方法 第4次作业

高级统计方法 第4次作业

作业评阅&#xff1a; 概念 2.问题 KNN分类和KNN回归都是KNN算法在不同类型数据上的应用&#xff0c;但它们之间存在明显的区别。 解决的问题类型不同&#xff1a;KNN分类适用于解决分类问题&#xff0c;而KNN回归则适用于解决回归问题。当响应变量是连续的&#xff0c;根据…
阅读更多...
windows安装 RabbitMQ

windows安装 RabbitMQ

首先打开 RabbitMQ 官网&#xff0c;点击 Get Started(开始) 点击 Download Installation(下载安装)。 这里提供了两种方式进行安装&#xff0c;我们使用第二种方法。 使用 chocolatey以管理用户身份使用官方安装程序 往下滑&#xff0c;第二种方法需要 Erlang 的依赖&#x…
阅读更多...
最新文章

Copyright @ 2022~2023