Flink DataStream API 编程指南

(对于Flink的开发,建议使用Java,Scala的支持未来会被移除)

DataStream是什么

DataStream API得名于DataStream这个Java类,可以将它们视为可以包含重复项的不可变数据集合。该数据可以是有限的,也可以是无限的,用于处理它们的API是相同的。

DataStream在用法上和普通的Java集合类似,但在一些关键方面有很大的不同。它们是不可变的,这意味着一旦创建了它们,就不能添加或删除元素。你可以在上面执行各种transformations操作。

通过在Flink程序中添加数据源,可以创建初始的DataStream。然后你可以由此派生出新的流,并使用map、filter等API方法将它们组合起来。

剖析Flink程序整体过程

Flink程序就是对DataStream的各种转换(transformations)的过程,每个程序由相同的基本部分组成:

  1. 获取执行环境
  2. 加载/创建初始数据
  3. 指定此数据的转换
  4. 指定将计算结果的存放位置
  5. 触发程序执行

下面以java api的方式来说明以上过程:

1)获取执行环境

可以通过 StreamExecutionEnvironment 的方法来获得:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/938424.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【计算机网络】Layer4-Transport layer

目录 传输层协议How demultiplexing works in transport layer(传输层如何进行分用)分用(Demultiplexing)的定义:TCP/UDP段格式: UDPUDP的特点:UDP Format端口号Trivial File Transfer Protocol…

Android Studio创建新项目并引入第三方so外部aar库驱动NFC读写器读写IC卡

本示例使用设备:https://item.taobao.com/item.htm?spma21dvs.23580594.0.0.52de2c1bbW3AUC&ftt&id615391857885 一、打开Android Studio,点击 File> New>New project 菜单,选择 要创建的项目模版,点击 Next 二、输入项目名称…

【Linux】—简单实现一个shell(myshell)

大家好呀,我是残念,希望在你看完之后,能对你有所帮助,有什么不足请指正!共同学习交流哦! 本文由:残念ing原创CSDN首发,如需要转载请通知 个人主页:残念ing-CSDN博客&…

【Python爬虫系列】_032.Scrapy_全站爬取

课 程 推 荐我 的 个 人 主 页:👉👉 失心疯的个人主页 👈👈入 门 教 程 推 荐 :👉👉 Python零基础入门教程合集 👈👈虚 拟 环 境 搭 建 :👉👉 Python项目虚拟环境(超详细讲解) 👈👈PyQt5 系 列 教 程:👉👉 Python GUI(PyQt5)教程合集 👈👈

Android通过okhttp下载文件(本文案例 下载mp4到本地,并更新到相册)

使用步骤分为两步 第一步导入 okhttp3 依赖 第二步调用本文提供的 utils 第一步这里不做说明了,直接提供第二步复制即用 DownloadUtil 中 download 为下载文件 参数说明 这里主要看你把 destFileName 下载文件名称定义为什么后缀,比如我定义为 .mp4 下…

win10配置子系统Ubuntu子系统(无需通过Windows应用市场)实际操作记录

win10配置子系统Ubuntu子系统(无需通过Windows应用市场)实际操作记录 参考教程 : win10配置子系统Ubuntu子系统(无需通过Windows应用市场) - 一佳一 - 博客园 开启虚拟机服务的 以管理员方式运行PowerShell运行命令。 &#xf…

Showrunner AI技术浅析(四):多智能体模拟

多智能体模拟技术涉及多个智能体(Agents)在虚拟环境中的行为和互动,每个智能体都有自己的属性、目标和行为规则。 1. 多智能体模拟概述 多智能体模拟技术通过模拟多个智能体在虚拟环境中的互动来生成复杂的剧情和场景。每个智能体都有其独特…

创新性融合丨卡尔曼滤波+目标检测 新突破!

2024深度学习发论文&模型涨点之——卡尔曼滤波目标检测 卡尔曼滤波是一种递归算法,用于估计线性动态系统的状态。它通过预测和更新两个步骤,结合系统模型和观测数据,来估计系统状态,并最小化估计的不确定性。 在目标检测中&am…

USB模块布局布线

1、USB接口定义 2、USB模块常规分类介绍 3、USB常用管脚定义图示 4、USB模块布局布线分析 USB3.0高速线因为速度比较高,建议走圆弧线不能走钝角 5、总结 1、CTRL鼠标中间滑轮按下可以看线的长度 2、不懂差分类和规则的设置,可以看本人写的AD基础操作…

SpringCloud系列之分布式配置中心极速入门与实践

[toc] 1、分布式配置中心简介 在实际的项目开发中,配置文件是使用比较多的,很多项目有测试环境(TEST)、开发环境(DEV)、规范的项目还有集成环境(UAT)、生产环境(PROD),每个环境就一个配置文件。 CSDN链接:SpringCloud系列之分布式…

【Vue3学习】setup语法糖中的ref,reactive,toRef,toRefs

在 Vue 3 的组合式 API(Composition API)中,ref、reactive、toRef 和 toRefs 是四个非常重要的工具函数,用于创建和管理响应式数据。 一、ref 用ref()包裹数据,返回的响应式引用对象,包含一个 .value 属性&#xff0…

解决 Git Permission denied 问题

前言 push项目时出现gitgithub.com: Permission denied (publickey). fatal: Could not read from remote repository.Please make sure you have the correct access rights and the repository exists.出现这个问题表示你在尝试将本地代码推送到GitHub时,没有提供…

React的状态管理库-Redux

核心思想:单一数据源、状态是只读的、以及使用纯函数更新状态。 组成部分 Store(存储) 应用的唯一状态容器,存储整个应用的状态树,使用 createStore() 创建。 getState():获取当前状态。dispatch(action)&#xff…

蓝卓总裁谭彰:AI+工业互联网推动制造业数字化转型

近日,新一代工业操作系统supOS6.0在2024中国5G工业互联网大会上重磅发布。 大会期间,工信部新闻宣传中心《人民邮电报》对蓝卓总裁谭彰就“工业互联网人工智能技术融合的思考”“supOS6.0的探索与实践”“未来工业互联网平台的发展方向”展开专题访谈&am…

RabbitMQ消息队列的笔记

Rabbit与Java相结合 引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId> </dependency> 在配置文件中编写关于rabbitmq的配置 rabbitmq:host: 192.168.190.132 /…

数据结构:贪吃蛇详解

目录 一.地图的设计 1.字符与坐标&#xff1a; 2.本地化&#xff08;头文件&#xff09;: 3.类项&#xff1a; 4.setlocale函数&#xff1a; &#xff08;1&#xff09;函数原型&#xff1a; &#xff08;2&#xff09;使用&#xff1a; 5.宽字符的打印&#xff1a; &a…

医学AI前沿进展:图像分割以及细胞分割领域的最新研究|文献速递·24-12-17

小罗碎碎念 今天推文和大家分享医学AI领域中&#xff0c;图像分割以及细胞分割方面的三个工作。 首先看一下图像分割以及细胞分割方面&#xff0c;近五年的一个论文发表情况&#xff0c;我们可以看到&#xff0c;这个领域在前几年的热度基本持平&#xff0c;到了24年迎来了一个…

Endnote | 查看文献所在分组

软件版本&#xff1a;Endnote X8 第一种方式&#xff1a; 在文献上右键——记录摘要&#xff0c;即可在弹出页面上看到自定义和智能组的分组情况。 第二种方式&#xff1a; 在菜单栏点击文献——记录摘要&#xff0c;也可以查看分组情况。 注&#xff1a; 新版本的endnote软件…

ElasticSearch 数据聚合与运算

1、数据聚合 聚合&#xff08;aggregations&#xff09;可以让我们极其方便的实现数据的统计、分析和运算。实现这些统计功能的比数据库的 SQL 要方便的多&#xff0c;而且查询速度非常快&#xff0c;可以实现近实时搜索效果。 注意&#xff1a; 参加聚合的字段必须是 keywor…

34. 在排序数组中查找元素的第一个和最后一个位置 二分法

34. 在排序数组中查找元素的第一个和最后一个位置 class Solution { public:vector<int> searchRange(vector<int>& nums, int target) {vector<int> res(2,-1);res[0]findleft(nums,target);if(res[0] -1) return res;res[1] findright(nums,target);…