docker搭建Dinky —— 筑梦之路

简介

Dinky 是一个 开箱即用 、易扩展 ，以 Apache Flink 为基础，连接 OLAP 和 数据湖 等众多框架的 一站式 实时计算平台，致力于 流批一体 和 湖仓一体 的探索与实践。

主要功能

其主要功能如下：

  • 沉浸式 FlinkSQL 数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等
  • 支持 FlinkSQL 多版本开发及多种执行模式：Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
  • 支持 Apache Flink 生态：Connector、FlinkCDC、Table Store 等
  • 支持 FlinkSQL 语法增强：整库同步、执行环境、全局变量、语句合并、表值聚合函数、加载依赖、行级权限等
  • 支持 FlinkCDC 整库实时入仓入湖、多库输出、自动建表
  • 支持 SQL 作业开发：ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、Presto、SqlServer、StarRocks 等
  • 支持实时在线调试预览 Table、ChangeLog、Charts 和 UDF
  • 支持 Flink Catalog、数据源元数据在线查询及管理
  • 支持实时任务运维：上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等
  • 支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力
  • 支持实时作业报警及报警组：钉钉、微信企业号、飞书、邮箱等
  • 支持自动托管的 SavePoint/CheckPoint 恢复及触发机制：最近一次、最早一次、指定一次等
  • 支持多种资源管理：集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、全局变量、系统配置等
  • 支持企业级管理：多租户、用户、角色、项目空间

Dinky 不依赖任何外部的 Hadoop 或者 Flink 环境，可以单独部署在 flink、 hadoop 和 K8S 集群之外，完全解耦，支持同时连接多个不同的集群实例进行运维。 

 

优化Flink体验

 1、沉浸式的 FlinkSQL IDE

  • Apache Flink 提供了 sql-client，但 sql-client 仅作为一个 beta 的功能，难以被应用到生产中
  • Dinky 提供了沉浸式的 FlinkSQL IDE 开发能力，提供了自动提示与补全、语法高亮、语句美化、语法校验和逻辑检查、调试预览结果、字段级血缘分析等专业的功能，使 FlinkSQL 的开发如同 SQL 开发一样舒适与简单

2、极易用的任务构建方式

  • Flink 在构建 FlinkSQL Jar 任务时通常需要考虑依赖及版本的维护、代码的编写、繁琐的编译打包过程等。

  •  Dinky 将 FlinkSQL 任务的构建进行了极简，开发人员只需要专注 FlinkSQL 的口径书写，并且可以实时进行检查与调试，在任务提交的过程则是快速的自动化托管，以实现一个 FlinkSQL 语句可以在所有的执行模式与外部集群上随意切换。

  •  对于 Dinky 来说，主要划分两类用户。一类是平台运维人员，该人员需要根据官网文档及自身的 Flink 知识储备来手动搭建稳定的 Dinky 运作环境，门槛较高；另一类是数据开发人员，该类人员只需熟悉 FlinkSQL 的语法与常见的应用场景，即可快速高效地进行 FlinkSQL 的开发与运维，达到易用的任务构建方式。这也是最符合企业生产团队的分工策略，平台和开发分离。

3、无侵入的部署模式

  • 一些开源项目或自建平台通常需要绑死 Flink 集群或者侵入 Flink 的源码，容易 Flink 功能受限或在搭建和后续扩展时出现问题。

  •  Dinky 则是完全无侵入，可部署与各个集群之外，同时连接和监控多个集群。轻易地对接各个版本的 Flink 集群与公司内仓库分支优化过的 Flink 集群，完全兼容 Flink 自身的 connector、udf、cdc 等。

4、增强式的功能体验

  • 一些开源项目及自建平台一般只专注于 Flink 任务的提交与运维。

  •  Dinky 则不同，为更舒适地使用 Flink 的相关功能进行的功能增强，如表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等，并且还在不断地扩展新的功能增强，以使 Flink 更贴近企业的需求。

5、实时的监控报警

  • Dinky 提供实时的监控报警能力，实时守护已上线的流或批任务，在任务触发异常停止和成功完成时都会实时报警通知，并且记录了外部集群实时的任务信息，摆脱 History Server 的限制，弥补 deploy 的集群作业失败后信息难查询的不足，用户随时随地都可追溯历史作业的执行信息与异常。

6、一站式的开发运维

  • Dinky 提供了一站式的开发运维能力，从 FlinkSQL 开发调试到作业上线下线的运维监控，再到数据源的 OLAP 及普通查询能力等，使得数仓建设或数据治理过程中所有的工作均可以在 Dinky 上完成。

7、易扩展的代码实现

  • Dinky 非常注重代码的扩展能力，在源码中大量使用了 SPI 机制来支持用户低成本地自定义扩展新功能，比如数据源、报警方式、自定义语法等扩展。

  •  Dinky 的功能体验也十分注重扩展能力，在功能设计上尽可能地开放了最大的配置能力，如自定义提示与补全语法、自定义数据源的Flink 配置与生成规则、自定义全局变量、自定义Flink执行环境、自定义集群配置的各种配置项等等。

  •  Dinky 的外部对接也很注重扩展能力，基于 SpringBoot 的代码的高内聚和低耦合以及提供多种规范的 OpenAPI 使其可以很方便地扩展第三方生态、微服务或者平台。

8、小而美的产品形态

  • 常规的大数据平台或者开源项目一般是十分庞大的，维护成本较高。

  •  正如 Dinky 本名所释，小巧而精美，一直是开源项目建设的首要目标。小巧具体指易搭建、不绑定任何外部中间件或文件系统、代码简洁易维护；精美则指沉浸式的页面、经过打磨的各种功能等。

Next 

 1、多租户及命名空间

  • Dinky 目前需要一个多租户的能力来分离业务数据及资源队列，需要命名空间来增强和规范代码业务逻辑的实现与扩展。

2、全局血缘与影响分析

  • Dinky 目前需要将所有的字段级血缘进行存储，以构建全局的血缘和影响分析，方便用户更容易地追溯数据问题。

3、统一元数据管理

  • Dinky 目前需要统一的元数据中心来管理外部数据源元数据，使其可以自动同步数据库物理模型与平台逻辑模型之间的结构，增强平台一站式的开发能力。

4、Flink 元数据持久化

  • Dinky 目前需要持久化 Flink Catalog，使作业开发时不再需要编写 CREATE TABLE 等语句，转变为可视化的元数据管理功能。

5、多版本 Flink-Client Server

  • Dinky 目前的 Flink 多版本支持需要启动多个不同版本的实例来支持。未来需要实现客户端与服务端分离，单独实现多版本的 Server。

6、整库同步

  • 数据库的整库同步是一个常见的场景，Dinky 未来将提供一个简短的 FlinkSQL 实现整库同步任务构建的能力。

 docker一键启动

1. 准备mysql

使用mysql5.7或者mysql8.0及以上的版本

创建一个库名dinky，然后将dinky.sql导入

2. 创建容器

docker run -d --restart=always -p 8888:8888 -p 8081:8081  -e MYSQL_ADDR=192.168.100.30:3306 -e MYSQL_DATABASE=dinky -e MYSQL_USERNAME=dinky -e MYSQL_PASSWORD=NSpRXYeHBsBy6yH5 --name dinky registry.cn-hangzhou.aliyuncs.com/dinky/dinky-standalone-server:0.7.0-flink14

3.访问测试

访问http://ip:8888端口，用户名密码为admin 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/285995.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

浏览器常用基本操作之python3+selenium4自动化测试

浏览器常用基本操作之python3+selenium4自动化测试

1、打开指定的网页地址 我们使用selenium进行自动化测试时，打开浏览器之后，第一步就是让浏览器访问我们指定的地址，可使用get方法实现 1 2 3 from selenium import webdriver driver webdriver.Edge() driver.get(https://www.baidu.com/)…
阅读更多...
学习笔记之——NeRF SLAM（基于神经辐射场的SLAM）

学习笔记之——NeRF SLAM（基于神经辐射场的SLAM）

NeRF SLAM（Neural Radiance Fields Simultaneous Localization and Mapping）是一种结合神经辐射场（NeRF）和SLAM（Simultaneous Localization and Mapping）的先进技术，用于实时地构建三维环境地图…
阅读更多...
leaflet学习笔记-leaflet-ajax获取数据（五）

leaflet学习笔记-leaflet-ajax获取数据（五）

前言 地图开发中都会用一些GeoJSON数据进行渲染，这是用就会需要加载GeoJSON数据，这时就可以使用leaflet-ajax进行数据的获取 数据准备 本文通过阿里云的地图选择器（DataV.GeoAtlas官网）可以找到云南省的GeoJSON数据&#xff0c…
阅读更多...
TDD-LTE 附着流程和去附着流程

TDD-LTE 附着流程和去附着流程

目录 1. 附着流程 1.1. 正常附着流程 2. 异常附着流程 2.1 RRC建立失败 2.2 核心网拒绝 2.3 eNodeB未收到初始化上下文建立请求 2.4 RRC重配置请求丢失 2. 去附着流程 2.1 非关机去附着流程 2.1.1 连接态非关机去附着 2.1.2 空闲态非关机去附着 2.2 关机去附着流程 …
阅读更多...
线性代数-行列式-错题笔记-1

线性代数-行列式-错题笔记-1

视频讲解链接：http://【线性代数行列式，每日一题，考研疯狂刷题必备，一分钟训练营】https://www.bilibili.com/video/BV1NG4y1H71S?vd_source18c50b47f8412cfd9655895729fcd4f2
阅读更多...
.NET DevOps 接入指南 | 1. GitLab 安装

.NET DevOps 接入指南 | 1. GitLab 安装

引言 容器、DevOps和微服务被称为驱动云原生快速发展的三架马车。而DevOps是其中非常重要的一环，DevOps 是由Developers（Dev）和Operations（Ops）两个单词简称组成，中文直译就是“开发运维一体化”。 DevOps…
阅读更多...
2023年12月Scratch等级考试（四级）真题试卷

2023年12月Scratch等级考试（四级）真题试卷

2023年12月Scratch等级考试（四级）真题试卷 题目总数：24 总分数：100 选择题 第 1 题 单选题 Scratch运行下列程序，输入“abcdef”，程序结束后，变量“字符串”是？&#xff0…
阅读更多...
外贸人应该顺应趋势做外贸

外贸人应该顺应趋势做外贸

2024年，有人疑惑外贸将如何发展？我想紧跟趋势是不会出错的，多年前网络没有如今那么发达，客户到中国参展或者来访就能确认订单。如今到处都是各种推广平台，客户足不出户就能在线上订购产品，如果你还是想靠之…
阅读更多...
基于Java SSM框架实现智能仓储管理系统项目【项目源码+论文说明】

基于Java SSM框架实现智能仓储管理系统项目【项目源码+论文说明】

基于java的SSM框架实现仓库管理系统演示 摘要 随着科学技术的飞速发展，社会的方方面面、各行各业都在努力与现代的先进技术接轨，通过科技手段来提高自身的优势，智能仓储系统当然也不能排除在外。智能仓储系统是以实际运用为开发背景&#xf…
阅读更多...
易用、高效、可靠！高精度组合定位系统P-Box测试解决方案

易用、高效、可靠！高精度组合定位系统P-Box测试解决方案

简介 TCU（Telematics Control Unit）是车载网联通讯终端，用于实现车辆远程通讯和远程服务。随着自动驾驶技术的不断发展，准确获取车辆定位信息变得越来越重要。P-Box将GNSS定位与惯性导航定位相结合，能够为车辆提供精准…
阅读更多...
C++上位软件通过Snap7开源库访问西门子S7-1200/S7-1500数据块的方法

C++上位软件通过Snap7开源库访问西门子S7-1200/S7-1500数据块的方法

前言 本人一直从事C上位软件开发工作较多，在之前的项目中通过C访问西门子PLC S7-200/S7-1200/S7-1500并进行数据交互的应用中一直使用的是ModbusTCP/ModbusRTU协议进行。Modbus上位开源库采用的LibModbus。经过实际应用发现Modbus开源库单次发送和接受的数据不能超过…
阅读更多...
R306指纹识别模块功能实现示例

R306指纹识别模块功能实现示例

1 基本通信流程 1.1 UART 命令包的处理过程 1.2 UART 数据包的发送过程 UART 传输数据包前，首先要接收到传输数据包的指令包，做好传输准备后发送成功应答包，最后才开始传输数据包。数据包主要包括：包头、设备地址、包标识、包长…
阅读更多...
【深度学习下载大型数据集】快速下载谷歌云盘数据集

【深度学习下载大型数据集】快速下载谷歌云盘数据集

个人博客:Sekyoro的博客小屋 个人网站:Proanimer的个人网站 跑深度学习的时候,一些数据集比较大,比如60多个G,而且只是训练集. 然后这些数据是由某些实验室组采集的,并不像一些大公司搞的,一般都直接方法一些网盘中. 如果是谷歌网盘,本身通过代理也不麻烦,但是发现即使通过代…
阅读更多...
Java中常见的进制转换

Java中常见的进制转换

进制是一种表示数字的方法，用于计算机科学、数学和电子工程等领域。常见的进制包括十进制、二进制、八进制和十六进制。 十进制是我们最常用的数字表示方法，使用10个数字(0-9)来表示所有数字。 二进制是计算机最基本的进制，使用2个数字(0和1)…
阅读更多...
vue3 实现el-date-picker日期筛选过程

vue3 实现el-date-picker日期筛选过程

一、图例 二、需求&#xff1a; 有2个查询条件&#xff0c;startTime 和 endTime 选中时间1&#xff0c;禁止选中时间2&#xff0c;当前值传递给 startTime 选中时间2&#xff0c;禁止选中时间1&#xff0c;当前值传递给 startTime 和 endTime 三、完整代码 <div class…
阅读更多...
java中使用redis

java中使用redis

1、redis数据类型 1.1、5种数据类型 redis存储的是key-value结构的数据&#xff0c;其中key是字符串类型&#xff0c;value有5种常用的数据类型&#xff1a;字符串 string、哈希 hash、列表 list、集合 set、有序集合 sorted set / zset。 字符串(string)&#xff1a;普通字符…
阅读更多...
揭秘计算机内部通信：探秘数据、地址与控制信号的奥秘

揭秘计算机内部通信：探秘数据、地址与控制信号的奥秘

引言 在我们前面的讲解中&#xff0c;我们详细了解了计算机系统的核心组件&#xff0c;包括CPU、内存和磁盘。然而&#xff0c;总线在这个体系中同样至关重要。总线是计算机内部各部件间通信的桥梁&#xff0c;涉及数据、地址和控制信号的传输。在接下来的内容中&#xff0c;我…
阅读更多...
【C++】浅拷贝 / 深拷贝 / 写时拷贝

【C++】浅拷贝 / 深拷贝 / 写时拷贝

文章目录 1. 经典的string类问题2. 浅拷贝3. 深拷贝3.1 传统写法的String类3.2 现代写法的String类 4. 写时拷贝 1. 经典的string类问题 上一篇博客已经对string类进行了简单的介绍&#xff0c;大家只要能够正常使用即可。 链接&#xff1a;【C】string 在面试中&#xff0c;面…
阅读更多...
用Redis实现实现全局唯一ID

用Redis实现实现全局唯一ID

全局唯一ID 如果使用数据库自增ID就存在一些问题&#xff1a; id的规律性太明显受表数据量的限制 全局ID生成器&#xff0c;是一种在分布式系统下用来生成全局唯一ID的工具&#xff0c;一般要满足下列特性&#xff1a; 唯一性高可用递增性安全性高性能 为了增加ID的安全性…
阅读更多...
PMP如何续证？

PMP如何续证？

PMP证书的有效期是3年&#xff0c;那过了有效期如何续证呢&#xff1f;对此你需要完成两个步骤&#xff1a; 1.在三年之内向PMI申报完成60个PDU&#xff1b; 2.向PMI申请下一个三年续证的有效期并缴费。 流程看着挺简单&#xff0c;但是对于首次操作的朋友可能会感到有些陌生…
阅读更多...
最新文章

Copyright @ 2022~2023