Hive大数据任务调度和业务介绍

目录

一、Zookeeper

1.zookeeper介绍

2.数据模型

3.操作使用

4.运行机制

5.一致性

二、Dolphinscheduler

1.Dolphinscheduler介绍

架构

2.架构说明

该服务内主要包含:

该服务包含：

3.FinalShell主虚拟机启动服务

4.Web网页登录

5.使用

5-1 安全中心

创建队列

添加租户

5-2 项目管理

I-创建项目

II-工作流定义

5-3 数据中心

5-4 资源中心

5-5 监控中心

6.指标分类介绍

一、Zookeeper

1.zookeeper介绍

ZooKeeper是一个具有高可用性的高性能分布式协调服务，主要解决单点故障问题，实现服务的高可用。

官网 ZooKeeper: Because Coordinating Distributed Systems is a Zoo

2.数据模型

zk可存储小文件数据，用来保存其他服务的信息，比如保存hdfs的namenode信息，ds的运行信息

ZooKeeper 维护着一个树形层次结构，树中的节点被称为 znode。znode 可以用于存储数据，并且有一个与之相关联的 ACL。ZooKeeper 被设计用来实现协调服务(这类服务通常使用小数据文件),而不是用于大容量数据存储，因此一个 znode 能存储的数据被限制在1MB以内

3.操作使用

1-登录客户端

/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/zookeeper/bin/zkCli.sh

查看根节点下子节点有哪些

创建新的节点并指定数据

create 节点名(从根节点开始)  数据

查看节点内的数据

get 节点名

删除节点及数据

4.运行机制

第一阶段 启动服务，进行领导者选举

所有机器通过一个选择过程来选出一台被称为领导者(leader)的机器，其他的机器被称为跟随者(follower)。一旦半数以上(或指定数量)的跟随者已经将其状态与领导者同步，则表明这个阶段已经完成。

第二阶段 原子广播进行数据读写

所有的写请求都会被转发给领导者，再由领导者将更新广播给跟随者。当半数以上的跟随者已经将修改持久化之后，领导者才会提交这个更新，然后客户端才会收到一个更新成功的响应。这个用来达成共识的协议被设计成具有原子性，因此每个修改要么成功要么失败。

如果领导者出现故障，其余的机器会选出另外一个领导者，并和新的领导者一起继续提供服务。随后，如果之前的领导者恢复正常，会成为一个跟随者。领导者选举的过程是非常快的。

5.一致性

一个跟随者可能滞后于领导者几个更新。这也表明在一个修改被提交之前，只需要集合中半数以上机器已经将该修改持久化则认为更新完成。

对 ZooKeeper 来说，理想的情况就是将客户端都连接到与领导者状态一致的服务器上。

zk能保证数据的最终一致性(要么全部成功，要么全部失败)。

二、Dolphinscheduler

1.Dolphinscheduler介绍

官网 https://dolphinscheduler.apache.org/zh-cn

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。 DolphinScheduler 以 DAG（Directed Acyclic Graph，DAG）流式方式组装任务，可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

架构

2.架构说明

  • MasterServer

    MasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交监控，并同时监听其它MasterServer和WorkerServer的健康状态。 MasterServer服务启动时向Zookeeper注册临时节点，通过监听Zookeeper临时节点变化来进行容错处理。 MasterServer基于netty提供监听服务。

    该服务内主要包含:

    • DistributedQuartz分布式调度组件，主要负责定时任务的启停操作，当quartz调起任务后，Master内部会有线程池具体负责处理任务的后续操作；

    • MasterSchedulerService是一个扫描线程，定时扫描数据库中的t_ds_command表，根据不同的命令类型进行不同的业务操作；

    • WorkflowExecuteRunnable主要是负责DAG任务切分、任务提交监控、各种不同事件类型的逻辑处理；

    • TaskExecuteRunnable主要负责任务的处理和持久化，并生成任务事件提交到工作流的事件队列；

    • EventExecuteService主要负责工作流实例的事件队列的轮询；

    • StateWheelExecuteThread主要负责工作流和任务超时、任务重试、任务依赖的轮询，并生成对应的工作流或任务事件提交到工作流的事件队列；

    • FailoverExecuteThread主要负责Master容错和Worker容错的相关逻辑；

  • WorkerServer

    WorkerServer也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。 WorkerServer服务启动时向Zookeeper注册临时节点，并维持心跳。 WorkerServer基于netty提供监听服务。

    该服务包含：

    • WorkerManagerThread主要负责任务队列的提交，不断从任务队列中领取任务，提交到线程池处理；

    • TaskExecuteThread主要负责任务执行的流程，根据不同的任务类型进行任务的实际处理；

    • RetryReportTaskStatusThread主要负责定时轮询向Master汇报任务的状态，直到Master回复状态的ack，避免任务状态丢失；

  • ZooKeeper

    ZooKeeper服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。另外系统还基于ZooKeeper进行事件监听和分布式锁。 我们也曾经基于Redis实现过队列，不过我们希望DolphinScheduler依赖到的组件尽量地少，所以最后还是去掉了Redis实现。

  • AlertServer

    提供告警服务，通过告警插件的方式实现丰富的告警手段。

  • ApiServer接口

    API接口层，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。

  • UI

    系统的前端页面，提供系统的各种可视化操作界面。

3.FinalShell主虚拟机启动服务

# 启动
sh /export/server/dolphinscheduler/bin/start-all.sh
# 停止
sh /export/server/dolphinscheduler/bin/stop-all.sh

4.Web网页登录

http://192.168.88.80:12345/dolphinscheduler/ui/view/login/index.html
账号:admin
密码:dolphinscheduler123

5.使用

5-1 安全中心
创建队列

  • 队列是在执行 spark、mapreduce 等程序，需要用到“队列”参数时使用的。

  • 管理员进入安全中心 -> 队列管理页面，点击“创建队列”按钮，创建队列。

注意：目前仅有 admin 用户可以修改队列。

添加租户

  • 租户对应的是 Linux 的用户，用于 worker 提交作业所使用的用户。如果 linux 没有这个用户，则会导致任务运行失败。你可以通过修改 worker.properties 配置文件中参数 worker.tenant.auto.create=true 实现当 linux 用户不存在时自动创建该用户。worker.tenant.auto.create=true 参数会要求 worker 可以免密运行 sudo 命令

  • 租户编码：租户编码是 Linux上 的用户，唯一，不能重复

  • 管理员进入安全中心->租户管理页面，点击“创建租户”按钮，创建租户。

注意：目前仅有 admin 用户可以修改租户。

5-2 项目管理
I-创建项目

II-工作流定义

进入项目

定义

定义任务1

定义任务2

控制任务执行顺序

保存工作流

上线任务

执行任务

工作流执行实例

查看任务

查看任务日志

5-3 数据中心

数据源中心可以配置各种数据源，包括MySQL/PostgreSQL/Hive/Spark/ClickHouse/Oracle/

SQLServer/DB2等。配置数据源后，在使用SQL类型的任务时，选用不同数据源，就可以直接使用相应类型的SQL了。

这里，配置hive-dws：

创建工作流

注意：如果是查询语句需要配置邮箱服务，当前ds未配置邮箱服务，所以无法执行查询语句

需要公司向第三方邮箱服务器公司申请或者公司自建邮箱服务

非查询语句

create table dim.tb_test(id int,name string)

5-4 资源中心

将编写好的代码文件资源交给ds进行保存，定义任务时直接执行文件

定义工作流使用

5-5 监控中心

主要是对系统中的各个服务的健康状况和基本信息的监控和显示

6.指标分类介绍

指标就是最终要计算的数据内容。

指标主要有以下分类: (1)原子指标:

原子指标基于某一业务过程的度量值，是业务定义中不可再 拆解的指标，原子指标的核心功能就是对指标的聚合逻辑进行了 定义。比如 销售额 销量。

(2)派生指标:

派生指标基于原子指标，在原子指标的基础上加了各种限 定。比如 每月销售额 每月每个店铺的销售额。

(3)衍生指标:

衍生指标是在一个或多个派生指标的基础上，通过各种逻辑 运算复合而成的。比如 每月销售的环比增长，每个品类销售额占 比。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/592425.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

022、Python+fastapi，第一个Python项目走向第22步：ubuntu 24.04 docker 安装mysql8集群、redis集群（三）

022、Python+fastapi，第一个Python项目走向第22步：ubuntu 24.04 docker 安装mysql8集群、redis集群（三）

这次来安装mysql8了，以前安装不是docker安装，这个我也是第一次，人人都有第一次嚒 前言 前面的redis安装还是花了点时间的，主要是网上教程，各有各的好，大家千万别取其长处，个人觉得这个环境影响…
阅读更多...
一、Mysql索引的底层数据结构与算法

一、Mysql索引的底层数据结构与算法

Mysql索引的底层数据结构与算法 前言一、索引数据结构为什么 MySQL 的索引要使用 B 树而不是其他树形结构?比如 B 树?为什么InnoDB存储引擎选择使用Btree索引结构？ 二、索引分类思考：以下SQL语句，那个执行效率高？为什么&#xf…
阅读更多...
Stable Diffusion AI绘画

Stable Diffusion AI绘画

我们今天来了解一下最近很火的SD模型 ✨在人工智能领域，生成模型一直是研究的热点之一。随着深度学习技术的飞速发展，一种名为Stable Diffusion的新型生成模型引起了广泛关注。Stable Diffusion是一种基于概率的生成模型，它可以学习数据的潜…
阅读更多...
数据仓库实验三：分类规则挖掘实验

数据仓库实验三：分类规则挖掘实验

目录 一、实验目的二、实验内容和要求三、实验步骤1、创建数据库和表2、决策树分类规则挖掘（1）新建一个 Analysis Services 项目 jueceshu（2）建立数据源视图（3）建立挖掘结构 DST.dmm（4&#xff…
阅读更多...
Qt模型视图代理之QTableView应用的简单介绍

Qt模型视图代理之QTableView应用的简单介绍

往期回顾 Qt绘图与图形视图之绘制带三角形箭头的窗口的简单介绍-CSDN博客 Qt绘图与图形视图之Graphics View坐标系的简单介绍-CSDN博客 Qt模型视图代理之MVD(模型-视图-代理)概念的简单介绍-CSDN博客 Qt模型视图代理之QTableView应用的简单介绍 一、最终效果 二、设计思路 这里…
阅读更多...
【Android学习】日期和时间选择对话框

【Android学习】日期和时间选择对话框

实现功能 实现日期和时间选择的对话框&#xff0c;具体效果可看下图(以日期为例) 具体代码 1 日期对话框 1.1 xml <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android&quo…
阅读更多...
EPAI手绘建模APP资源管理和模型编辑器2

EPAI手绘建模APP资源管理和模型编辑器2

g) 矩形 图 26模型编辑器-矩形 i. 修改矩形的中心位置。 ii. 修改矩形的长度和宽度。 h) 正多边形 图 27模型编辑器-内接正多边形 图 28模型编辑器-外切正多边形 i. 修改正多边形的中心位置。 ii. 修改正多边形中心距离端点的长度。 iii. 修改正多边形的阶数。阶数为3&…
阅读更多...
排序算法之堆排序

排序算法之堆排序

首先在了解堆排序之前我们先来回顾一下什么叫做堆吧&#xff01; 基本概念 堆&#xff08;Heap&#xff09;&#xff1a;是一种特殊的完全二叉树&#xff0c;其中每个节点的值都大于或等于&#xff08;大顶堆&#xff09;或小于或等于&#xff08;小顶堆&#xff09;其子节点的…
阅读更多...
活动图与状态图：UML中流程图的精细化表达——专业解析系统动态性与状态变迁

活动图与状态图：UML中流程图的精细化表达——专业解析系统动态性与状态变迁

流程图是一种通用的图形表示法&#xff0c;用以展示步骤、决策和循环等流程控制结构。它通常用于描述算法、程序执行流程或业务过程&#xff0c;关注于任务的顺序执行。流程图强调顺序、分支和循环&#xff0c;适用于详细说明具体的处理步骤&#xff0c;图形符号相对基础和通用…
阅读更多...
ubuntu搭建kms服务器

ubuntu搭建kms服务器

1.下载kms开源包(如果提示找不到wget命令的话:apt install wget): wget https://github.com/Wind4/vlmcsd/releases/download/svn1111/binaries.tar.gz2.解压: tar -xzvf binaries.tar.gz接着cd 进入 Linux/intel/static/ 文件夹下: 3.选择对应的文件&#xff0c;这里我们选…
阅读更多...
onedrive下載zip檔案有20G限制，如何解決

onedrive下載zip檔案有20G限制，如何解決

一般來說&#xff0c;OneDrive網頁版對文件下載大小的限制如下圖所示&#xff0c;更多資訊&#xff0c;請您參考這篇文章&#xff1a;OneDrive 和 SharePoint 中的限制 - Microsoft Support 因此我們推薦您使用OneDrive同步用戶端來同步到本地電腦&#xff0c;您也可以選擇只同…
阅读更多...
C语言——rand函数

C语言——rand函数

一、rand函数 这是一个在 C 标准库 <stdlib.h> 中定义的函数&#xff0c;用于生成伪随机数&#xff0c;默认情况下&#xff0c;它生成从 0 到 RAND_MAX 的伪随机数&#xff0c;其中 RAND_MAX 是一个常数&#xff0c;通常是 32767。 1、函数原型&#xff1a; 2、函数返回…
阅读更多...
C#中.net8WebApi加密解密

C#中.net8WebApi加密解密

尤其在公网之中&#xff0c;数据的安全及其的重要&#xff0c;除过我们使用jwt之外&#xff0c;还可以对传送的数据进行加密&#xff0c;就算别人使用抓包工具&#xff0c;抓到数据&#xff0c;一时半会儿也解密不了数据&#xff0c;当然&#xff0c;加密也影响了效率&#xff…
阅读更多...
【Qt问题】VS2019 Qt win32项目如何添加x64编译方式

【Qt问题】VS2019 Qt win32项目如何添加x64编译方式

解决办法&#xff1a; 注意改为x64版本以后&#xff0c;要记得在项目属性里&#xff0c;修改Qt Settings、对应的链接include、lib等 参考文章 VS2019 Qt win32项目如何添加x64编译方式_vs2019没有x64-CSDN博客 有用的知识又增加了~
阅读更多...
www.fastssh.com SSH over WebSockets with CDNs

www.fastssh.com SSH over WebSockets with CDNs

https://www.fastssh.com/page/create-ssh-cdn-websocket/server/这其实不是标准的websocket报文(服务器响应报文无Sec-Websocket-Accept字段)&#xff0c;所以无法使用github.com/gorilla/websocket包&#xff1a;GET / HTTP/1.1 Host: hostname:8080 User-Agent: Go-http-cli…
阅读更多...
43 单例模式

43 单例模式

目录 1.什么是单例模式 2.什么是设计模式 3.特点 4.饿汉和懒汉 5.峨汉实现单例 6.懒汉实现单例 7.懒汉实现单例&#xff08;线程安全&#xff09; 8.STL容器是否线程安全 9.智能指针是否线程安全 10.其他常见的锁 11.读者写者问题 1. 什么是单例模式 单例模式是一种经典的&a…
阅读更多...
243 基于matlab的模糊C均值算法（FCM）及其改进算法将空间邻域项引入FCM的目标函数(FCM_S)

243 基于matlab的模糊C均值算法（FCM）及其改进算法将空间邻域项引入FCM的目标函数(FCM_S)

基于matlab的模糊C均值算法&#xff08;FCM&#xff09;及其改进算法将空间邻域项引入FCM的目标函数(FCM_S),广义的模糊C均值(GFCM)算法&#xff0c;基于核的改进的模糊c均值聚类算法&#xff08;KFCM&#xff09;,基于核的广义模糊c均值聚类算法KGFCM的图像分割方法。程序已调…
阅读更多...
一文了解python机器学习Sklearn

一文了解python机器学习Sklearn

1.3 安装和配置Sklearn 要使用Sklearn库&#xff0c;首先需要安装Python和相应的库。在本教程中&#xff0c;我们将使用Python 3.x版本。可以使用以下命令安装Sklearn库&#xff1a; pip install scikit-learn安装完成后&#xff0c;可以在Python代码中导入Sklearn库&#xf…
阅读更多...
【Android学习】自定义文本框和输入监听

【Android学习】自定义文本框和输入监听

实现功能 以上代码可实现功能&#xff1a; 1 自定义文本框样式 2. 文本框触发形式转变 3. 文本框输入长度监听&#xff0c;达到最大长度关闭软键盘 4. password框触发检测phone框内容 1. drawable自定义形状 我创建了editor_focus.xml 和 editor_unfocus.xml&#xff0c;两者仅…
阅读更多...
猿人学第七题-动态字体-随风漂移

猿人学第七题-动态字体-随风漂移

前言&#xff1a;该题主要是考对fontTools.ttLib.TTFont的操作&#xff0c;另外就是对字典互相映射的操作 一、woff文件存储 from fontTools.ttLib import TTFont #pip install fontTools def save_woff(response):woff response[woff]woff_file base64.b64decode(woff.enc…
阅读更多...
最新文章

Copyright @ 2022~2023