用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本

在实际项目中，从Kafka到HDFS的数据是每天自动生成一个文件，按日期区分。而且Kafka在不断生产数据，因此看看kettle是不是需要时刻运行？能不能按照每日自动生成数据文件？

为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况，特地提前跑一下海豚定时调度这个任务，看看到底什么情况,也给大家提供一个参考！

海豚调度任务配置

（一）SHELL脚本配置

#!/bin/bash
source /etc/profile

/opt/install/kettle9.2/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/kafka_to_hdfs/ -trans=04_Kafka_to_HDFS_turnratio level=Basic >>/home/log/kettle/04_Kafka_to_HDFS_turnratio_`date +%Y%m%d`.log 

file

（二）定时任务设置

定时任务设置为每天的零点，零点一到开始执行任务

file

（三）最后工作流情况

file

启动工作流

file

工作流启动，成功！工作流一直在跑 file

相应的任务实例也在跑！

启动工作流每天HDFS情况

（一）第一天为2023/8/30日

由于第一天开始执行任务，因此自动生成2023/08/30的HDFS文件

（二）第二天为2023/8/31日

2023/08/31早上更新

（1）04_Kafka_to_HDFS_turnratio任务

file 第二天的海豚任务自动调度，自动生成2023/08/31的HDFS文件

但问题是，除了再跑31日的任务外，30日的任务还在跑，可能是定时配置有问题，需要优化

而且这样搞容易把kettle搞出问题！

file

2023/08/31晚上更新

（1）04_Kafka_to_HDFS_turnratio任务

不设置定时任务，kettle任务一直运行，已经生成8月31日的文件，观察明天会不会自动生成9月1日的数据文件

file

已生成的8月31日文件

file

（2）01_Kafka_to_HDFS_queue任务

不设置定时任务，kettle任务一直运行，已经生成8月31日的文件，观察明天会不会自动生成9月1日的数据文件

file

已生成的8月31日文件

如果明早不能自动生成9月1日的文件，那就要设置海豚定时为每天的执行时间为0时0分0秒到23时59分59秒  或者在脚本里设置时间  或者在kettle里设置时间？我们试试看！

（三）第三天为2023/9/1日

2023/09/01早上更新

昨晚海豚调度的两个kettle任务以失败告终，没有自动生成9月1日的数据文件 file 今日再尝试其他的方式

2023/09/01下午更新

下午尝试用Crontab定时任务调度Kettle脚本

\[root@hurys22 kettle\_job\_sh\]# crontab -l  
SHELL=/bin/bash

\#  */1 * * * * /bin/sh  /opt/install/kettle9.2/kettle\_job\_sh/test2.sh

06-07 17 * * * /bin/sh  /opt/install/kettle9.2/kettle\_job\_sh/01\_Kafka\_to\_HDFS\_queue.sh

设置每天的17点的6分到7分中执行

file

但是日志文件显示kettle任务却一直再跑

file

当然，HDFS中确实生成了9月1日今日的文件，而且任务运行时间是我设置的17点7分

file

这个方法不行，后面再试试其他方法？怎么就不会设置任务停止呢

（四）第四天为2023/9/4日

2023/09/04早上更新

由于Kafka里有时间戳字段，因此在kettle任务里获取当前系统时间戳的日期字段、然后文件名直接从这个日期字段获取

（1）当前系统时间戳的日期字段

file

（2）HDFS输出中文件名直接获取这个日期字段，这样kettle任务运行时，是不是能自动生成每天的数据文件？

file

（3）测试结果，任务可以跑通，但是HDFS生成的文件不知却在哪？

file

终于查到了，原来这样导出的文件不在HDFS，而在kettle的安装文件里，即在本地

file 而且这么直接以日期命名也有问题，因为有多个Kafka，不可能仅仅以日期命名区分

2、2023/09/04晚上更新 

因为上午的思路有问题，导出的文件没有在HDFS中，反而在本地，于是下午又换了种思路。 file

还是从系统获得时间day，但是文件路径直接写成HDFS的文件路径+day，这样的url字段才是HDFS输出控件中的文件名字段

file

（1）用海豚调度对比，定时调度01_Kafka_to_HDFS_queue任务

file

目前已生成生成9月4日的文件

file

（2）用海豚调度对比，不加定时调度04_Kafka_to_HDFS_turnratio任务 file目前已生成生成9月4日的文件

file

（五）第五天为2023/9/5日

2023/09/05早上更新

虽然自动生成了9月5日的文件，但是由于数据量过大、加上把hadoop.tmp.dir放在了/opt/soft/hadoop313/hadooptmp，导致opt文件夹磁盘溢出，使得namenode处于安全模式。

花了一上午时间终于解决NameNode的安全模式问题，发现应该把HADOOP 运行时存储路径放在home目录下，因为home的磁盘空间最大

file

2023/09/05晚上更新

惊喜！！！

可能已经找到了解决方法，直接对Kafka里的时间戳字段进行截取，然后拼接文件路径，从而形成一个可以根据时间戳字段的日期变动的HDFS文件，即每天自动生成一个数据文件

（1）通过Java自定义文件名  字段url（HDFS路径+截取的可变的时间戳字段）

var url="hdfs://root:***@hurys22:8020/rtp/queue\_dynamic/queue\_dynamic"+substr(create_time,0,10)

file

（2）在HDFS输出控件的文件就选择url字段

file（3）结果

已经生成了9月5日的数据文件，不需要海豚定时调度，只需要海豚一直跑kettle任务即可！

虽然还是生成了9月5日的数据文件，不过我今天下午按照生成每小时维度的数据文件测试过

file

下午16时运行任务，生成了16时的数据文件，然后到17时，又生成了17时的数据文件，这两个数据文件都在跑，而且HDFS里大小显示都为0。

不过区别是，16时的数据是完整的，17时的数据文件是不断增加的。因为Kafka是实时的，17时只会发送17时的数据，不会发送16时数据。下面是16时的文件数据

file

16时的数据文件是有固定的数据，17点后就没有再写入数据。之所以看不到这个这个block的大小，是因为写入数据的规模太小了，等到这个写入的数据规模达到128MB，即一个块大小后才会看到这个block的数据。

file

所以只要一直运行这个kettle任务、不断写入数据即可，只要写入的数据规模达到128MB，第一个block就会被看到。

已用海豚调度一个kettle任务，没有定时，就一直跑。目前HDFS已生成了9月5日的数据文件，明天就可以观察几点

1、有没有自动生成明天9月6日的数据文件

2、今天9月5日的数据文件里面的数据是不是固定的、完整的，晚上12点之后不再写入

3、等到写入数据规模达到128MB看第一个block的数据大小可不可看到？

明天9月6日除了看这几点外，还用flume去做Kafka到HDFS的采集工作，以防万一，这两天被这个问题搞得头疼，kettle真是一个易入门难精通的工具！

（六）第六天为2023/9/6日

2023/09/06早上更新

由于昨晚Kafka突然有问题，导致kettle没能导入数据到HDFS的文件，今早已重新启动Kafka服务

file

（1）目前已重新启动海豚调度的kettle服务

file

（2）目前已自动生成9月6日的数据文件

file

（3）只能明天9月7日看一下昨晚的3个问题

1、有没有自动生成明天9月7日的数据文件

2、今天9月6日的数据文件里面的数据是不是固定的、完整的，晚上12点之后不再写入

3、等到写入数据规模达到128MB看第一个block的数据大小可不可看到？

2023/09/06下午更新

（1）为了以防万一，加了个对比测试。看看如果一天的数据放不满一个block或者部分多余数据放不满一个block，可不可以正常显示？即使它总的写入数据量大于128MB

不仅多加了几台模拟设备推送数据，还对动态排队数据和静态排队数据两个kettle任务进行对比

（2）动态排队数据有自动日期分区，可以自动分成不同日期的文件，就是昨晚跑的kettle任务

file

（3）而静态排队数据没有日期分区，就往第一个日期文件里写入数据

目前静态排队数据也已经生成了9月6日的数据文件，后面会一直写入这个文件

file 明早对比这两个kettle任务的数据文件看看情况

（七）第七天为2023/9/7日

2023/09/07早上更新

A、HDFS文件有日期分区的动态排队数据kettle任务状况

（1）首先是自动生成9月7日的文件

file （2）然后是6日的数据文件固定，没有7日的数据

file

（3）6日的数据这一块由于只有62.8MB，因此HDFS的块没有显示大小

file

B、HDFS文件没有日期分区的静态排队数据kettle任务状况

由于写入的HDFS文件没有日期分区，而且数据量写入超过了128MB，所以这一块的数据虽然在不断写入，但是这一块的文件显示大小为128MB

file 疑问：现在任务依然运行，我想看看这个块已经有128MB后，会不会在其他block写入数据？

2023/09/07晚上更新

A、HDFS文件有日期分区的动态排队数据kettle任务状况

（1）今日9月7日写入的数据量超过128MB，因此HDFS已显示文件大小

file

总结一下：用kettle采集Kafka数据写入HDFS这条路是可行的，只要设置变动的文件名、生成每日的数据文件，然后一直跑任务就好！！！

本文由 白鲸开源科技 提供发布支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/553058.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

四川易点慧电子商务抖音小店打造便捷生活新体验

四川易点慧电子商务抖音小店打造便捷生活新体验

随着互联网的迅猛发展，电子商务已经深入到人们生活的方方面面。在这个大背景下，四川易点慧电子商务抖音小店应运而生，凭借其独特的魅力和创新模式，迅速在电商领域崭露头角，成为了众多消费者追逐的焦点。 抖音小店作为新…
阅读更多...
HTML5+CSS3小实例：菜单按钮的三种切换动画

HTML5+CSS3小实例：菜单按钮的三种切换动画

实例：菜单按钮的三种切换动画 技术栈：HTML+CSS 效果： 源码： 【HTML】 <!DOCTYPE html> <html lang="zh-CN"> <head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initia…
阅读更多...
Verilog仿真跨模块调用内部信号的方法

Verilog仿真跨模块调用内部信号的方法

在Verilog仿真时如果需要调用某子模块中的信号在本模块中使用可以使用层次化引用的方法&#xff0c;而不需要在rtl部分用端口引出来。 引用方式&#xff1a;当前例化模块名.子例化模块名.子子例化模块名.参数 将需要的信号引出。 注意是用例化模块名而不是用子模块名&#xff…
阅读更多...
Element——组件

Element——组件

element官网 https://element.eleme.cn/#/zh-CN/component/layout vscode格式化快捷键&#xff1a;shiftaltf table表格 <template><el-table:data"tableData"style"width: 100%"><el-table-columnprop"date"label"日期…
阅读更多...
docker安装clickhouse数据库

docker安装clickhouse数据库

1.创建目录 mkdir -p /data/clickhouse/data mkdir -p /data/clickhouse/conf mkdir -p /data/clickhouse/log2.拉取镜像 docker pull clickhouse/clickhouse-server3.创建临时容器 docker run -d --rm --name clickhouse-server --ulimit nofile262144:262144 clickhouse/c…
阅读更多...
git出现错误 fail to push some refs to “xxx“

git出现错误 fail to push some refs to “xxx“

问题产生原因&#xff1a;根据测试猜测造成这一错误的原因是在码云的远程仓库上删除了一个文件,本地没有pull下来,直接进行了commit,commit到本地仓库后,如果在pull下来,也是无法提交的 问题解决办法: 使用 git pull --rebase,拉取远程仓库,并将本地仓库新的提交作为最顶层的提…
阅读更多...
Postman之全局变量与环境变量配置

Postman之全局变量与环境变量配置

实际开发中可能需要不停切换环境&#xff0c;接口中来回输入环境地址比较麻烦&#xff0c;故而通过定义变量来节约频繁更换测试地址所耗费的时间。Postman 允许定义自己的全局变量&#xff08;Globals&#xff09;与环境变量&#xff08;Environment&#xff09;&#xff0c;最…
阅读更多...
Stable Diffusion WebUI 控制网络 ControlNet 插件实现精准控图-详细教程

Stable Diffusion WebUI 控制网络 ControlNet 插件实现精准控图-详细教程

本文收录于《AI绘画从入门到精通》专栏&#xff0c;专栏总目录&#xff1a;点这里&#xff0c;订阅后可阅读专栏内所有文章。 大家好&#xff0c;我是水滴~~ 本文主要介绍 Stable Diffusion WebUI 一个比较重要的插件 ControlNet&#xff08;控制网络&#xff09;&#xff0c;主…
阅读更多...
基于go+vue的多人在线聊天的im系统

基于go+vue的多人在线聊天的im系统

基于govue的多人在线聊天的im系统 文章目录 基于govue的多人在线聊天的im系统一、前端部分二、后端部分1、中间件middleware设计jwt和cors2、配置文件设计3、Mysql和Redis连接4、路由设计5、核心功能设计 一、前端部分 打算优化一下界面&#xff0c;正在开发中。。。 二、后端…
阅读更多...
Realsense D455 调试

Realsense D455 调试

1 Realsense D455 配置&#xff1a; RGB&#xff1a;彩色相机&#xff0c;FOV&#xff08;h&#xff0c;v&#xff09;&#xff08; 90*65 &#xff09;红外点阵发射&#xff1a;位于上图中RGB右边&#xff0c;发射特定模式的红外光&#xff0c;通常是一种点阵图案&#xff0c…
阅读更多...
React + 项目(从基础到实战) -- 第八期

React + 项目(从基础到实战) -- 第八期

ajax 请求的搭建 引入mockAP接口设计AJAX 通讯 前置知识 HTTP 协议 , 前后端通讯的桥梁API : XMLHttpRequest 和 fetch常用工具axios mock 引入 Mock.js (mockjs.com) 使用 mockJS 前端代码中引入 mockJs定义要模拟的路由 , 返回结果mockJs 劫持ajax请求(返回模拟的结果)…
阅读更多...
记一次kafkakerberos认证问题

记一次kafkakerberos认证问题

1&#xff0c;报错信息 排查思路&#xff1a;检查kerberos配置文件 kerberos.kafka.principalkafka/huawe_baseSECURITY.COM kerberos.kafka.keytabPath/etc/huawe_base.keytab kerberos.kafka.krb5ConfPath/etc/krb5.conf但是查看kafka_client_jass.conf文件&#xff0c;发现…
阅读更多...
LoRA模型是什么？

LoRA模型是什么？

AI Agent能力评测工具AgentBench评测结果 LoRA模型是什么&#xff1f; LoRA模型&#xff08;Low-Rank Adaptation of Large Language Models&#xff09;是一种针对大型语言模型&#xff08;LLMs&#xff09;的微调技术&#xff0c;其目的是在保持模型原有性能的基础上&#x…
阅读更多...
数据库服务的运行与登录

数据库服务的运行与登录

打开数据库服务 数据库服务: SQL Server(MSSQLServer) 运行在服务器端的应用程序, 提供数据的存储 / 处理和事务等在使用DBMS的客户端之前必须首先打开该服务 客户端连接到服务器 关于客户端 / 服务器端的说明 客户端 : 数据库管理系统(DBMS), 应用程序服务器端 : 安装的数据…
阅读更多...
深澜计费管理系统 /demo/proxy存在任意文件读取漏洞

深澜计费管理系统 /demo/proxy存在任意文件读取漏洞

声明&#xff1a; 本文仅用于技术交流&#xff0c;请勿用于非法用途 由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#xff0c;文章作者不为此承担任何责任。 简介 深澜计费管理系统是一款用于网络设备计费管理的软件…
阅读更多...
nginx部署上线

nginx部署上线

1. windows配置nginx 打包命令 npm run build:prod 1. 安装 nginx mac windows 2. mac / windows 环境下ngnix部署启动项目 2. nginx 解决 history 的 404 问题 3. nginx配置代理解决生产环境跨域问题
阅读更多...
元宇宙-虚拟世界的安全风险如何应对

元宇宙-虚拟世界的安全风险如何应对

元宇宙&#xff08;Metaverse&#xff09;是一个虚拟时空间的集合&#xff0c;由一系列的增强现实&#xff08;AR&#xff09;、虚拟现实&#xff08;VR&#xff09;和互联网&#xff08;Internet&#xff09;所组成。这个虚拟时空间是一个持续存在的、由众多虚拟世界互相连接而…
阅读更多...
链表OJ - 5（合并两个有序链表）

链表OJ - 5（合并两个有序链表）

题目描述&#xff08;来源&#xff09; 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 思路 需创建一个头结点&#xff0c;然后从两个链表的表头开始依次比较传入的两个链表的结点的大小&#xff0c;并将两个链表中较小的…
阅读更多...
Linux LVM 逻辑卷管理

Linux LVM 逻辑卷管理

Logical Volume Manager&#xff0c;逻辑卷管理 能够在保持现有数据不变的情况下动态调整磁盘容量&#xff0c;从而提高磁盘管理的灵活性/boot分区用于存放引导文件&#xff0c;不能基于LVM创建 三大概念&#xff1a; 物理卷PV基于硬盘或分区设备创建而来&#xff0c;生成N多…
阅读更多...
自媒体博客Spimes主题 X7.1 简约新闻自媒体类的 typecho 主题源码

自媒体博客Spimes主题 X7.1 简约新闻自媒体类的 typecho 主题源码

spimes主题专为博客、自媒体、资讯类的网站设计开发&#xff0c;自适应兼容手机、平板设备。一款简约新闻自媒体类的 typecho 主题&#xff0c;设计上简约、干净、精致、响应式&#xff0c;后台设置更是强大而且实用的新闻自媒体类主题。 PS&#xff1a;5.0版本改动比较多&…
阅读更多...
最新文章

Copyright @ 2022~2023