kettle 学习笔记

kettle 学习笔记

  • 个人理解
  • 下载 / 安装kettle及测试环境准备
    • kattle下载安装
    • JDK安装配置
    • MySQL安装配置
  • 使用练习
    • 创建数据库连接
    • 转换练习

个人理解

ETL工具的一种,作用是将数据进行抽取,转换,应该是数据中心类型的项目用的比较多,将不同类型数据库的数据进行交换,存储。

下载 / 安装kettle及测试环境准备

kattle下载安装

kettle各版本国内镜像下载地址:http://mirror.bit.edu.cn/pentaho/

下载后无须安装,直接解压即可,需注意此软件依赖JDK。

脱离开发很久,电脑未配置java环境,点击 Spood.bat 此时第一个问题出现。
在这里插入图片描述

JDK安装配置

开始安装配置JDK,参考此文章

https://blog.csdn.net/ACE_U_005A/article/details/114840497

安装完发现不用配置环境变量也可正常运行,在命令行界面使用java -version 测试
在这里插入图片描述

MySQL安装配置

接下来准备测试环境,Oracle装起来太麻烦了,装个mysql用来测试。

参考文章:https://blog.csdn.net/xhmico/article/details/125029286

安装时与参考文章不同的是安装类型并没有 developer default(开发人员默认),使用的Full(全部安装)配置。
配置完环境变量要打开一个新的cmd命令行窗口输入 mysql -u root -p 命令测试
(不配置环境变量的话,在cmd里输入mysql命令不识别)

安装完发现有两个命令行窗口类型,百度查了查,结论是使用带Unicode的那个。
Command Line Client - Unicode 和 command Line Client 的区别: https://blog.csdn.net/VLOKL/article/details/130096028

装完mysql顺手装个navivcat。

参考文章: https://blog.51cto.com/u_15766933/5745859
激活工具最高激活navicat15,官网下载是navicat16,需要找历史版本下载。

根据需求创建测试表,这个就不提了,navicat里创建很容易。

使用练习

点击spoon打开图形化窗口
在这里插入图片描述

创建数据库连接

创建一个数据库连接。
在这里插入图片描述
mysql这么填就可以,填完点击测试。
在这里插入图片描述
这样提示即为连接成功。
在这里插入图片描述
若是报错,查下报错信息看下是什么问题,我提示了缺少驱动的问题,去官网进行下载处理。
MySQL官网→ 界面上方 DOWNLOADS → 下滑 MySQL Community (GPL) Downloads 社区版下载 Connector/J → Archives → 选择对应版本下载(我用的5.1.49,高版本不好使,刚开始用的8.0.33)→ 解压后将 mysql-connector-java-5.1.49-bin.jar 扔到 kettle 的 lib文件夹里。
在这里插入图片描述

驱动报错处理-参考文章:https://blog.csdn.net/xiongben0102/article/details/120331961

转换练习

核心对象→输入→表输入 ,将 表输入 拖拽到右侧窗口里
在这里插入图片描述
双击拖拽过去的 表输入 图标,进入配置窗口。
在这里插入图片描述
核心对象→输出→插入更新 ,将 插入更新 拖拽到右侧窗口,同时按住shift,将 表输入 与 插入更新 连接到一起。
在这里插入图片描述
双击 插入更新 图标,进入配置窗口。

在这里插入图片描述
点击上方执行在这里插入图片描述
成功执行,查看mysql数据库数据成功插入
在这里插入图片描述
test1,test5执行后数据对比,之前test5是一个空表。
在这里插入图片描述

在这里插入图片描述

Kettke学习参考文章:
https://blog.csdn.net/longqi_123/article/details/122343170
https://www.cnblogs.com/easyjie/p/15740627.html
https://www.jianshu.com/p/4d8171150faf

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/53259.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

用html+javascript打造公文一键排版系统8:附件及标题排版

最近工作有点忙,所 以没能及时完善公文一键排版系统,现在只好熬夜更新一下。 有时公文有包括附件,招照公文排版规范: 附件应当另面编排,并在版记之前,与公文正文一起装订。“附件”二字及附件顺序号用3号黑…

网络层中一些零碎且易忘的知识点

异构网络:指传输介质、数据编码方式、链路控制协议以及数据单元格式和转发机制不同,异构即物理层和数据链路层均不同RIP、OSPF、BGP分别是哪一层的协议: -RIPOSPFBGP所属层次应用层网络层应用层封装在什么协议中UDPIPTCP 一个主机可以有多个I…

【2023年11月第四版教材】《第1章-信息化发展之<1信息与信息化>》

第01章-信息化发展 1 信息与信息化 大部分为新增内容,预计选择题考4分,案例和论文不考。本章与第三版相同内容将斜体表示。 1 信息与信息化 1、信息是物质、能量及其属性的标示的集合,是确定性的增加。 2、控制论的创始人维纳认为:信息就是信…

【大数据趋势】7月30日 汇率,恒指期货的大数据趋势概率分析。

1. 数据源头之一 : 汇率变化 从程序模拟趋势来看,美元在持续弱势状态,周线上正在构建一个新的下跌趋势,而且正在反抽过程中,即将完成,如果没有外部干预,会顺势往下。从月线来看,高点逐步降低&a…

学习记录——Octave Convolution、LSK

Octave Convolution 2019 ICCV 自然世界中的图像存在高低频,卷积层的输出特征图以及输入通道,也都存在高、低频分量。 低频分量支撑的是整体轮廓,高频分量则关注细节,显然,低频分量是存在冗余的,在编码过程…

区块链学习笔记

区块链技术与应用 数组 列表 二叉树 哈希函数 BTC中的密码学原理 cryptographic hash function collsion resistance(碰撞抵抗) 碰撞指的是找到两个不同的输入值,使得它们的哈希值相同。也就是说,如果存在任意两个输入x和y,满足x ≠ y…

AC+FIT(瘦AP)配置浅谈

FIT ensp实验材料 :pc、路由器、三层交换机、二层交换机、ac、ap 保证连通性: 根据ac与ap设计好的ip配置,使之可以通讯 ac与ap可以实现跨网段管理 1、设置三层交换机的vlan 与vlanif信息 dhcp enable //开启dhcp ip pool forap //…

WEB:unseping

背景知识 php序列化和反序列化 命令执行绕过方式 题目 进行代码审计 可知为反序列化 整体是创建case类,可接受post传来的ctf值 _consturuct函数,是在函数调动前启用,构造了$method和$args两个变量。 _dexstruct函数在变量摧毁的时使用,所…

SQL 执行计划管理(SPM)

一、SPM 需求背景 任何数据库应用程序的性能在很大程度上都依赖于查询执行,尽管优化器无需用户干预就可以评估最佳计划,但是 SQL 语句的执行计划仍可能由于以下多种原因发生意外更改:版本升级、重新收集优化器统计信息、改变优化器参数或模式…

IT技术面试中常见的问题及解答技巧

在IT技术面试中,面试官常常会问到一些常见的问题,针对这些问题,我们可以充分准备和提前准备一些解答技巧。下面我将分享一些我个人的经验和观察,希望对大家有所帮助。 请介绍一下你的项目经验。 在回答这个问题时,我们…

Linux命令大全

目录 第一章、系统命令1.1)系统命令1.2)目录结构1.3)编辑命令vi/vim 第二章、文件操作命令(区分大小写)2.1)查看查找文件和文件信息,切换目录2.2)新建/删除/复制/移动修改文件和文件…

go 如何知道一个对象是分配在栈上还是堆上?

如何判断变量是分配在栈(stack)上还是堆(heap)上? Go和C不同,Go局部变量会进行逃逸分析。如果变量离开作用域后没有被引用,则优先分配到栈上,否则分配到堆上。判断语句:…

苍穹外卖day10——订单状态定时处理(Spring Task)、来单提醒和客户催单(WebSocket)

预期效果 对于超时没处理的需要定时程序处理。基于SpringTask实现。 来单提醒和客户催单。基于WebSocket实现。 Spring Task 介绍 Cron表达式 周几通常不能和日一起指定。 cron表达式在线生成器 在线Cron表达式生成器 入门案例 创建定时任务类 /*** 定义定时任务类*/ Slf4j…

HCIA实验四

一.实验要求: 1、R4为ISP,其上只能配置IP地址;R4与其他所有直连设备间均使用共有IP; 2、R3 - R5/6/7为MGRE环境,R3为中心站点; 3、整个网络配置OSPF环境,IP基于172.16.0.0/16网段划分&#x…

Hexo+GithubPages免费搭建个人博客网站

HexoGithubPages免费搭建个人博客网站 目录 一、前言二、Github配置 新建同名仓库配置Pages 三、安装Hexo四、配置hexo-deployer-git五、访问六、发布文章七、安装主题 一、前言 我之前开了好几年的云服务器了,实际上使用场景并不是很多,感觉有点浪费…

01|Oracle学习(监听程序、管理工具、PL/SQL Developer、本地网络服务介绍)

基础概念 监听程序:运行在Oracle服务器端用于侦听客户端请求的程序。 相当于保安,你来找人,他会拦你,问你找谁。他去帮你叫人过来。 配置监听程序应用场景 Oracle数据库软件安装之后没有监听程序(服务)…

Leetcode | Binary search | 22. 74. 162. 33. 34. 153.

22. Generate Parentheses 要意识到只要还有左括号,就可以放到path里。只要右括号数量小于左括号,也可以放进去。就是valid的组合。recurse两次 74. Search a 2D Matrix 看成sorted list就好。直接用m*n表示最后一位的index,并且每次只需要 …

软件测试员的非技术必备技能

成为软件测试人员所需的技能 非技术技能 以下技能对于成为优秀的软件测试人员至关重要。 将您的技能组合与以下清单进行比较,以确定软件测试是否适合您 - 分析技能:优秀的软件测试人员应具备敏锐的分析能力。 分析技能将有助于将复杂的软件系统分解为…

【论文阅读】The Deep Learning Compiler: A Comprehensive Survey

论文来源:Li M , Liu Y , Liu X ,et al.The Deep Learning Compiler: A Comprehensive Survey[J]. 2020.DOI:10.1109/TPDS.2020.3030548. 这是一篇关于深度学习编译器的综述类文章。 什么是深度学习编译器 深度学习(Deep Learning)编译器将…

Hbase基础概念

HBase 一、HBase的数据模型1.HBase数据存储结构2.HBase存储概念3.HBase基本架构 二、HBase Shell1.DDL(Data Definition Language)1.namespace2.table 2.DML(Data Manipulation Language)1.写入数据2.读取数据3.删除数据 三、HBase组成架构1. Master架构…