kettle介绍-参数变量

ETL中为什么使用参数变量

  • 实现ETL的复用
  • D,Q,P环境不同,使用变量方便发布
  • 有的条件需要外部传入
  • 增量ETL
  • 灵活性强

kettle中参数变量种类

  • Environment Variables
  • Kettle Variables
  • Internal Variables
  • Transformation中的变量
  • Job中的变量

Environment Variables

通过Set Environment Variables设置
在这里插入图片描述
固定值无法动态使用

Kettle Variables

  • 主要设置在kettle.properties文件中设置,路径为:${KETTLE_HOME}\kettle.properties
  • 主要存放PDI的通用参数,我们在新建数据库时,不希望一直在相关组件输入用户名、密码等信息,也会运用于数据库连接,有时候也会运用与同一个系列JOB的过滤条件
  • 配置方式:直接在kettle.properties中添加通过客户端修改
    在这里插入图片描述
    在这里插入图片描述

Internal Variables

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
${Internal.Entry.Current.Directory}
这个参数表示当前的实体保存的位置,比如在Job中使用,则表示Job保存的位置,Transformation中表示Transformation的位置。

一般用在Transformation Executor 及Job Executor组件中指定需要执行的Job或者Transformation的位置,推荐使用这种方式。上线时不会因为是绝对路径造成ETL执行出错。
在这里插入图片描述

Transformation中的参数变量

KTR:SET_DELTA_POINT.ktr
在transformation属性配置中可以设置变量
在这里插入图片描述

Table input中的绑定变量以及execute for each row

需要注意从上一个step过来的数据,当没有勾选execute for each row时只能为一条,勾选后每一条这个step以及之后的都会运行一遍

  • 使用变量的顺序与从上一个step流入的字段顺序一样数据类型一样
  • SQL 中用问号代表参数
    -在这里插入图片描述

Table input中SQL使用变量

在这里插入图片描述
在这里插入图片描述
通过${VARIABLE} %%VARIABLE%%两种方式使用变量在SQL处,需要勾选Replace Variables in script

凡是带有方块图标的文本框中都可以通过${VARIABLE} %%VARIABLE%% 使用变量。

Transformation中的set variable

这个通常是单独设置一个transformation然后给与JOB中的其他transformation使用
变量的生效范围有4种,具体可以自己试试,基本上选root

  • vaild in the root job在根JOB中生效
  • Valid in the parent job在父节点生效
  • Valid in the Java Virtual Machine在整个JAVA虚拟机中生效(只有几个transform时基本上测试结果一样。没深入研究)
  • Valid in the grand-parent job在父节点的父节点生效
    在这里插入图片描述

Transformation中的get variable

  • 可以获取Set variable设置的变量但两个Step不能在同一个Transformation使用
  • Get variable 可以获取Job和Transformation在属性中设置的变量

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

KJB的参数变量

KJB:sj_sheet_job.kjb
在JOB属性配置中设置变量
在这里插入图片描述

JOB中的set variable

同transformation中的set variable差不多
增加一个功能能从其他文本中直接获取变量,不需要从上一个step中取到,在一些场景中比较方便
在这里插入图片描述

Transformation之间的值传递

Transformation Step中的数据可以传递给Transformation Executor,在Transformation Executor 调用的组件中可以直接当变量使用:通过${VARIABLE}或者%%VARIABLE%% 使用;通过Get variable组件使用等
在这里插入图片描述
kettle中变量生效优先级
在变量名字一样的情况下 set variable>kjb变量>全局变量
如内容有错欢迎大家指正!!!
读后有疑问请加QQ群,来聊一聊开源kettle+pentaho report designer那些事!作者个人qq:420773639
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/509745.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

QT - 日志:qDebug/qInfo/qWarning/qCritical

篇一、日志打印函数 头文件&#xff1a; #include <QDebug> 代码&#xff1a;qDebug()<<"hello world!"; 其他打印级别&#xff1a; qInfo(): 普通信息 qDebug(): 调试信息 qWarning(): 警告信息 qCritical(): 严重错误 qFatal(): 致命错误 1. qDebug…

FSH6罗德与施瓦茨FSH6频谱分析仪

181/2461/8938产品概述&#xff1a; R&S FSH6频谱分析仪坚固耐用、方便易用&#xff0c;专为野外使用而设计。它重量轻、操作简单、设计合理且具有大量测量功能&#xff0c;是任何需要高效测量仪器进行户外工作的人不可或缺的工具。 R&S FSH6是一款手持式频谱分析仪&…

Jupyter Notebook启动及其常用快捷键

添加图片注释&#xff0c;不超过 140 字&#xff08;可选&#xff09; 1.JupyterNotebook 第一种启动方式 点击 windows 电脑左下角开始 > 搜索 Anaconda > 点击 Anaconda Prompt 添加图片注释&#xff0c;不超过 140 字&#xff08;可选&#xff09; 在命令行窗口输入&…

华盛顿大学撰文反驳微软,我们无法删除大模型关于哈利波特的记忆

在人工智能的发展过程中&#xff0c;一个引人入胜的议题是机器学习模型是否能够被训练以忘记其曾经学到的信息。近期&#xff0c;Ronen Eldan和Mark Russinovich在其研究“谁才是哈利波特&#xff1f;”[1]中提出了一种创新技术&#xff0c;声称能够从LLMs中“抹去”特定数据集…

城市交通视频视频联网系统实施方案

目录 1.需求调研 2.系统设计 3.技术分析 4.技术开发 5.系统平台环境要求 6.网络要求 7.安全要求 8.项目交付和验收 8.1交付准备 8.2系统安装、培训 8.2.1系统验收 8.2.2项目进度计划 附录&#xff1a;交通监控设备情况调研表 1.需求调研 从SZ市交通运输局、以及下…

opencv使用问题记录一二

opencv介绍 opencv是一个计算机视觉处理软件库&#xff0c;拥有强大的功能和高效的性能。 但是由于早期版本的原因&#xff0c;存在一些与目前主流使用不兼容的问题 问题与解决 RGB通道顺序 一般图片处理类库的通道顺序就是RGB&#xff0c;但是opencv的是反过来的&#xf…

如何改写出优质文案,AI写作工具有方法

在当今数字化时代&#xff0c;内容创作已成为企业和个人在市场竞争中脱颖而出的关键因素。而写作优质文案是吸引读者注意力、传达信息以及促使行动的重要手段之一。然而&#xff0c;对许多人来说&#xff0c;写作可能是一项具有挑战性的任务。幸运的是&#xff0c;随着人工智能…

书生·浦语大模型开源体系(二)笔记

&#x1f497;&#x1f497;&#x1f497;欢迎来到我的博客&#xff0c;你将找到有关如何使用技术解决问题的文章&#xff0c;也会找到某个技术的学习路线。无论你是何种职业&#xff0c;我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章&#xff0c;也欢…

【Vscode】无法将“python,pip,node,npm等”识别为cmdlet...问题

问题出现场景 新换个电脑&#xff0c;然后重新安装了软件&#xff0c;又复现一次又一次“老生常谈”的问题。 解决方法 网络答案吧五花八门&#xff0c;我采取一个我的场景解决可行的方案&#xff0c; 首先我的场景是&#xff0c;环境变量&#xff0c;配置路径都是没有问题…

super关键字的使用总结

一、super关键字的使用1. 为什么需要super&#xff1f;举例1&#xff1a;子类继承父类以后&#xff0c;对父类的方法进行了重写&#xff0c;那么在子类中&#xff0c;是否还可以对父类中被重写的方法进行调用&#xff1f; 可以&#xff01;举例2&#xff1a;子类继承父类以后&a…

ice-06 运用Burp-Suite进行暴力破解(攻防世界)

ice-06 步骤一&#xff1a;点击超链接&#xff0c;发现只有报表中心才有用。 步骤二&#xff1a;点进去发现输入日期范围没有用 步骤三&#xff1a;使用Burp Suite进行抓包&#xff0c;把值传到Action到Intruder中 步骤四&#xff1a;如图所示进行配置 步骤五&#xff1a;攻击…

13.2k star, 高生产力的低代码开发平台 lowcode-engine

13.2k star, 高生产力的低代码开发平台 lowcode-engine 分类 开源分享 项目名: lowcode-engine -- 高生产力的低代码研发平台 Github 开源地址&#xff1a; GitHub - alibaba/lowcode-engine: An enterprise-class low-code technology stack with scale-out design / 一套面…

【滤波器基础】卡尔曼滤波器

滤波器基础 为了进一步抑制高频噪声&#xff0c;科研人员也会采用一些高阶低通滤波器来对电流采样信号的高频噪声进行抑制&#xff0c;常用的一种滤波器为&#xff1a;巴特沃兹滤波器。除了这种滤波器&#xff0c;也存在如贝塞尔、切比雪夫滤波器等。 巴特沃斯滤波器 在线性控…

【御控物联】JavaScript JSON结构转换(15):对象To数组——转换映射方式

文章目录 一、JSON结构转换是什么&#xff1f;二、术语解释三、案例之《JSON对象 To JSON数组》四、代码实现五、在线转换工具六、技术资料 一、JSON结构转换是什么&#xff1f; JSON结构转换指的是将一个JSON对象或JSON数组按照一定规则进行重组、筛选、映射或转换&#xff0…

服务器托管让服务器管理更轻松高效

在信息化飞速发展的今天&#xff0c;服务器作为企业数据处理和信息存储的核心设备&#xff0c;其管理的重要性日益凸显。服务器托管&#xff0c;作为一种高效、专业的服务器管理方式&#xff0c;正逐渐成为众多企业的首选。那么&#xff0c;服务器托管究竟是如何让服务器管理更…

10个最佳3D角色下载站

每个人都喜欢免费的东西。 无论是免费的 3D 角色还是游戏资产&#xff0c;我们都喜欢它们。 以下是可以为你的游戏获取免费 3D 角色的前 10 个网站的列表。 你可以将它们用于多种用途&#xff0c;例如 3D 打印或动画剪辑。 如果需要将下载的3D角色转化为其他格式&#xff0c;可…

面具下的flag【杂项】

知识点&#xff1a; binwalk 检测文件是否合并binwalk -e 文件名 将文件进行剥离&#xff0c;自动解压出压缩包中的文件vmdk文件是可以进行解压的 7z x 文件 -o./vmdk是linux文件&#xff0c;需要在linux中进行解压&#xff0c;看了别人的wp发现在window中解压是没有关键信息…

智能化最积极的海尔,对大模型不着急了

文&#xff5c;刘俊宏 AI改变终端的时代&#xff0c;最早投入智能化的家电公司表现怎么样&#xff1f; 3月27日晚间&#xff0c;海尔智家&#xff08;下简称海尔&#xff09;发布其2023年报。财报显示&#xff0c;2023年海尔智家营收2614.28亿元&#xff0c;同比增长7.33%&am…

把组合损失中的权重设置为可学习参数

目前的需求是&#xff1a;有一个模型&#xff0c;准备使用组合损失&#xff0c;其中有2个或者多个损失函数。准备对其进行加权并线性叠加。但想让这些权重进行自我学习&#xff0c;更新迭代成最优加权组合。 目录 1、构建组合损失类 2、调用组合损失类 3、为其构建优化器 …

filebeat日常使用.

先决条件(已经安装好filebeatelasticsearch) 详情可以参考官网,或者 虚拟机部署elasticsearch集群-CSDN博客 centos7 使用rpm包部署filebeat-CSDN博客 filebeat配置文件 标准输入console输出 (1)编写测试的配置⽂件 mkdir /etc/filebeat/config [rootelk101 /tmp]$vim /et…