一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。
熟悉、梳理、总结下人大金仓KingbaseES数据库相关知识体系
- kettle访问人大金仓KingbaseES数据库并处理数据至execl文件文章目录索引如下所示：
1.环境搭建、配置
-
1.0 实验环境
Windows 10CentOS 7.1（虚拟机）Docker version 26.0.2DbeaverKettle 8.2KingbaseEs V8R3，kingbase (Kingbase) V008R003C002B0290
-
1.1 拉取人大金仓KingbaseES数据库镜像
docker pull godmeowicesun/kingbase -
1.2 创建目录文件
mkdir -p /opt/docker/kingbase-latest/spft chmod 777 /opt/docker/kingbase-latest/spft mkdir -p /opt/docker/kingbase-latest/spft/license -
1.3 下载授权文件，并上传至目标路径
- 官网地址可下载标准版证书（可根据自身需求选择授权文件版本）：https://www.kingbase.com.cn/xzzx/index.htm。如下图所示：
- 授权文件上传目标路径：
/opt/docker/kingbase-latest/spft
- 官网地址可下载标准版证书（可根据自身需求选择授权文件版本）：https://www.kingbase.com.cn/xzzx/index.htm。如下图所示：
-
1.4 创建镜像容器
# 参考模版 # docker run -d -it --privileged=true -p [对外端口号]:54321 -v [本地主机的虚拟挂载路径]:/opt --name kingbase-latest godmeowicesun/kingbase:latest # 实操命令，注意如果不带 /bin/bash 数据库无法有效启动，将不能建立有效链接 docker run -d -it --privileged=true -p 54321:54321 -v /opt/docker/kingbase-latest/spft:/opt --name kingbase-v8 godmeowicesun/kingbase:latest /bin/bash- 效果图如下所示：
- 效果图如下所示：
-
1.5 DBeaver链接测试
- 新建
驱动管理器，数据库 --》 驱动管理器 --》 新建，库 --》 添加kingbasev8驱动文件
- 数据库访问默认信息
端口: 54321 用户名: SYSTEM 密码: 123456 默认数据库: TEST 待确认解决问题，后续有时间定位下具体问题
- 新建
2.人大金仓KingbaseES数据库链接测试
- 2.1 SQL测试脚本
select * from youli001.youli_test -- drop table youli001.youli_test; create table youli001.youli_test( id varchar(32) not null, remark varchar(255), length int8, front text, status smallint, range float8, create_time timestamp ); create index createtime on youli001.youli_test(create_time); comment on column youli001.youli_test.remark is '备注'; comment on column youli001.youli_test.length is '长度'; comment on column youli001.youli_test.status is '状态'; comment on column youli001.youli_test.range is '范围'; comment on column youli001.youli_test.create_time is '创建时间'; insert into youli001.youli_test values('001', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('002', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('003', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('004', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('005', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('006', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('007', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('008', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('009', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('010', 'good', 12, 'good', 0, 0.34, now()); insert into youli001.youli_test values('011', 'good', 12, 'good', 0, 0.34, now()); - 2.2 查询示例效果
3.kettle流程任务配置、效果验证
- 3.1 表输入 测试链接 OK
- 系统级schema：
- pg_catalog 包含着系统目录表、内建数据类型、函数和操作符。 即便在 schema 搜索路径中没有显式地提到它，它也总是 schema 搜索路径的一部分
- gp_toolkit 是一个管理用途的 schema ，它包含用户可以用 SQL 命令访问的外部表、视图和函数。 所有的数据库用户都能访问gp_toolkit 来查看和查询系统日志文件以及其他系统指标
- pg_aoseg 存储追加优化表对象。 这个 schema 由 数据库系统内部使用
- pg_bitmapindex 存储位图索引对象，例如值的列表。 这个 schema 由 数据库系统内部使用
- pg_toast 存储大型对象，如超过页面尺寸的记录。 这个 schema 由 数据库系统内部使用
- information_schema 有一个包含数据库中对象信息的视图集合组成。 这些视图以一种标准化的方式从系统目录表中得到系统信息
- 其他参考命令
# docker 人大金仓登录数据库 ksql -h 127.0.0.1 -U SYSTEM -d TEST create tablespace youli location '/opt'; # linux 查看端口号 lsof -i :54321 # 查看启动服务 ps -ef
4.参考文章
- https://blog.csdn.net/fy512/article/details/126546899
- https://www.kingbase.com.cn/xzzx/index.htm
- https://help.kingbase.com.cn/v8/install-updata/install-docker/install-docker-3.html
