KADB使用PXF连接KES验证

  • 验证环境

KADB版本:Greenplum Database 6.0.0 build dev.V003R002C001B0181.d354cc9215

KES版本:KingbaseES V008R006C007B0012

Java版本:openjdk version "1.8.0_262"

  • PXF部署

以下操作假设KADB和KES已经部署完成并且启动正常,环境变量设置完成

  1. 设置环境变量

在mppadin用户的.bashrc文件加入以下内容:

export PATH=$GPHOME/pxf/bin:$PATH

export PXF_CONF=$GPHOME/pxf

  1. 安装JAVA

修改/home/mppadmin/kadb/pxf/conf/pxf-env.sh文件加入JAVA安装目录:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre

注:支持openjdk

  1. 注册pxf扩展

使用mppadmin用户登录master节点主机执行:

/home/mppadmin/mpp/pxf/bin/pxf cluster register

该命令拷贝pxf扩展文件到集群每一个节点的/home/mppadmin/kadb/share/postgresql/extension目录中,kadb介质已经完成此步骤,命令执行结果如下:

[mppadmin@mdw1 extension]$ pxf cluster register

Installing PXF extension on master host and 0 segment hosts...

PXF extension has been installed on 1 out of 1 host

  1. 拷贝KES JDBC驱动到KADB所有节点的$PXF_HOME/lib目录

  1. 创建jdbc连接参数配置文件

在KADB所有segment节点创建下面的文件(jdbc-site.xml文件模板在目录:/home/mppadmin/kadb/pxf/templates

修改改文件的下面参数:

  1. 启动PXF服务

在KADB master节点执行:

/home/mppadmin/mpp/pxf/bin/pxf cluster start

命令输出如下:

[mppadmin@mdw1 templates]$ pxf cluster start

Starting PXF on master host and 0 segment hosts...

PXF started successfully on 1 out of 1 host

查看pxf server允许状态:

[mppadmin@mdw1 templates]$ pxf cluster status

Checking status of PXF servers on master host and 0 segment hosts...

PXF is running on 1 out of 1 host

  1. 在测试数据库安装pxf扩展

登录KADB,在测试数据库中执行:

create extension pxf;

  • KADB通过PXF连接KES测试性能
  1.  KADB通过pxf外部表访问KES中的数据
  1. KES创建测试表

 test=# \d test

                         Table "public.test"

 Column |            Type            | Collation | Nullable | Default

--------+----------------------------+-----------+----------+---------

 a      | integer                    |           |          |

 b      | character varying(20 char) |           |          |

  1. 插入测试数据,并记录时间

test=# insert into test values(generate_series(1,1000000),'ccccccccccccccc');

INSERT 0 1000000

Time: 1147.879 ms (00:01.148)

  1. 登录KADB,创建测试数据库test

创建只读外部表test

create external table test(

a int,

b varchar(20))

location(‘pxf://test?profile =jdbc')

FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import');

  1. 外部表读性能

postgres=# select count(*) from test1;

  count 

---------

 2000002

(1 row)

Time: 3729.619 ms

KES本地读取性能

test=# select count(*) from test;

  count 

2000002

(1 row)

Time: 112.064 ms

  1. KADB通过pxf外部表写入KES数据
  1. KADB创建可写外部表

create writable external table test(

a int,

b varchar(20))

location('pxf://test?profile=jdbc')

FORMAT 'CUSTOM' (FORMATTER='pxfwritable_export');

  1. 通过外部表写入数据并记录时间

postgres=# insert into test values(generate_series(1,1000000),'ccccccccccccccc');

INSERT 0 1000000

Time: 11397.677 ms

  1. KES本地写入并记录时间

test=# insert into test values(generate_series(1,1000000),'ccccccccccccccc');

INSERT 0 1000000

Time: 1147.879 ms (00:01.148)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/354456.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

推荐几款便宜幻兽帕鲁(Palworld)联机服务专用服务器

幻兽帕鲁(Palworld)是一款多人在线游戏,为了获得更好的游戏体验,许多玩家会选择自行搭建游戏联机服务器,但是如何挑选价格合适、性能稳定的服务器成为一个难题,本文将为大家推荐几款便宜幻兽帕鲁联机服务专…

力扣经典题目:反转链表

1.题目分析:正常顺序为从一到五,但题目要求为从五到一,自然而然与头插法相联系。 2.此题得出解题方法:重现纠错法 3.观察下面的代码,找出问题: 反转链表的经典错误 王赫辰/c语言 - Gitee.com 看起来也…

基于Apache httpd为windows11搭建代理服务器

文章目录 一.概述二.检查电脑系统类型三.下载安装Apache Httpd四.代理服务配置五.代理服务安装六.报错解决方法七.测试是否运行成功7.1 本机测试7.2 局域网代理测试 八.设置特定ip可访问(阻止其他ip访问)九.参考文档 一.概述 出于某些原因,我…

32个Java面试必考点-08高并发架构基石-缓存

本课时介绍缓存相关的知识点以及 Memcache 和 Redis 这两个最常使用的缓存。重点学习以下三个方面的内容: 1.使用缓存时常遇到的典型问题; 2.Memcache 的内存结构; 3.Redis 相关的知识点以及 Redis 常用结构的实现。 缓存知识点 类型 缓…

大数据数据流分析和处理的工具pig,从入门到精通!

介绍:Pig是一种数据流语言和运行环境,用于处理和分析大数据。 Pig由两个主要部分构成: Pig Latin语言:这是一种用于描述数据流的高级语言,它允许用户以较为简洁的方式编写数据处理和转换任务。 Pig执行环境&#xff1a…

STM32 自学笔记 学习笔记 一

起源,A7,A9,M3,原来弄了A9的TQ2440,结果还得来重新熟悉下32函数JLINK使用SW方式,本来可以下载,但是一根线掉了重新上去,就出各种跟线无关问题,干脆把32断了重新接,结果就成功了&…

记录浏览器能打开github.com,android studio无法拉取github项目,并且ping github.com也拼不通的问题

问题: Android studio编译flutter工程突然碰上如下问题: 在浏览器打开该地址能正常打开,尝试ping: 解决方式 通过搜索,查到如下办法: 1、首先在ipaddress.com中查询github.com域名的固定ip地址&#xff…

vue常用指令(v-mode)

一、v-mode 指令 作用: 获取和设置表单元素的值(实现双向数据绑定) 双向数据绑定 单向绑定: 就是把Model绑定到View,当我们用JavaScript代码更新Model时,View就会自动更新。双向绑定: 用户更新了View,Model的数据也自动被更新了,…

Unity 命令模式(实例详解)

文章目录 示例1:基础命令类结构示例2:旋转对象命令示例3:增加道具命令示例4:切换场景命令示例5:播放音效命令 在Unity中使用命令模式(Command Pattern)是一种常见的设计模式,用于实现…

【C深度解剖】计算机数据删除与return关键字

简介:本系列博客为C深度解剖系列内容,以某个点为中心进行相关详细拓展 适宜人群:已大体了解C语法同学 作者留言:本博客相关内容如需转载请注明出处,本人学疏才浅,难免存在些许错误,望留言指正 作…

sql注入的学习

1.首先我们应该确定sql注入的类型 利用id1 and 11 和id1 and 12 判断是数字类型注入还是字符型注入,如果两者都可以正常显示界面,则为字符型注入,否则是数字型 两个都正常显示,所以为字符型注入(也可以使用id2-1&…

漏洞原理反射型XSS漏洞

漏洞原理XSS漏洞 1 反射型XSS php基础链接 Web渗透编程语言基础-CSDN博客 正常思维 http://127.0.0.1/websec/day01/xss_reflect.php?name%E6%88%91%E6%98%AF%E8%B0%81 http://127.0.0.1/14_WEBSEC/DAY01/xss_reflect.php?name我是谁 黑客思维 http://127.0.0.1/websec…

【数据结构1-2】二叉树

树形结构不仅能表示数据间的指向关系,还能表示出数据的层次关系,而有很明显的递归性质。因此,我们可以利用树的性质解决更多种类的问题。 但是在平常的使用中,我们并不需要使用这么复杂的结构,只需要建立一个包含int r…

OpenHarmony—不支持解构赋值

规则:arkts-no-destruct-assignment 级别:错误 ArkTS不支持解构赋值。可使用其他替代方法,例如,使用临时变量。 TypeScript let [one, two] [1, 2]; // 此处需要分号 [one, two] [two, one];let head, tail [head, ...tail]…

web前端项目-五子棋【附源码】

五子棋(人机对弈) 本项目【五子棋】是一款人机对弈的策略型棋类游戏。可以选择落子方;游戏难度和是否显示落子次序。游戏双方分别使用黑白两色的棋子,在棋盘直线与横线的交叉点上进行对弈。五子棋可以促进大脑发育、提高思维能力…

时序分析中的去趋势化方法

时序分析中的去趋势化方法 时序分析是研究随时间变化的数据模式的一门学科。在时序数据中,趋势是一种随着时间推移而呈现的长期变化趋势,去趋势化是为了消除或减弱这种趋势,使数据更具平稳性。本文将简单介绍时序分析中常用的去趋势化方法&a…

我爱这夜色茫茫

夜来香 - 李香兰 那南风吹来清凉 那夜莺啼声细唱月下的花儿都入梦 只有那夜来香 吐露着芬芳 我爱这夜色茫茫 也爱这夜莺歌唱 更爱那花一般的梦 拥抱着夜来香 吻着夜来香夜来香我为你歌唱 夜来香我为你思量 啊~啊我为你歌唱 我为你思量 我爱这夜色茫茫 也爱这夜莺歌唱更爱那花…

GitHub Action 实现超简单的持续集成(CI)

GitHub Action 官方文档 GitHub Action 中使用 Docker 的官方文档 所用项目代码获取:公众号发送cloud 前言 在上一篇几分钟完成前后端分离项目部署文章中,我们完成了前后端分离项目的部署,但随着开发的进行,我们每次更新都手动打包…

IT网课满天飞,花两万学这个课真的有用吗?

我一直都觉得,IT类付费课程,无用且没有必要,我写代码10多年,没有花过一分钱报班学什么java, 学什么就业课,完全不妨碍我现在年薪百万。报班没有意义的地方在于,它会给你的大脑灌输一些你消化不了的知识&…

数据湖技术之应用场景篇

数据湖技术有较多的应用场景,本篇文章是针对一些典型的痛点场景做了一些介绍和说明。比如说在线数据抽取场景原有模式对线上库表产生较大压力,flink多流join维护的大状态导致的稳定性问题等等,具体场景如下图所示: 场景1:在线数据…