flink 同步oracle11g数据表到pg库

1. 关闭防火墙和selinux

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
 
vi /etc/selinux/config
修改为disabled

在这里插入图片描述

2.安装java8

yum list java-1.8* 
 
yum install java-1.8.0-openjdk* -y
 
java -version

在这里插入图片描述

3.下载和部署postgresql

看需求安装pg库版本

下载地址：http://www.postgresql.org/ftp/source/

在这里插入图片描述

上传到服务器解压

tar -zxvf postgresql-16.2.tar.gz

./configure

如果出现以下报错解决方法：

yum -y install gcc

在这里插入图片描述

如果出现以下错误解决方法：

yum -y install libicu libicu-devel libunwind readline-devel zlib-devel

在这里插入图片描述

make
make install

groupadd postgres
useradd -g postgres postgres
id postgres
 
cd /usr/local/pgsql/
mkdir data
chown postgres:postgres data
 
cd /home/postgres/
ll -al

在这里插入图片描述

在这里插入图片描述

vi .bash_profile
添加
export PGHOME=/usr/local/pgsql/
export PGDATA=/usr/local/pgsql/data
PATH=$PATH:$HOME/bin:$PGHOME/bin

在这里插入图片描述

source .bash_profile
su – postgres
initdb

在这里插入图片描述

cd /usr/local/pgsql/data/
vi postgresql.conf
修改为listen_addresses = '*'

在这里插入图片描述

启动pg库

service postgresql start
su – postgres
psql

在这里插入图片描述

4.下载和部署oracle

Oracle下载地址：

下载好上传两个文件到系统
mkdir /oracle
cd /oracle

在这里插入图片描述

yum install unzip -y
unzip linux.x64_11gR2_database_1of2.zip
unzip linux.x64_11gR2_database_2of2.zip
yum -y install wget
yum install yum install gcc make binutils gcc-c++ compat-libstdc++-33 elfutils-libelf-devel elfutils-libelf-devel-static ksh libaio libaio-devel numactl-devel sysstat unixODBC unixODBC-devel pcre-devel -y 
添加安装用户和用户组
groupadd oinstall
groupadd dba
useradd -g oinstall -G dba oracle
passwd oracle
 
创建安装目录和设置文件权限
mkdir -p /u01/app/oracle/product/11.2.0
mkdir /u01/app/oracle/oradata
mkdir /u01/app/oracle/inventory
mkdir /u01/app/oracle/fast_recovery_area
chown -R oracle:oinstall /u01/
chmod -R 775 /u01/app/oracle
chown -R oracle:oinstall /oracle/

设置oracle用户环境变量

su – oracle	
vi .bash_profile

export PATH
ORACLE_BASE=/u01/app/oracle
ORACLE_HOME=$ORACLE_BASE/product/11.2.0
ORACLE_SID=orcl
PATH=$PATH:$ORACLE_HOME/bin
export ORACLE_BASE ORACLE_HOME ORACLE_SID PATH
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
 
source .bash_profile

cp -R /oracle/database/response/ .
cd response/

vi db_install.rsp

oracle.install.responseFileVersion=oracleinstallrspfmt_dbinstall_response_schema_v11_2_0
oracle.install.option=INSTALL_DB_SWONLY
ORACLE_HOSTNAME=flink
UNIX_GROUP_NAME=oinstall
INVENTORY_LOCATION=/u01/app/oracle/inventory
SELECTED_LANGUAGES=
ORACLE_HOME=u01/app/oracle/product/11.2.0
ORACLE_BASE=/u01/app/oracle
oracle.install.db.InstallEdition=
oracle.install.db.isCustomInstall=false
oracle.install.db.customComponents=oracle.server11.2.0.1.0,oracle.sysman.ccr10.2.7.0.0,oracle.xdk11.2.0.1.0,oracle.rdbms.oci11.2.0.1.0,oracle.network11.2.0.1.0,oracle.network.listener11.2.0.1.0,oracle.rdbms11.2.0.1.0,oracle.options11.2.0.1.0,oracle.rdbms.partitioning11.2.0.1.0,oracle.oraolap11.2.0.1.0,oracle.rdbms.dm11.2.0.1.0,oracle.rdbms.dv11.2.0.1.0,orcle.rdbms.lbac11.2.0.1.0,oracle.rdbms.rat11.2.0.1.0
oracle.install.db.DBA_GROUP=dba
oracle.install.db.OPER_GROUP=dba
oracle.install.db.CLUSTER_NODES=
oracle.install.db.config.starterdb.type=
oracle.install.db.config.starterdb.globalDBName=oracle.sunyard
oracle.install.db.config.starterdb.SID=orcl
oracle.install.db.config.starterdb.characterSet=AL32UTF8
oracle.install.db.config.starterdb.memoryOption=true
oracle.install.db.config.starterdb.memoryLimit=512
oracle.install.db.config.starterdb.installExampleSchemas=false
oracle.install.db.config.starterdb.enableSecuritySettings=true
oracle.install.db.config.starterdb.password.ALL=
oracle.install.db.config.starterdb.password.SYS=
oracle.install.db.config.starterdb.password.SYSTEM=
oracle.install.db.config.starterdb.password.SYSMAN=
oracle.install.db.config.starterdb.password.DBSNMP=
oracle.install.db.config.starterdb.control=DB_CONTROL
oracle.install.db.config.starterdb.gridcontrol.gridControlServiceURL=
oracle.install.db.config.starterdb.dbcontrol.enableEmailNotification=false
oracle.install.db.config.starterdb.dbcontrol.emailAddress=
oracle.install.db.config.starterdb.dbcontrol.SMTPServer=
oracle.install.db.config.starterdb.automatedBackup.enable=false
oracle.install.db.config.starterdb.automatedBackup.osuid=
oracle.install.db.config.starterdb.automatedBackup.ospwd=
oracle.install.db.config.starterdb.storageType=
oracle.install.db.config.starterdb.fileSystemStorage.dataLocation=
oracle.install.db.config.starterdb.fileSystemStorage.recoveryLocation=
oracle.install.db.config.asm.diskGroup=
oracle.install.db.config.asm.ASMSNMPPassword=LED_ASM_SYSTEM
MYORACLESUPPORT_USERNAME=
MYORACLESUPPORT_PASSWORD=
SECURITY_UPDATES_VIA_MYORACLESUPPORT=
DECLINE_SECURITY_UPDATES=true
PROXY_HOST=
PROXY_PORT=
PROXY_USER=
PROXY_PWD=

在这里插入图片描述

cd /oracle/database/
./runInstaller -silent -responseFile /home/oracle/response/db_install.rsp -ignorePrereq

在这里插入图片描述

报错原因：swap分区关闭了 打开即可

在这里插入图片描述

/u01/app/oracle/inventory/orainstRoot.sh
/u01/app/oracle/product/11.2.0/root.sh
yum -y install net-tools

vi /home/oracle/response/dbca.rsp

修改参数
GDBNAME = "orcl"
SID = "orcl"
SYSPASSWORD = "oracle"
SYSTEMPASSWORD = "oracle"
SYSMANPASSWORD = "oracle"
DBSNMPPASSWORD = "oracle"
DATAFILEDESTINATION =/u01/app/oracle/oradata
RECOVERYAREADESTINATION=/u01/app/oracle/fast_recovery_area
CHARACTERSET = "ZHS16GBK"
TOTALMEMORY = "1638"

dbca -silent -responseFile /home/oracle/response/dbca.rsp

在这里插入图片描述

实例检查
ps -ef | grep ora_ | grep -v grep
在这里插入图片描述

启动监听
lsnrctl start
在这里插入图片描述

查看监听状态
在这里插入图片描述

sqlplus / as sysdba

startup报错
在这里插入图片描述

解决方法

cp /u01/app/oracle/admin/orcl/pfile/init.ora.21520241602 /u01/app/oracle/product/11.2.0/dbs/
cd /u01/app/oracle/product/11.2.0/dbs/
mv init.ora.21520241602 initoral.ora

在这里插入图片描述

5.下载部署flink

flink下载地址：https://www.apache.org/dyn/closer.lua/flink/flink-1.18.1/flink-1.18.1-bin-scala_2.12.tgz
下载flink sql所需驱动
1.	flink-connector-jdbc-3.1.1-1.17.jar 下载地址：https://repo1.maven.org/maven2/org/apache/flink/flink-connector-jdbc/3.1.1-1.17/  
2.	flink-sql-connector-oracle-cdc-3.0.1.jar 下载地址：https://mvnrepository.com/artifact/com.ververica/flink-sql-connector-oracle-cdc/3.0.1
3.	flink-sql-connector-postgres-cdc-3.0.1.jar 下载地址：https://mvnrepository.com/artifact/com.ververica/flink-sql-connector-postgres-cdc/3.0.1

下载完之后上传flink压缩包并解压

tar -zxvf flink-1.18.1-bin-scala_2.12.tgz
进入flink的lib目录上传三个依赖
cd flink-1.18.1/lib/

在这里插入图片描述

需要修改一下flink配置文件
不然会出现以下情况
在这里插入图片描述

vi flink-1.18.1/conf/flink-conf.yaml

原本是localhost修改为ip

在这里插入图片描述

./flink-1.18.1/bin/start-cluster.sh

访问 192.168.207.193:8081 （默认是8081端口 可在配置文件里修改）

在这里插入图片描述

6.实时同步oracle数据到postgresql

数据库先创建一个库,在库里创建表再添加数据

sqlplus / as sysdba
create user ljq identified by linux123;
grant create session,resource to ljq;
sqlplus ljq/linux123@192.168.207.195/orcl

create table players (
     player_id INT NOT NULL,
     team_id INT,
     player_name VARCHAR(255),
     height FLOAT(53),
PRIMARY KEY (player_id)
);

insert into players (player_id,team_id,player_name,height) values (1001,1001,'韦德','1.93');
insert into players (player_id,team_id,player_name,height) values (1002,1002,'雷吉','1.91');
insert into players (player_id,team_id,player_name,height) values (1003,1003,'安德烈','2.11');
insert into players (player_id,team_id,player_name,height) values (1004,1004,'索恩','2.16');
insert into players (player_id,team_id,player_name,height) values (1005,1005,'兰斯顿','1.88');
insert into players (player_id,team_id,player_name,height) values (1006,1006,'格伦','1.98');
insert into players (player_id,team_id,player_name,height) values (1007,1007,'伊斯梅尔','1.83');
insert into players (player_id,team_id,player_name,height) values (1008,1008,'扎扎','2.11');
insert into players (player_id,team_id,player_name,height) values (1009,1009,'乔恩','2.08');

select * from players;

在这里插入图片描述

格式很乱

解决方法：
set line 320
col player_name for a20

在这里插入图片描述

在pg库创建一个库,在库里创建一个表不插入数据

create database ljq;
\c ljq

CREATE TABLE players3 (
player_id INT NOT NULL,
team_id INT,
player_name VARCHAR(255),
height FLOAT(53),
PRIMARY KEY (player_id)
);

启动flink-sql

./flink-1.18.1/bin/sql-client.sh embedded
根据需要同步的数据创建源表
CREATE TABLE nbaplayers (
PLAYER_ID INT,
TEAM_ID INT,
PLAYER_NAME VARCHAR,
HEIGHT FLOAT,
PRIMARY KEY (PLAYER_ID) NOT ENFORCED
) WITH (
'connector' = 'oracle-cdc',
'hostname' = '192.168.207.192',
'port' = '1521',
'username' = 'ljq',
'password' = 'ljq',
'database-name' = 'test',
'schema-name' = 'LJQ',
'table-name' = 'PLAYERS'
);

select * from nbaplayers;

在这里插入图片描述

创建结果表

CREATE TABLE nba (
player_id INT,
team_id INT,
player_name VARCHAR,
height NUMERIC(3,2),
PRIMARY KEY (player_id) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:postgresql://192.168.207.193:5432/ljq??currentSchema=public&reWriteBatchedInserts=true',
'username' = 'postgres',
'password' = 'linux123',
'table-name' = 'players3'
);

在这里插入图片描述

执行从源表插入结果表操作，生成同步作业

INSERT INTO nba
SELECT
player_id,
team_id,
player_name,
height
FROM nbaplayers;

在这里插入图片描述

Web端查看
在这里插入图片描述

查看是否同步数据到pg库的players3表
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/916237.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

机器学习： LightGBM模型（优化版）——高效且强大的树形模型

机器学习： LightGBM模型（优化版）——高效且强大的树形模型

LightGBM（Light Gradient Boosting Machine）是一种基于梯度提升决策树（GBDT）的框架，由微软提出。它具有高效的训练速度、低内存占用、支持并行和GPU加速等特点，非常适合大规模数据的训练任务，尤…
阅读更多...
mysql中的EXISTS和NOT EXISTS使用详解

mysql中的EXISTS和NOT EXISTS使用详解

本文来编写一个实例说下mysql中的EXISTS和NOT EXISTS使用详解 文章目录 exists用法SQL中in, not in, exists, not exists的区别使用实例本文小结 exists用法 exists: 如果括号内子查询语句返回结果不为空，说明where条件成立，就会执行主SQL语句。如果括号…
阅读更多...
idea 弹窗 delete remote branch origin/develop-deploy

idea 弹窗 delete remote branch origin/develop-deploy

想删除远程分支，就选delete，仅想删除本地分支，选cancel； 在 IntelliJ IDEA 中遇到弹窗提示删除远程分支 origin/develop-deploy，这通常是在 Git 操作过程中出现的情况，可能是在执行如 git branch -d 或其他…
阅读更多...
基于微信小程序的高校实习管理系统设计与实现，LW+源码+讲解

基于微信小程序的高校实习管理系统设计与实现，LW+源码+讲解

摘 要 信息数据从传统到当代，是一直在变革当中，突如其来的互联网让传统的信息管理看到了革命性的曙光，因为传统信息管理从时效性，还是安全性，还是可操作性等各个方面来讲，遇到了互联网时代才发现能补上自…
阅读更多...
Spring Boot 牛刀小试 org.springframework.boot:spring-boot-maven-plugin:找不到类错误

Spring Boot 牛刀小试 org.springframework.boot:spring-boot-maven-plugin:找不到类错误

今天看了下书翻了下Spring Boot的用法，下载idea后， 反复出现org.springframework.boot:spring-boot-maven-plugin:找不到类错误，后来看了下调试窗口，发现是连不上maven的网站443错误，解决思路很简单，把ide连…
阅读更多...
k-近邻算法（K-Nearest Neighbors, KNN）详解：机器学习中的经典算法

k-近邻算法（K-Nearest Neighbors, KNN）详解：机器学习中的经典算法

✅作者简介：2022年博客新星 第八。热爱国学的Java后端开发者，修心和技术同步精进。 🍎个人主页：Java Fans的博客 🍊个人信条：不迁怒，不贰过。小知识，大智慧。 💞当前专栏…
阅读更多...
UE5 umg学习（四） 将UI控件显示到关卡中

UE5 umg学习（四） 将UI控件显示到关卡中

视频资料 7、将UI控件渲染到关卡_哔哩哔哩_bilibili 在前三节里，创建了用户的控件蓝图Widget_BP 目标是运行的时候，开始运行这个蓝图，因此需要在开始事件触发运行 首先，回到主页，点击关卡蓝图 要从事件开始运行时 …
阅读更多...
StarRocks Summit Asia 2024 全部议程公布！

StarRocks Summit Asia 2024 全部议程公布！

随着企业数字化转型深入，云原生架构正成为湖仓部署的新标准。弹性扩展、资源隔离、成本优化，帮助企业在云上获得了更高的灵活性和效率。与此同时，云原生架构也为湖仓与 AI 的深度融合奠定了基础。 在过去一年，湖仓技术与 AI 的结…
阅读更多...
【CSS】opacity 影响 z-index 不生效

【CSS】opacity 影响 z-index 不生效

准备知识 一般来说，z-index 不生效的原因有： 父元素的 position 属性： z-index 只对 position 属性为 relative、absolute 或 fixed 的元素有效。 其他元素的 z-index： 如果页面中有其他元素也设置了较高的 z-index，…
阅读更多...
2024 年（第 7 届）“泰迪杯”数据分析技能赛B 题 特殊医学用途配方食品数据分析 完整代码 结果 可视化分享

2024 年（第 7 届）“泰迪杯”数据分析技能赛B 题 特殊医学用途配方食品数据分析 完整代码 结果 可视化分享

一、背景特殊医学用途配方食品简称特医食品，是指为满足进食受限、消化吸收障碍、代谢素乱或者特定疾病状态人群对营养素或者膳食的特殊需要，专门加工配置而成的配方食品，包括0月龄至12月龄的特殊医学用途婴儿配方食品和适用于1岁以上的特殊医…
阅读更多...
【MYSQL】数据库日志 （了解即可）

【MYSQL】数据库日志 （了解即可）

一、错误日志 可以通过 tail查看文件的日志的，如果发生错误，就会在日志里出现问题。 二、二进制日志（binlog） BINLOG记录了insert delete update 以及 alter create drop 等语句。作用是灾难时的数据恢复，还有就是主…
阅读更多...
STM32 创建一个工程文件（寄存器、标准库）

STM32 创建一个工程文件（寄存器、标准库）

首先到官网下载对应型号的固件包： 像我的STM32F103C8T6的就下载这个： 依次打开： .\STM32F10x_StdPeriph_Lib_V3.5.0\STM32F10x_StdPeriph_Lib_V3.5.0\Libraries\CMSIS\CM3\DeviceSupport\ST\STM32F10x\startup\arm 可以看到： 这…
阅读更多...
C语言 char 字符串 - C语言零基础入门教程

C语言 char 字符串 - C语言零基础入门教程

目录 一.char 字符串简介 二.字符和字符串区别 1.取值范围相同2.字符串由多个字符构成3.字符串和字符使用 printf 函数 三.char 字符串遍历四.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.char 字符串简介 在C 语言中，除了前面介绍…
阅读更多...
Python——NumPy库的简单用法，超级详细教程使用

Python——NumPy库的简单用法，超级详细教程使用

一、什么是NumPy库 NumPy：它是python的一个科学计算库函数，它是由c语言编写的 它应用于数据处理、机器学习、图像处理、文件操作等等 二、array函数 这里导入库numpy，命名为np，后面的np都是代表着是numpy函数 array函数表示创建…
阅读更多...
Python学习26天

Python学习26天

集合 # 定义集合 num {1, 2, 3, 4, 5} print(f"num：{num}\nnum数据类型为：{type(num)}") # 求集合中元素个数 print(f"num中元素个数为：{len(num)}") # 增加集合中的元素 num.add(6) print(num) # {1,2,3,4,5,6} # 删除…
阅读更多...
【数字图像处理+MATLAB】基于 Sobel 算子计算图像梯度并进行边缘增强：使用 imgradientxy 函数

【数字图像处理+MATLAB】基于 Sobel 算子计算图像梯度并进行边缘增强：使用 imgradientxy 函数

引言 在图像处理中，边缘通常是图像中像素强度变化最大的地方，这种变化可以通过计算图像的梯度来量化。梯度是一个向量，它的方向指向像素强度增加最快的方向，它的大小（或者说幅度）表示像素强度增加的速度。…
阅读更多...
从社交媒体到元宇宙：Facebook未来发展新方向

从社交媒体到元宇宙：Facebook未来发展新方向

Facebook，作为全球最大的社交媒体平台之一，已经从最初的简单互动工具发展成为一个跨越多个领域的科技巨头。无论是连接人与人之间的社交纽带，还是利用大数据、人工智能等技术为用户提供个性化的体验，Facebook一直引领着社交网络的…
阅读更多...
微信小程序——01开发前的准备和开发工具

微信小程序——01开发前的准备和开发工具

文章目录 一、开发前的准备1注册小程序账号2安装开发者工具 二、开发者工具的使用1创建项目2 工具的使用3目录结构4各个页面之间的关系5 权限管理6提交审核和发布 一、开发前的准备 开发前需要进行以下准备： 1 注册小程序账号2激活邮箱3 信息登记4 登录小程序管理后…
阅读更多...
SQL慢查询优化方式

SQL慢查询优化方式

目录 一、SQL语句优化 1.避免使用 SELECT * ，而是具体字段 2.避免使用 % 开头的 LIKE 的查询 3.避免使用子查询，使用JOIN 4.使用EXISTS代替IN 5.使用LIMIT 1优化查询 6.使用批量插入、优化INSERT操作 7.其他方式 二、SQL索引优化 1.在查询条件…
阅读更多...
【51单片机】LCD1602液晶显示屏

【51单片机】LCD1602液晶显示屏

学习使用的开发板：STC89C52RC/LE52RC 编程软件：Keil5 烧录软件：stc-isp 开发板实图： 文章目录 LCD1602存储结构时序结构 编码 —— 显示字符、数字 LCD1602 LCD1602（Liquid Crystal Display）液晶显示屏是…
阅读更多...
最新文章

Copyright @ 2022~2023