YMP实现Oracle迁移到YashanDB

迁移需求

ip地址

数据库信息

操作系统信息

源库

192.168.3.132

实例名topdh 用户密码TOPICIS/oracle 端口1521

Centos7.9 x86_64

目标库

192.168.3.175

实例名yasdb 用户密码topicist/opicis 端口1688

Centos7.9 x86_64

迁移前准备

YMP工具获取

根据实际需求向厂商技术支持获取软件包:(xx.xx为软件版本号)

软件包名称

说明

yashan-migrate-platform-23.1.1.100-linux-x86-64.zip

yashan-migrate-platform-23.1.1.100-linux-aarch64.zip

YMP安装包,用于在Linux x86_64/arm64平台进行YMP的安装和部署。

instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip

instantclient-basic-linux.arm64-19.10.0.0.0dbru-2.zip

OCI客户端压缩包,用于在Linux x86_64/arm64平台下进行OCI客户端的安装和替换 。

Note:
1. OCI客户端压缩包可在'<https://www.oracle.com/cn/database/technologies/instant-client/downloads.html>'处获取。
2. 使用Oralce到YashanDB的数据迁移功能时,必须使用OCI客户端压缩包,并建议使用表格里的版本,其他版本未经验证可能有未知风险。

源库

--查看实例名
SQL> select instance_name from v$instance;
INSTANCE_NAME
----------------
topdh

--查看用户
set lin1000 pagesize 999
select username,default_tablespace,temporary_tablespace from dba_users where username not in ('SYS','SYSTEM','HR','OUTLN','MGMT_VIEW','FLOWS_FILES','MDSYS','ORDSYS','EXFSYS','DBSNMP','WMSYS','APPQOSSYS','APEX_030200','OWBSYS_AUDIT','ORDDATA','CTXSYS','ANONYMOUS','SYSMAN','XDB','ORDPLUGINS','OWBSYS','SI_INFORMTN_SCHEMA','OLAPSYS','SCOTT','ORACLE_OCM','XS$NULL','BI','PM','MDDATA','IX','SH','DIP','OE','APEX_PUBLIC_USER','SPATIAL_CSW_ADMIN_USR','SPATIAL_WFS_ADMIN_USR');

USERNAME		       DEFAULT_TABLESPACE	      TEMPORARY_TABLESPACE
------------------------------ ------------------------------ ------------------------------
......
TOPICIS 		       TOPICIS			      TOPICISTEMP


--查看用户使用了哪些表空间
select distinct tablespace_name from dba_segments where owner in ('TOPICIS');
TABLESPACE_NAME
------------------------------
TOPICIS

--赋予dba角色给TOPICIS用户
sqlplus / as sysdba
GRANT DBA TO TOPICIS;

-- 查看表空间及数据文件位置及大小
set lin 1000 pagesize 999
col file_name for a55
select tablespace_name,file_name,bytes/1024/1024/1024 gb,AUTOEXTENSIBLE from dba_data_files where tablespace_name not in ('USERS','UNDOTBS1','SYSAUX','SYSTEM') order by tablespace_name ;
TABLESPACE_NAME 	       FILE_NAME						       GB AUT
------------------------------ ------------------------------------------------------- ---------- ---
TOPICIS 		       /oradata/topdh/TOPICIS01.dbf			       31.9990234 YES
TOPICIS 		       /oradata/topdh/etopicis02.dbf			       31.9999847 YES
TOPICIS 		       /oradata/topdh/etopicis03.dbf			       31.9999847 YES
......

--查看业务用户TOPICIS的数据量
select round(sum(bytes) / 1024 / 1024 / 1024, 2) || 'G'
  from dba_segments
  2    3   where owner in ('TOPICIS') ;

ROUND(SUM(BYTES)/1024/1024/1024,2)||'G'
-----------------------------------------
95.99G


--查看redo大小 位置
set linesize 999
col member for a60
select b.thread#,a.group#,a.member,bytes/1024/1024,b.members,b.status from v$logfile a,v$log b where a.group#=b.group#;	 

   THREAD#     GROUP# MEMBER							   BYTES/1024/1024    MEMBERS STATUS
---------- ---------- ------------------------------------------------------------ --------------- ---------- ----------------
	 1	    1 /oradata/topdh/redo01.log 					       500	    1 INACTIVE
	 1	    3 /oradata/topdh/redo03.log 					       500	    1 INACTIVE
	 1	    2 /oradata/topdh/redo02.log 					       500	    1 CURRENT

-- 查看数据库字符集
select * from nls_database_parameters where PARAMETER in ('NLS_CHARACTERSET','NLS_NCHAR_CHARACTERSET');
PARAMETER		       VALUE
------------------------------ ----------------------------------------------------------------------------
NLS_CHARACTERSET	       AL32UTF8
NLS_NCHAR_CHARACTERSET	   UTF8


--每个业务用户下的总对象数量校验
SELECT D.OWNER,COUNT(1)
 FROM dba_objects d
WHERE d.OWNER   in ('TOPICIS')
AND NOT EXISTS (SELECT 1 FROM DBA_RECYCLEBIN B WHERE B.object_name=D.OBJECT_NAME AND D.OWNER=B.owner) 
GROUP BY D.OWNER
ORDER BY D.OWNER ;
OWNER				 COUNT(1)
------------------------------ ----------
TOPICIS 			     6551

--每个业务用户下的各个对象类别的数量校验
SQL> select OWNER,OBJECT_TYPE,status,count(OBJECT_NAME) from dba_objects  where owner in ('TOPICIS')  group by OBJECT_TYPE,owner,status order by 1,3,2;

OWNER			       OBJECT_TYPE	   STATUS  COUNT(OBJECT_NAME)
------------------------------ ------------------- ------- ------------------
TOPICIS 		       FUNCTION 	   INVALID		   20
TOPICIS 		       PROCEDURE	   INVALID		  133
TOPICIS 		       DATABASE LINK	   VALID		    5
TOPICIS 		       FUNCTION 	   VALID		   57
TOPICIS 		       INDEX		   VALID		 1631
TOPICIS 		       LOB		   VALID		  478
TOPICIS 		       PACKAGE		   VALID		    2
TOPICIS 		       PROCEDURE	   VALID		  116
TOPICIS 		       SEQUENCE 	   VALID		   60
TOPICIS 		       TABLE		   VALID		 4015
TOPICIS 		       TYPE		   VALID		   34


--查询回收站lob对象数量(可选),lob数量不一致排查
select owner,type,count(*) from dba_recyclebin group by owner,type order by owner;

OWNER			       TYPE			   COUNT(*)
------------------------------ ------------------------- ----------
...
TOPICPSP		       TABLE				  1


--数据量统计
----新增count_rows 函数
CREATE OR REPLACE FUNCTION count_rows (
	table_name IN varchar2, 
	owner IN varchar2 := NULL
)
RETURN number AUTHID current_user
AS
num_rows number;
	stmt varchar2(2000);
BEGIN
	IF owner IS NULL THEN
		stmt := 'select count(*) from "' || table_name || '"';
	ELSE
		stmt := 'select count(*) from "' || owner || '"."' || table_name || '"';
	END IF;
	EXECUTE IMMEDIATE stmt INTO num_rows;
	RETURN num_rows;
END;
/
---调用count_rows 函数,统计各种表的记录数
select table_name, count_rows(table_name) nrows from user_tables  where tablespace_name='TOPICIS'
order by nrows desc;

目标库

创建业务用户

--登录数据库
su - yashan
yasql 'sys/"Admin@2023"'

--查看表空间和数据文件的关系
SELECT tablespace_name,file_name FROM DBA_DATA_FILES order by 1;

--创建业务表空间
create tablespace topicis datafile 
'/yashandb/data/db-1-1/dbfiles/topicis' size 100m autoextend on maxsize unlimited;

--创建业务用户
create user topicis identified by topicis default tablespace topicis;
GRANT CREATE SESSION TO topicis;  #CREATE SESSION为用户的最基本权限,拥有此权限后才可以连接数据库

--授予角色或其他系统权限
GRANT DBA TO topicis;

迁移工具YMP部署

环境要求

  • YMP支持浏览器Chrome、Firefox和Microsoft Edge,建议使用当前较新的版本。
  • YMP需要在JDK8或JDK11的环境下安装,不支持其他版本JDK。
  • YMP安装路径不可包含英文句号(.)。
  • 建议YMP安装在磁盘最为充足的目录下,YMP会使用磁盘进行缓存CSV文件,建议安装路径容量不小于待同步表中的最大单表数据量的三倍。
  • 建议在机器新建用户以安装部署YMP。
  • YMP部署前使用 rpm -qa | grep libaio 检查环境中是否已安装 libaio 库,若未安装则使用 yum install libaio 安装 libaio 库及其依赖项后再进行部署。
开放端口

关闭防火墙

在主机上执行如下命令关闭防火墙:

# 关闭防火墙
$ systemctl stop firewalld
# 关闭开机自启
$ systemctl disable firewalld 
创建安装用户
--新建YMP用户
$ useradd -d /home/ymp -m ymp
$ echo ymp | passwd --stdin ymp                      # 更改kingbase 即操作系统kingbase账户密码

内置库目录规划

mkdir -p /ysdb
chown -R ymp:ymp /ysdb

上传安装包至服务器

将数据库和oci和ymp的安装包上传至192.168.3.175服务器/opt目录下

--数据库和ymp安装包
[root@top175:/root]$ ls -l /opt/yashan*
-rw-r--r-- 1 root root 175386922 Feb 28 14:50 /opt/yashandb-personal-23.1.1.100-linux-x86_64.tar.gz
-rw-r--r-- 1 root root 167402494 Feb 29 15:50 /opt/yashan-migrate-platform-23.1.1.100-linux-x86-64.zip

[root@top175:/opt]$ chown -R ymp:ymp yashan*

--oci
[root@top175:/opt]$ ls -l instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip
-rw-r--r-- 1 root root 75001671 Feb 29 20:40 instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip
[root@top175:/opt]$ chown -R ymp:ymp instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip

默认内置库安装YMP

Note:
YMP安装时按默认方式自行安装YashanDB作为内置库。要进行一个yashan数据库的安装,这个数据库是ymp工具使用的,和您另外部署的作为迁移目的的yashan数据库没有关系,如果按照YMP的服务器上已经部署有yashanDB需注意新创建用户。
YMP安装前需用户准备YashanDB安装包(注:db目录与bin/yasldr目录在部署前须为空目录)。 如需要使用Oracle到YashanDB的数据迁移功能,还需要准备OCI客户端的压缩包。
默认内置库安装YMP的方式有两种:
1. 使用install参数:安装内置库,成功后自动启动。
2. 使用install参数:安装内置库和OCI客户端,成功后自动启动。

本文采用方式2,安装内置库和OCI客户端并启动。
Note: 默认内置库以yasboot工具方式部署并启动。 默认内置库相关信息:
部署形态:单机
集群名称:ymp
安装目录:yashan-migrate-platform/db

su - ymp
unzip /opt/yashan-migrate-platform-23.1.1.100-linux-x86-64.zip -d /home/ymp/
cd /home/ymp/yashan-migrate-platform/
sh bin/ymp.sh install --db /opt/yashandb-personal-23.1.1.100-linux-x86_64.tar.gz --oci /opt/instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip

最后返回如下:
YMP has been started!

首次登录时需要重置登录密码,初始账户名和密码为(admin/admin)

部署完成后,可通过 http://IP:PORT/ 访问YMP页面,其中PORT默认值为8090

YMP使用

--查看脚本参数及其使用方法
cd /opt/yashan-migrate-platform
sh bin/ymp.sh -h

[root@top175:/opt/yashan-migrate-platform]$ sh bin/ymp.sh -h

Usages: ./ymp.sh [<flags>] <command>

Yashan-migrate-platform version: Release v23.1.1.100

Flags:
    -h,--help      Show detailed help information
    -v,--version   Show Yashan-migrate-platform version information

Commonly used commands:
    install                     Initialize ymp with the built-in database and start
        --db <package path>       new yashandb and yasldr package path
       [--oci  <package path>]    new OCI client package path
    restart                     Restart ymp with the built-in database
    status                      View status of ymp and built-in database
    uninstall [ param ]         Uninstall the built-in database,
                 -f               force clean the environment


Other commands:
    start                       Start ymp with the built-in database
    stop                        Stop ymp with the built-in database
    startnodb                   Start ymp with external database
    stopnodb                    Stop ymp with external database
    restartnodb                 Restart ymp with external database
    replace                     Replace yasldr version,
       --yasldr <package path>    new yasldr package path
       --oci <package path>       new OCI client package path
    installnodb                 Initialize ymp with external database and start
       --db <package path>        new yasldr package path
       [--oci  <package path>]    new OCI client package path

--查看运行状态
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh status

--停止YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh stop

--启动YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh start

--重启YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh restart

--查看默认内置库与YMP版本
[ymp@top175 yashan-migrate-platform]$ cd /opt/yashan-migrate-platform/
[ymp@top175 yashan-migrate-platform]$  bin/ymp.sh -v
Yashan-migrate-platform version: Release v23.1.1.100
YashanDB SQL Personal Edition Release 23.1.1.100 x86_64
YashanDB Loader Personal Edition Release 23.1.1.100 x86_64 0e623bd

测试访问ymp页面

访问方式:http://192.168.3.175:8090/,PORT默认8090。初始账户名和密码是(admin/admin)。
更改密码为Topnet@123。

添加数据源

添加源数据源


添加目标数据源

迁移步骤

创建迁移任务

迁移评估

由于是测试环境,选择跳过不兼容的对象。如果是生产环境还是需要和厂商沟通下。

兼容性必须是100%才能下一步。如果兼容性不是100%可选择跳过不兼容的对象先进行迁移。

跳过不兼容的对象(测试环境)

  • 点击该按钮会根据当前筛选条件对满足筛选结果的所有对象的DDL进行是否忽略操作。
  • 忽略会变更满足筛选结果的对象的是否忽略状态为忽略,且刷新报告时不会再评估这些对象。
  • 不忽略会变更满足筛选结果的对象的是否忽略状态为不忽略,且刷新报告时会评估这些对象。

然后刷新报告,刷新报告时会进行二次评估

由于评估的对象比较多,0%则是在进行环境准备

迁移配置

问题处理

重新部署,不保留之前的所有数据

--重新部署,不保留之前的所有数据
sh bin/ymp.sh stop && sh bin/ymp.sh uninstall -f 
sh bin/ymp.sh start

内置库端口被占用

内置库端口被占用,产生端口冲突,错误如图

请修改 application.yml 下 spring.datasource.url 与 db.properties 下 YASDB_PORT 的端口,并确保一致。

ymp.sh进程被 kill -9 强制停止后再次调用ymp.sh脚本失败

根据提示删除 bin/ 目录下 lock 文件。
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/564669.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

ArrayList与顺序表(1)

前言~&#x1f973;&#x1f389;&#x1f389;&#x1f389; hellohello~&#xff0c;大家好&#x1f495;&#x1f495;&#xff0c;这里是E绵绵呀✋✋ &#xff0c;如果觉得这篇文章还不错的话还请点赞❤️❤️收藏&#x1f49e; &#x1f49e; 关注&#x1f4a5;&#x…

GEE24:合肥市1986-2024年年均NDVI变化分析

代码如下&#xff1a; var roi ee.FeatureCollection("users/yipeizhao736/HefeiProvince"); Map.centerObject(roi); Map.addLayer(roi,{color:grey},roi); // Applies scaling factors. function applyScaleFactors(image) {var opticalBands image.select(SR_B…

如何使用渐变块创建自定义聊天机器人

如何使用渐变块创建自定义聊天机器人 文章目录 如何使用渐变块创建自定义聊天机器人一、介绍二、参考示例1、一个简单的聊天机器人演示2、将流式传输添加到您的聊天机器人3、喜欢/不喜欢聊天消息4、添加 Markdown、图像、音频或视频 一、介绍 **重要提示&#xff1a;**如果您刚…

FloodFill算法简介(用BFS、DFS算法解决)

FloodFill算法中文名&#xff1a;洪水灌溉 FloodFill通常是这样一类问题&#xff0c;如下图&#xff1a; 负数表示凹陷的土地&#xff0c;正数表示凸起的土地&#xff0c;发洪水/下雨会淹没凹陷的地方 通常会问这几种问题&#xff1a; 1.被淹没的区域有几块 2.被淹没的最大…

java的单元测试和反射

单元测试 就是针对最小的功能单元&#xff0c;编写测试代码对其进行正确性测试 Junit单元测试框架&#xff1a; 可以用来对方法进行测试 有点&#xff1a; 可以灵活的编写测试代码&#xff0c;可以针对某个方法进行测试&#xff0c;也支持一键完成对全部方法的自动发测试&a…

Linux中grep详解

一、grep基本介绍 全拼:Global search REgular expression and Print out the line. 从grep的全称中可以了解到&#xff0c;grep是一个可以利用”正则表达式”进行”全局搜索”的工具&#xff0c;grep会在文本文件中按照指定的正则进行全局搜索&#xff0c;并将搜索出的行打印出…

基于工程车辆/物流车辆/消防车辆远程通信的车队管理解决方案

交通运输对全球经济至关重要&#xff0c;特别是长途卡车在现今的供应链中发挥着重要作用。目前&#xff0c;货运物流面临许多挑战&#xff0c;包括不断上升的燃料价格和排放污染等问题。由于重型卡车的尺寸和载重量大&#xff0c;这意味着它们产生更多的二氧化碳排放足迹。在国…

java 溯本求源之基础(十八)之Monitoring--jmc

1.JMC概述 JMC全称Java Mission Control&#xff0c;集成了多个功能强大的组件&#xff0c;其中最核心的两部分是管理控制台和Java Flight Recorder。管理控制台允许开发者实时监控应用的运行状态&#xff0c;捕捉各种性能指标&#xff1b;而Java Flight Recorder则提供了一种高…

SQLite的DBSTAT 虚拟表(三十六)

返回&#xff1a;SQLite—系列文章目录 上一篇:SQLite运行时可加载扩展(三十五&#xff09; 下一篇&#xff1a;SQLite—系列文章目录 1. 概述 DBSTAT 虚拟表是一个只读的同名虚拟表&#xff0c;返回 有关用于存储内容的磁盘空间量的信息 的 SQLite 数据库。 示例用例…

陈奂仁联手 The Sandbox 推出“Hamsterz Doodles”人物化身系列

全新人物化身系列结合艺术与实用性 开创元宇宙新篇章 著名亚洲唱作歌手兼香港电影金像奖得主陈奂仁携手 The Sandbox&#xff0c;兴奋地宣布推出新的元宇宙人物化身系列 —— Hamsterz Doodles 仓鼠涂鸦。 陈奂仁在 The Sandbox 推出 Hamsterz Doodles 系列&#xff0c;将艺术与…

3i平台体验性能加持,13600KF+B760M+撼与科技A770 TITAN装机体验

在2022年&#xff0c;intel重启显卡线&#xff0c;带来了多款性价比十分不错的显卡。而近段时间&#xff0c;又有传言说intel第二代产品e即将面世&#xff0c;甚至已经有数款Battlemage GPU曝光&#xff0c;让不少intel忠实粉丝直呼期待&#xff0c;或许在今年年底&#xff0c;…

【新知实验室 - TRTC 实践】音视频互动 Demo、即时通信 IM 服务搭建

一、TRTC 初识 TRTC 是什么 TRTC&#xff08;Tencent RTC&#xff09;腾讯实时音视频&#xff0c;源自于 QQ 音视频团队&#xff0c;是基于 QQ 音视频多年来的音视频技术积累&#xff0c;位于腾讯云的 RTC 云服务。TRTC 支持腾讯会议、企业微信直播、微信视频号、腾讯云课堂、…

AI大模型探索之路-实战篇2:基于CVP架构-企业级知识库实战落地

目录 前言 一、概述 二、本地知识库需求分析 1. 知识库场景分析 2. 知识库应用特点 3. 知识库核心功能 三、本地知识库架构设计 1. RAG架构分析 2. 大模型方案选型 3. 应用技术架构选型 4. 向量数据库选型 5. 模型选型 三、本地知识库RAG评估 四、本地知识库代码落地 1. 文件…

leetcode最大间距(桶排序+Python)

虽然直接排完序&#xff0c;再求最大差值更快&#xff0c;这里我们还是学一下桶排序。 桶排序主要维护一个bucket&#xff0c;初始bucket【i】 0&#xff0c;遍历nums&#xff0c;当i存在时&#xff0c;令bucket【i】 1&#xff0c;表示存在。遍历完nums&#xff0c;bucket中有…

【点云语义分割】弱监督点云语义分割-双教师指导的对比学习

Weakly Supervised Learning for Point Cloud Semantic Segmentation With Dual Teacher 摘要&#xff1a; 为了增强特征学习能力&#xff0c;我们在这项工作中引入了双教师指导的对比学习框架&#xff0c;用于弱监督点云语义分割。双教师框架可以减少子网络耦合&#xff0c;促…

Java web应用性能分析之服务端慢[网络慢]

Java web应用性能分析之服务端慢&#xff0c;如果是网络原因引起的服务端慢&#xff0c;经常会被忽略&#xff0c;很多时候我们第一时间不会去排查网络原因。出现这种情况也很正常&#xff0c;因为应用的外部网络都是超100M的大宽带服务器&#xff0c;而内部则是千兆网卡或者万…

SpringCloud 与 Dubbo 的区别详解

一、Spring Cloud 和 Dubbo 的概述 1.1 SpringCloud 简介 SpringCloud 是一个用于构建云原生应用的框架集合&#xff0c;它为开发者提供了一套完整的工具链&#xff0c;用于快速搭建分布式系统。SpringCloud 基于 SpringBoot 开发&#xff0c;具有如下特点&#xff1a; 提供…

mysql常见语法操作笔记

1. 数据库的基本操作 1.1. MYSQL登录与退出 D:\phpstudy_pro\Extensions\MySQL5.7.26\bin 输入 mysql -uroot -proot -h127.0.0.1 退出的三种方法 mysql > exit; mysql > quit; mysql > \q; 1.2. MYSQL数据库的一些解释 注意&#xff1a;数据库就相当于文件夹 …

类和对象(2)——封装(封装的概念、包、staic)

前言 面向对象程序三大特性&#xff1a;封装、继承、多态。而类和对象阶段&#xff0c;主要研究的就是封装特性。何为封装呢&#xff1f;简单来说就是套壳屏蔽细节。 一、什么是封装 1.1 概念 将数据和操作数据的方法进行有机结合&#xff0c;隐藏对象的属性和实现细节&…