迁移需求
ip地址 |
数据库信息 |
操作系统信息 |
||
源库 |
192.168.3.132 |
实例名topdh 用户密码TOPICIS/oracle 端口1521 |
Centos7.9 x86_64 |
|
目标库 |
192.168.3.175 |
实例名yasdb 用户密码topicist/opicis 端口1688 |
Centos7.9 x86_64 |
|
迁移前准备
YMP工具获取
根据实际需求向厂商技术支持获取软件包：（xx.xx为软件版本号）
软件包名称 |
说明 |
yashan-migrate-platform-23.1.1.100-linux-x86-64.zip yashan-migrate-platform-23.1.1.100-linux-aarch64.zip |
YMP安装包，用于在Linux x86_64/arm64平台进行YMP的安装和部署。 |
instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip instantclient-basic-linux.arm64-19.10.0.0.0dbru-2.zip |
OCI客户端压缩包，用于在Linux x86_64/arm64平台下进行OCI客户端的安装和替换 。 |
Note:
1. OCI客户端压缩包可在'<https://www.oracle.com/cn/database/technologies/instant-client/downloads.html>'处获取。
2. 使用Oralce到YashanDB的数据迁移功能时，必须使用OCI客户端压缩包，并建议使用表格里的版本，其他版本未经验证可能有未知风险。
源库
--查看实例名
SQL> select instance_name from v$instance;
INSTANCE_NAME
----------------
topdh
--查看用户
set lin1000 pagesize 999
select username,default_tablespace,temporary_tablespace from dba_users where username not in ('SYS','SYSTEM','HR','OUTLN','MGMT_VIEW','FLOWS_FILES','MDSYS','ORDSYS','EXFSYS','DBSNMP','WMSYS','APPQOSSYS','APEX_030200','OWBSYS_AUDIT','ORDDATA','CTXSYS','ANONYMOUS','SYSMAN','XDB','ORDPLUGINS','OWBSYS','SI_INFORMTN_SCHEMA','OLAPSYS','SCOTT','ORACLE_OCM','XS$NULL','BI','PM','MDDATA','IX','SH','DIP','OE','APEX_PUBLIC_USER','SPATIAL_CSW_ADMIN_USR','SPATIAL_WFS_ADMIN_USR');
USERNAME DEFAULT_TABLESPACE TEMPORARY_TABLESPACE
------------------------------ ------------------------------ ------------------------------
......
TOPICIS TOPICIS TOPICISTEMP
--查看用户使用了哪些表空间
select distinct tablespace_name from dba_segments where owner in ('TOPICIS');
TABLESPACE_NAME
------------------------------
TOPICIS
--赋予dba角色给TOPICIS用户
sqlplus / as sysdba
GRANT DBA TO TOPICIS;
-- 查看表空间及数据文件位置及大小
set lin 1000 pagesize 999
col file_name for a55
select tablespace_name,file_name,bytes/1024/1024/1024 gb,AUTOEXTENSIBLE from dba_data_files where tablespace_name not in ('USERS','UNDOTBS1','SYSAUX','SYSTEM') order by tablespace_name ;
TABLESPACE_NAME FILE_NAME GB AUT
------------------------------ ------------------------------------------------------- ---------- ---
TOPICIS /oradata/topdh/TOPICIS01.dbf 31.9990234 YES
TOPICIS /oradata/topdh/etopicis02.dbf 31.9999847 YES
TOPICIS /oradata/topdh/etopicis03.dbf 31.9999847 YES
......
--查看业务用户TOPICIS的数据量
select round(sum(bytes) / 1024 / 1024 / 1024, 2) || 'G'
from dba_segments
2 3 where owner in ('TOPICIS') ;
ROUND(SUM(BYTES)/1024/1024/1024,2)||'G'
-----------------------------------------
95.99G
--查看redo大小 位置
set linesize 999
col member for a60
select b.thread#,a.group#,a.member,bytes/1024/1024,b.members,b.status from v$logfile a,v$log b where a.group#=b.group#;
THREAD# GROUP# MEMBER BYTES/1024/1024 MEMBERS STATUS
---------- ---------- ------------------------------------------------------------ --------------- ---------- ----------------
1 1 /oradata/topdh/redo01.log 500 1 INACTIVE
1 3 /oradata/topdh/redo03.log 500 1 INACTIVE
1 2 /oradata/topdh/redo02.log 500 1 CURRENT
-- 查看数据库字符集
select * from nls_database_parameters where PARAMETER in ('NLS_CHARACTERSET','NLS_NCHAR_CHARACTERSET');
PARAMETER VALUE
------------------------------ ----------------------------------------------------------------------------
NLS_CHARACTERSET AL32UTF8
NLS_NCHAR_CHARACTERSET UTF8
--每个业务用户下的总对象数量校验
SELECT D.OWNER,COUNT(1)
FROM dba_objects d
WHERE d.OWNER in ('TOPICIS')
AND NOT EXISTS (SELECT 1 FROM DBA_RECYCLEBIN B WHERE B.object_name=D.OBJECT_NAME AND D.OWNER=B.owner)
GROUP BY D.OWNER
ORDER BY D.OWNER ;
OWNER COUNT(1)
------------------------------ ----------
TOPICIS 6551
--每个业务用户下的各个对象类别的数量校验
SQL> select OWNER,OBJECT_TYPE,status,count(OBJECT_NAME) from dba_objects where owner in ('TOPICIS') group by OBJECT_TYPE,owner,status order by 1,3,2;
OWNER OBJECT_TYPE STATUS COUNT(OBJECT_NAME)
------------------------------ ------------------- ------- ------------------
TOPICIS FUNCTION INVALID 20
TOPICIS PROCEDURE INVALID 133
TOPICIS DATABASE LINK VALID 5
TOPICIS FUNCTION VALID 57
TOPICIS INDEX VALID 1631
TOPICIS LOB VALID 478
TOPICIS PACKAGE VALID 2
TOPICIS PROCEDURE VALID 116
TOPICIS SEQUENCE VALID 60
TOPICIS TABLE VALID 4015
TOPICIS TYPE VALID 34
--查询回收站lob对象数量(可选),lob数量不一致排查
select owner,type,count(*) from dba_recyclebin group by owner,type order by owner;
OWNER TYPE COUNT(*)
------------------------------ ------------------------- ----------
...
TOPICPSP TABLE 1
--数据量统计
----新增count_rows 函数
CREATE OR REPLACE FUNCTION count_rows (
table_name IN varchar2,
owner IN varchar2 := NULL
)
RETURN number AUTHID current_user
AS
num_rows number;
stmt varchar2(2000);
BEGIN
IF owner IS NULL THEN
stmt := 'select count(*) from "' || table_name || '"';
ELSE
stmt := 'select count(*) from "' || owner || '"."' || table_name || '"';
END IF;
EXECUTE IMMEDIATE stmt INTO num_rows;
RETURN num_rows;
END;
/
---调用count_rows 函数，统计各种表的记录数
select table_name, count_rows(table_name) nrows from user_tables where tablespace_name='TOPICIS'
order by nrows desc;目标库
创建业务用户
--登录数据库
su - yashan
yasql 'sys/"Admin@2023"'
--查看表空间和数据文件的关系
SELECT tablespace_name,file_name FROM DBA_DATA_FILES order by 1;
--创建业务表空间
create tablespace topicis datafile
'/yashandb/data/db-1-1/dbfiles/topicis' size 100m autoextend on maxsize unlimited;
--创建业务用户
create user topicis identified by topicis default tablespace topicis;
GRANT CREATE SESSION TO topicis; #CREATE SESSION为用户的最基本权限，拥有此权限后才可以连接数据库
--授予角色或其他系统权限
GRANT DBA TO topicis;迁移工具YMP部署
环境要求
- YMP支持浏览器Chrome、Firefox和Microsoft Edge，建议使用当前较新的版本。
- YMP需要在JDK8或JDK11的环境下安装，不支持其他版本JDK。
- YMP安装路径不可包含英文句号（.）。
- 建议YMP安装在磁盘最为充足的目录下，YMP会使用磁盘进行缓存CSV文件，建议安装路径容量不小于待同步表中的最大单表数据量的三倍。
- 建议在机器新建用户以安装部署YMP。
- YMP部署前使用 rpm -qa | grep libaio 检查环境中是否已安装 libaio 库，若未安装则使用 yum install libaio 安装 libaio 库及其依赖项后再进行部署。
开放端口
关闭防火墙
在主机上执行如下命令关闭防火墙：
# 关闭防火墙
$ systemctl stop firewalld
# 关闭开机自启
$ systemctl disable firewalld 创建安装用户
--新建YMP用户
$ useradd -d /home/ymp -m ymp
$ echo ymp | passwd --stdin ymp # 更改kingbase 即操作系统kingbase账户密码内置库目录规划
mkdir -p /ysdb
chown -R ymp:ymp /ysdb上传安装包至服务器
将数据库和oci和ymp的安装包上传至192.168.3.175服务器/opt目录下
--数据库和ymp安装包
[root@top175:/root]$ ls -l /opt/yashan*
-rw-r--r-- 1 root root 175386922 Feb 28 14:50 /opt/yashandb-personal-23.1.1.100-linux-x86_64.tar.gz
-rw-r--r-- 1 root root 167402494 Feb 29 15:50 /opt/yashan-migrate-platform-23.1.1.100-linux-x86-64.zip
[root@top175:/opt]$ chown -R ymp:ymp yashan*
--oci
[root@top175:/opt]$ ls -l instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip
-rw-r--r-- 1 root root 75001671 Feb 29 20:40 instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip
[root@top175:/opt]$ chown -R ymp:ymp instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip默认内置库安装YMP
Note:
YMP安装时按默认方式自行安装YashanDB作为内置库。要进行一个yashan数据库的安装，这个数据库是ymp工具使用的，和您另外部署的作为迁移目的的yashan数据库没有关系，如果按照YMP的服务器上已经部署有yashanDB需注意新创建用户。
YMP安装前需用户准备YashanDB安装包（注：db目录与bin/yasldr目录在部署前须为空目录）。 如需要使用Oracle到YashanDB的数据迁移功能，还需要准备OCI客户端的压缩包。
默认内置库安装YMP的方式有两种：
1. 使用install参数：安装内置库，成功后自动启动。
2. 使用install参数：安装内置库和OCI客户端，成功后自动启动。
本文采用方式2，安装内置库和OCI客户端并启动。
Note: 默认内置库以yasboot工具方式部署并启动。 默认内置库相关信息：
部署形态：单机
集群名称：ymp
安装目录：yashan-migrate-platform/db
su - ymp
unzip /opt/yashan-migrate-platform-23.1.1.100-linux-x86-64.zip -d /home/ymp/
cd /home/ymp/yashan-migrate-platform/
sh bin/ymp.sh install --db /opt/yashandb-personal-23.1.1.100-linux-x86_64.tar.gz --oci /opt/instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip
最后返回如下：
YMP has been started!首次登录时需要重置登录密码，初始账户名和密码为（admin/admin）
部署完成后，可通过 http://IP:PORT/ 访问YMP页面，其中PORT默认值为8090
YMP使用
--查看脚本参数及其使用方法
cd /opt/yashan-migrate-platform
sh bin/ymp.sh -h
[root@top175:/opt/yashan-migrate-platform]$ sh bin/ymp.sh -h
Usages: ./ymp.sh [<flags>] <command>
Yashan-migrate-platform version: Release v23.1.1.100
Flags:
-h,--help Show detailed help information
-v,--version Show Yashan-migrate-platform version information
Commonly used commands:
install Initialize ymp with the built-in database and start
--db <package path> new yashandb and yasldr package path
[--oci <package path>] new OCI client package path
restart Restart ymp with the built-in database
status View status of ymp and built-in database
uninstall [ param ] Uninstall the built-in database,
-f force clean the environment
Other commands:
start Start ymp with the built-in database
stop Stop ymp with the built-in database
startnodb Start ymp with external database
stopnodb Stop ymp with external database
restartnodb Restart ymp with external database
replace Replace yasldr version,
--yasldr <package path> new yasldr package path
--oci <package path> new OCI client package path
installnodb Initialize ymp with external database and start
--db <package path> new yasldr package path
[--oci <package path>] new OCI client package path
--查看运行状态
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh status
--停止YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh stop
--启动YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh start
--重启YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh restart
--查看默认内置库与YMP版本
[ymp@top175 yashan-migrate-platform]$ cd /opt/yashan-migrate-platform/
[ymp@top175 yashan-migrate-platform]$ bin/ymp.sh -v
Yashan-migrate-platform version: Release v23.1.1.100
YashanDB SQL Personal Edition Release 23.1.1.100 x86_64
YashanDB Loader Personal Edition Release 23.1.1.100 x86_64 0e623bd
测试访问ymp页面
访问方式：http://192.168.3.175:8090/，PORT默认8090。初始账户名和密码是（admin/admin）。
更改密码为Topnet@123。
添加数据源
添加源数据源
添加目标数据源
迁移步骤
创建迁移任务
迁移评估
由于是测试环境，选择跳过不兼容的对象。如果是生产环境还是需要和厂商沟通下。
兼容性必须是100%才能下一步。如果兼容性不是100%可选择跳过不兼容的对象先进行迁移。
跳过不兼容的对象(测试环境)
- 点击该按钮会根据当前筛选条件对满足筛选结果的所有对象的DDL进行是否忽略操作。
- 忽略会变更满足筛选结果的对象的是否忽略状态为忽略，且刷新报告时不会再评估这些对象。
- 不忽略会变更满足筛选结果的对象的是否忽略状态为不忽略，且刷新报告时会评估这些对象。
然后刷新报告，刷新报告时会进行二次评估
由于评估的对象比较多，0%则是在进行环境准备
迁移配置
问题处理
重新部署，不保留之前的所有数据
--重新部署，不保留之前的所有数据
sh bin/ymp.sh stop && sh bin/ymp.sh uninstall -f
sh bin/ymp.sh start内置库端口被占用
内置库端口被占用，产生端口冲突，错误如图
请修改 application.yml 下 spring.datasource.url 与 db.properties 下 YASDB_PORT 的端口，并确保一致。
ymp.sh进程被 kill -9 强制停止后再次调用ymp.sh脚本失败
根据提示删除 bin/ 目录下 lock 文件。