查看原文
其他

从 Oracle 11g 迁移到 openGauss3.1 实战演练

酷哥 JiekeXu DBA之路 2024-03-03

介绍

ora2pg可以将 Oracle 或者 MySQL 数据库迁移到 PostgreSQL,应用场景小到 Oracle 数据库的反向工程,大到大型企业数据库迁移,或者简单地将一些 Oracle 数据复制到 PostgreSQL 数据库。Ora2Pg 由一个 Perl 脚本(ora2pg)以及一个 Perl 模块(Ora2Pg.pm)组成,唯一需要做的事情就是修改它的配置文件 ora2pg.conf,设置连接 Oracle 数据库的 DSN 和一个可选的模式名称。完成之后,只需要设置导出的类型:TABLE(包括约束)、VIEW、TABLESPACE、SEQUENCE、INDEXES、TRIGGER、FUNCTION、PROCEDURE、PACKAGE等等。

ora2og是一个将Oracle数据库迁移至openGauss的工具,主要编程语言为perl,通过perl DBI模块连接Oracle数据库,自动扫描并提取其中的对象结构及数据,产生SQL脚本,通过手动或自动的方式应用到openGauss。此外,工具还提供丰富配置项,用户可以自定义迁移行为。ora2og初始代码源自ora2pg release v21.1,在原基础上提供了适配openGauss的相关内容。

特点:

  • 支持导出数据库绝大多数对象类型,包括表、视图、序列、索引、外键、约束、函数、存储过程等。

  • 提供PL/SQL到PL/PGSQL语法的自动转换,一定程度避免了人工修正。

  • 可生成迁移报告,包括迁移难度评估、人天估算。

  • 可选对导出数据进行压缩,节约磁盘开销。

  • 配置选项丰富,可自定义迁移行为。

执行迁移

环境

本篇使用环境:

  • Oracle:华为云服务器2核4G + CentoOS 7.6 +Oracle 11.2

  • openGauss:华为云服务器2核4G + CentoOS 7.6 +openGauss 3.1.0极简版

  • 两台节点网络互通

迁移前准备

Ora2og 工具既可以安装在 Oracle 服务器上,也可以安装在 openGauss 服务器上。本篇中将工具部署在 Oracle 服务器上。

注意,如果安装在 openGauss 上时,需要在服务器上安装 Oracle 客户端。下载路径:

https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads.html 

软件安装

Ora2Pg 语言为 perl,故需安装所需 perl 模块,版本 5.8 及以上

# root用户下操作yum install -y perl-ExtUtils-CBuilder perl-ExtUtils-MakeMakeryum install perl-CPAN

安装 DBI、JSON、DBD:Pg、DBD:Oracle,Ora2Pg 依赖这些软件去连接数据库。

perl -MCPAN -e 'install DBI'perl -MCPAN -e 'install JSON'perl -MCPAN -e 'install DBD::Pg'

设置 root 用户的环境变量,可以写入 /etc/profile,然后 source 生效。

export ORACLE_HOME=/u01/app/oracle/product/11.2.0/export LD_LIBRARY_PATH=/u01/app/oracle/product/11.2.0/lib

使用perl -MCPAN -e 'install DBD::Oracle' 安装报错了,换了另一种自己编译的方式。

[root@oraclehost ora2pg-master]# perl -MCPAN -e shell......cpan[1]> get DBD::Oracle........Checksum for /root/.cpan/sources/authors/id/Z/ZA/ZARQUON/DBD-Oracle-1.83.tar.gz ok......cpan[2]> quit[root@oraclehost ora2pg-master]# cd /root/.cpan/sources/authors/id/Z/ZA/ZARQUON/[root@oraclehost ZARQUON]# tar -zxvf DBD-Oracle-1.83.tar.gz[root@oraclehost ZARQUON]# cd DBD-Oracle-1.83[root@oraclehost DBD-Oracle-1.83]# perl Makefile.PL[root@oraclehost DBD-Oracle-1.83]# make && make install

ora2og 工具安装

安装 Ora2Pg <you_install_dir> 为目标安装路径,<source_code_dir> 为下载的代码路径。如果服务器上没有 git 的话,可以从网站把源码包下载再解压。

mkdir -p /opt/software/ora2pggit clonehttps://toscode.gitee.com/opengauss/openGauss-tools-ora2og.git# 进到代码目录下perl Makefile.PLPREFIX=<your_install_dir>make && makeinstall# 设置环境变量,查看是否安装成功exportPERL5LIB=<source_code_dir>/libexportPATH=$PATH:<your_install_dir>/usr/local/bin

需要确保bin路径下有ora2pg这个文件,否则命令找不到。

执行 ora2pg --help   

 创建迁移项目

ora2pg --init_project oramig

创建迁移项目后会在当前目录下生成oramig目录模板,如下所示。其中主要包含两个脚本export_schema.sh和import_all.sh,后续导出和导入即使用这两个脚本。schema和sources目录存放各对象的DDL语句,区别在于schema存放PL/SQL语法转化为PL/PGSQL后的语句,sources目录存放转化前PL/SQL的语句,data目录存放表数据文件,config目录包含配置文件ora2pg.conf,reports目录存放迁移报告。

 Oracle 建个表,用来做测试数据

create table customerchat.test(name char(10));insert into customerchat.test values('opengauss');create table customerchat.xxx(name char(20));insert into customerchat.xxx values('yy');

openGauss侧新建数据库mydb和用户tuser ,迁移时会用到。

mydb=# create database mydb;mydb=# CREATE USER tuser WITH PASSWORD 'JiekeXu_1234';mydb=# GRANT ALL PRIVILEGES TO tuser;mydb=# alter database mydb owner to tuser;

配置ora2pg.conf

拷贝配置文件,注意路径,后面执行sh的时候会找config/ora2pg.conf

cp<your_install_dir>/etc/ora2pg/ora2pg.conf.dist  <source_code_dir>/config/ora2pg.conf

ORACLE相关参数:

ORACLE_HOME /u01/app/oracle/product/11.2.0/ORACLE_DSN dbi:Oracle:host=oracleIP;sid=orcl;port=1521ORACLE_USER customerchat // 这里用的oracle普通用户和密码ORACLE_PWD XXXXXSCHEMA customerchat //一般和用户名一样

openGauss相关参数:

PG_DSN dbi:Pg:dbname=mydb;host=localhost;port=5432PG_USER tuserPG_PWD 自己定义的密码

工具自身参数:

DATA_LIMIT 默认是10000,如果oracle服务器内存较小,比如4G以下,可以修改为2500或5000,否则可能会报内存不足。

更多更详细的配置项说明,可查看官网:

https://ora2pg.darold.net/documentation.html

测试一下配置:

执行 ora2pg -t SHOW_VERSION -c config/ora2pg.conf 会返回连接的 Oracle 版本号。

测试迁移

修改迁移工具oramig目录下export_schema.sh中导出类型EXPORT_TYPE和SOURCE_TYPE,本次迁移导出TABLE。

在oramig目录下执行

sh export_schema.sh

执行完成后在schema/tables生成 table.sql ,里面是建表脚本。

 reports/目录下生成的report报告

还是在oramig目录下执行导入

为了使用openGauss命令行工具gsql,需要将数据库的bin和lib加在操作系统的环境变量PATH和LD_LIBRARY_PATH中。可以直接root用户执行gsql测试下。

3.将import_all.sh里的psql修改为gsql。

执行导入脚本,表示使用用户tuser登录openGauss中mydb的数据库,ip和端口,-f选项表示跳过用户和数据库是否需要创建的检查。

sh import_all.sh -d mydb -o tuser -h openGaussIP -p 5432 -f

执行成功。


可以看到表和数据都已经迁移过来。

 

Ora2Pg不足

Ora2Pg对PL/SQL和PL/PGSQL的语法转换处理采用正则表达式和文本替换的方式,先天设计不足,很难覆盖所有的语法,目前仅支持部分转换。因此,Ora2Pg 可以满足SQL简单的应用迁移,对于复杂的语法,并不能完全保证转换的正确性,需要对生成的SQL语句进行核对,必要时需要人工修正。

FAQ

1.报错:Path to pg_config? /opt/software/openGauss/bin/pg_config

/opt/software/openGauss/bin/pg_config: error while loading shared libraries: libssl.so.1.1: cannot open shared object file: No such file or directory

环境自带的是 1.0.2,得升级 libssl.so

[root@oraclehost ~]# openssl version -aOpenSSL 1.0.2k-fips 26 Jan 2017yum remove openssl

获取新的版本并安装

wgethttps://www.openssl.org/source/openssl-1.1.1c.tar.gztar -zxvf openssl-1.1.1c.tar.gzcd openssl-1.1.1c./config --prefix=/usr/local/openssl #如果此步骤报错,需要安装perl以及gcc包make && make installln -s /usr/local/openssl/lib/libssl.so.1.1 /usr/lib64/libssl.so.1.1ln -s /usr/local/openssl/lib/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1ln -s /usr/local/openssl/bin/openssl /usr/bin/opensslln -s /usr/local/openssl/include/openssl /usr/include/opensslecho "/usr/local/openssl/lib" >> /etc/ld.so.confldconfig -vsudo yum install postgresql-devel

再重新执行perl -MCPAN -e 'install DBD::Pg'

2、perl 报错 Can’t locate JSON.pm in @INC

解决:

sudo perl -MCPAN -e 'install JSON'

3、如何查看 SID?

SQL> select instance_name from V$instance;

4、执行 ora2pg -t SHOW_VERSION -c ora2pg.conf 报错

FATAL: -1 ... ERROR OCIEnvNlsCreate. Check ORACLE_HOME (Linux) env var or PATH (Windows) and or NLS settings, permissions, etc.Aborting export...

Export $ORACLE_HOME了半天,发现原来是 ora2pg.conf  里面配置的ORACLE_HOME 不对

5、执行ora2pg -t SHOW_VERSION -c ora2pg.conf报错

FATAL: 12505 ... ORA-12505: TNS:listener does not currently know of SID given in connect descriptor (DBD ERROR: OCIServerAttach)Aborting export...

解决办法SID配置有问题 或者 /etc/hosts有问题。参考下面连接解决

https://www.shuzhiduo.com/A/6pdDw0bl5w/

6、执行 ora2pg -t SHOW_VERSION -c config/ora2pg.conf 报错

install_driver(Oracle) failed: Can't load '/usr/local/lib64/perl5/auto/DBD/Oracle/Oracle.so' for module DBD::Oracle: libclntsh.so.11.1: cannot open shared object file: No such file or directory at /usr/lib64/perl5/DynaLoader.pm line 190.

解决办法

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

7、执行 ora2pg -t SHOW_VERSION -c ora2pg.conf报错

FATAL: ORA-08178: illegal SERIALIZABLE clause specified for user INTERNAL (DBD ERROR: OCIStmtExecute)

解决办法:

不要使用sys用户,使用普通oracle用户(没有可新建),然后修改ora2pg.conf中的用户名和密码

8、执行sh import_all.sh -d mydb -o tuser -h IP -p 5432 -f 提示Out of memory , 但是top显示还有1G多。

 解决办法:

Opened ./config/ora2pg.conf and modfied set DATA_LIMIT 5000 or 2500 solved the issue.

9、报错:DBD::Pg::db do failed: ERROR:  permission denied for relation xxx

解决办法:

需要给openGauss的角色赋权限

mydb=# grant all privileges to tuser;

10、报错:

DBI connect('dbname=mydb;host=openGaussIP;port=5432','testuser',...) failed: connection to server at "openGaussIP", port 5432 failed: none of the server's SASL authentication mechanisms are supported at /opt/software/ora2pg/lib

解决办法:

这个错是openGauss返回的。需要把openGauss的pg_hba.conf & postgres.conf再搞下。

修改data/single_node/postgresql.conf 中password_encryption_type = 1 。

修改pg_hba.conf中

然后重启 openGauss:gs_ctl restart -D /opt/software/openGauss/data/single_node

全文完,希望可以帮到正在阅读的你,如果觉得此文对你有帮助,可以分享给你身边的朋友,同事,你关心谁就分享给谁,一起学习共同进步~~~

❤️ 欢迎关注我的公众号【JiekeXu DBA之路】,一起学习新知识!

————————————————————————————
公众号:JiekeXu DBA之路
CSDN :https://blog.csdn.net/JiekeXu
墨天轮:https://www.modb.pro/u/4347
腾讯云:https://cloud.tencent.com/developer/user/5645107
————————————————————————————



Oracle 表碎片检查及整理方案

OGG|Oracle GoldenGate 基础

2021 年公众号历史文章合集整理

2020 年公众号历史文章合集整理

Oracle 19c RAC 遇到的几个问题

OGG|Oracle 数据迁移后比对一致性

利用 OGG 迁移 Oracle11g 到 19C

OGG|Oracle GoldenGate 微服务架构

Oracle 查询表空间使用率超慢问题一则

国产数据库|TiDB 5.4 单机快速安装初体验

Oracle ADG 备库停启维护流程及增量恢复

Linux 环境搭建 MySQL8.0.28 主从同步环境

继续滑动看下一个

从 Oracle 11g 迁移到 openGauss3.1 实战演练

向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存