如何使用Ora2Pg迁移Oracle数据库到openGauss

Ora2Pg介绍
Ora2Pg是一个将Oracle迁移至PostgreSQL的开源工具，通过连接Oracle数据库，自动扫描并提取其中的对象结构及数据，产生SQL脚本，通过手动或自动的方式将其应用到PostgreSQL。
官方网站：https://ora2pg.darold.net/
Ora2Pg优秀特性

• 支持导出数据库绝大多数对象类型，包括表、视图、序列、索引、外键、约束、函数、存储过程等。
• 提供PL/SQL到PL/PGSQL语法的自动转换，一定程度避免了人工修正。
• 可生成迁移报告，包括迁移难度评估、人天估算。
• 可选对导出数据进行压缩，节约磁盘开销。
• 配置选项丰富，可自定义迁移行为。
  Ora2Pg在openGauss的应用
  Ora2Pg主要语言是perl，使用Perl DBI模块，通过DBD:Pg连接PostgreSQL目标数据库，openGauss兼容PostgreSQL的通信协议以及绝大部分语法，因此只需作部分命名上的修改，Ora2Pg同样可应用于openGauss。
  Ora2Pg使用示例
  对于对象结构，Ora2Pg将其DDL语句导出到SQL文件中，对于表数据，则既可以以INSERT或COPY命令导出到文件，也支持直接导入到目标数据库，不需要产生中间SQL文件。
  为了完成上述过程，Ora2Pg工具同时支持命令行和一键式脚本的方式完成迁移。命令行方式通过Ora2Pg二进制分布执行各条命令，来完成对应的步骤；一键式脚本通过创建迁移项目，分别得到导出导入脚本以及迁移目录模板，脚本集成了若干Ora2Pg命令以及导入SQL文件所需的psql命令（openGauss为gsql），用户只需要执行两个脚本即可完成迁移。本次主要演示脚本的方式。
  1. 依赖安装
  Ora2Pg语言为perl，故需安装所需perl模块。
  

  # root用户下操作
  yum install -y perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker
  yum install perl-CPAN​

  
  安装DBI、DBD:Pg、DBD:Oracle，Ora2Pg依赖这些软件去连接数据库。
  

  perl -MCPAN -e 'install DBI'
  perl -MCPAN -e 'install DBD::Pg'​

  
  安装DBD:Oracle，需要先安装Oracle Instant Client或者本地已安装Oracle数据库。
  

  # 从Oracle官方下载并安装Oracle Instant Client
  rpm -ivh oracle-instantclient19.11-basic-19.11.0.0.0-1.x86_64.rpm
  rpm -ivh oracle-instantclient19.11-devel-19.11.0.0.0-1.x86_64.rpm
  rpm -ivh oracle-instantclient19.11-jdbc-19.11.0.0.0-1.x86_64.rpm
  rpm -ivh oracle-instantclient19.11-sqlplus-19.11.0.0.0-1.x86_64.rpm
  # 设置环境变量ORACLE_HOME
  export ORACLE_HOME=/usr/lib/oracle/19.11/client64/
  # 或者本地已安装有Oracle数据库
  ORACLE_HOME如下设置
  export ORACLE_HOME=/opt/oracle/product/19c/dbhome_1
  export LD_LIBRARY_PATH=$ORACLE_HOME/lib
  # 安装DBD:Oracle
  perl -MCPAN -e 'install DBD::Oracle'​

   

   

  2. Ora2Pg安装并创建迁移项目
  源码路径：https://github.com/darold/ora2pg
  

  # 进到代码目录下，<you_install_dir>为目标安装路径
  perl Makefile.PL PREFIX=<your_install_dir>
  make && make install
  # 设置环境变量，查看是否安装成功.<source_code_dir>为下载的代码路径
  export PERL5LIB=<source_code_dir>/lib
  export PATH=$PATH:<your_install_dir>/usr/local/bin
  ora2pg --help
  # 创建迁移项目
  ora2pg --init_project oramig​

  
   创建迁移项目后会在当前目录下生成oramig目录模板，如下所示。其中主要包含两个脚本export_schema.sh和import_all.sh，后续导出和导入即使用这两个脚本。schema和sources目录存放各对象的DDL语句，区别在于schema存放PL/SQL语法转化为PL/PGSQL后的语句， sources目录存放转化前PL/SQL的语句，data目录存放表数据文件，config目录包含配置文件ora2pg.conf，reports目录存放迁移报告。
   
  至此您已可以使用Ora2Pg命令，以下是使用该命令时允许指定的部分命令行参数，这些参数都可以在ora2pg.conf设置，指定配置文件时，命令行选项指定的值会覆盖配置文件中的对应值。
  

  Usage: ora2pg [-dhpqv --estimate_cost --dump_as_html] [--option value]
  
  -a | --allow str  : 指定允许导出的对象列表，使用逗号分隔。
  -b | --basedir dir: 设置默认的导出目录，用于存储导出SQL文件。
  -c | --conf file  : 设置配置文件路径。
  -e | --exclude str: 指定导出时排除的对象列表，使用逗号分隔。
  -i | --input file : 指定要导入的SQL文件，导入文件时不需要连接到 Oracle 数据库。
  -o | --out file   : 设置导出的 SQL 文件的存储路径。默认值为当前目录下的 output.sql 文件。
  -p | --plsql      : 启用 PLSQL 代码到 PLPGSQL 代码的转换。
  -s | --source DSN : 设置 Oracle DBI 数据源。
  -t | --type export: 设置导出类型。该参数将会覆盖配置文件中的导出类型（TYPE）。
  -u | --user name  : 设置连接 Oracle 数据库连接的用户名。也可以使用 ORA2PG_USER 环境变量。
  -w | --password pwd : 设置连接 Oracle 数据库的用户密码。也可以使用 ORA2PG_PASSWD 环境变量。
  --init_project NAME: 初始化典型的Ora2Pg项目，生成目录模板。
  --view_as_table str: 将视图导出为表，多个视图使用逗号分隔。​

   

  3. 配置Ora2Pg
  ora2pg.conf文件包含所有配置选项，通过配置项可以自定义迁移时的行为。这里简单介绍几个常用的配置项。
  ORACLE_HOME：设置环境变量ORACLE_HOME，DBD:Oracle模块使用该变量查找所需的Oracle库。设置方式在依赖安装中已涉及。
  ORACLE_DSN：该参数以标准DBI DSN形式设置数据源名称，例如：
  

  ORACLE_DSN dbi:Oracle:host=oradb_host.myhost.com;sid=DB_SID;port=1521​

  
  或者
  

  ORACLE_DSN dbi:Oracle:DB_SID​

  
  第二种方式需要在$ORACLE_HOME/network/admin/tnsnames.ora 文件或者环境变量 TNS_ADMIN 指定目录下的 tnsnames.ora 文件中定义 SID。
  ORACLE_USER, ORACLE_PWD：这两个参数用于定义Oracle数据库连接的用户名和密码。请注意，如果可以的话，以Oracle超级管理员身份登录，以避免在数据库扫描时遇到权限问题，以及丢失内容。
  PG_DSN：设置目标数据库名称，如下为openGauss示例，连接IP为localhost，端口为5432，名称为mydb的数据库。
   

  PG_DSN dbi:Pg:dbname=mydb;host=localhost;port=5432​

  
  PG_USER,PG_PWD：设置目标数据库的用户、密码。请注意，这里使用的用户需要有远程连接openGauss的权限，以及对对应数据库的读写权限，具体是运行Ora2Pg所在的机器和该用户需要在openGauss的远程访问白名单里。
  SCHEMA：此参数用于设置要导出的schema。如下，将提取APPS下的对象。
   

  SCHEMA APPS​

  
  ORA_INITIAL_COMMAND：该参数可用于在连接之后向Oracle发送初始命令。例如，在读取对象前关闭访问限制策略，或设置一些会话参数。
  TYPE：设置要导出的对象类型，包括表、视图、序列、索引、外键、约束、函数、存储过程等，默认为TABLE。如下，将导出普通表和视图。
   

  TYPE TABLE VIEW​

  
  更多更详细的配置项说明，可查看官网：

https://ora2pg.darold.net/documentation.html
连接测试：配置好Oracle数据库的DSN之后，可执行以下命令测试数据库的连接。

ora2pg -t SHOW_VERSION -c config/ora2pg.conf

以上命令将显示Oracle数据库的版本。
4. 执行迁移脚本
本次演示的配置如下，以system用户连接目标数据库
 
修改export_schema.sh中导出类型，本次迁移导出表和函数。
 
执行导出脚本，等待迁移完成。结束后在schema和source的子目录下生成对应类型的DDL文件，并在末尾给出导出表数据的命令。

sh export_schema.sh

同时reports目录下也生成html格式的迁移报告。
 
执行导入脚本之前需要做如下准备：
1. 先在openGauss库中创建数据库，并在该数据库下创建用户，把mydb属主设为该用户。（import_all.sh中使用PostgreSQL特有的createuser和createdb创建用户和数据库）
 
2. 为了使用openGauss命令行工具gsql，需要将数据库的bin和lib加在操作系统的环境变量PATH和LD_LIBRARY_PATH中。
3. 将import_all.sh里的psql修改为gsql。
4. 当使用普通用户导入数据时，可增加一个执行该脚本的选项，指定用户密码，避免频繁输入密码。

执行导入脚本，表示使用用户testuser登录名为mydb的数据库，ip和端口分别是127.0.0.1和5432，-f选项表示跳过用户和数据库是否需要创建的检查。
 

sh import_all.sh -d mydb -o testuser –h 127.0.0.1 -p 5432 –f

执行后会交互式提示是否导入各对象结构及数据，如下所示。（其中的-w是手动修改import_all.sh脚本，添加密码选项）

 
对于表的索引和约束，可选择延迟导入，即在导入数据之后。
登录openGauss数据库查看迁移结果。

 
Ora2Pg不足
Ora2Pg对PL/SQL和PL/PGSQL的语法转换处理采用正则表达式和文本替换的方式，先天设计不足，很难覆盖所有的语法，目前仅支持部分转换。因此，Ora2Pg可以满足SQL简单的应用迁移，对于复杂的语法，并不能完全保证转换的正确性，需要对生成的SQL语句进行核对，必要时需要人工修正。

文章转自公众号：openGauss