使用ogg实现oracle到postgresql表的实时同步
阅读原文时间:2023年07月08日阅读:1

参考:https://docs.oracle.com/goldengate/c1221/gg-winux/index.html

   https://blog.51cto.com/hbxztc/1880714

环境:oracle 11.2.0.4+centos6.9,postgresql10.6+centos6.9

1.下载OGG

下载网址:https://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

     http://edelivery.oracle.com/

下载安装包如下:122022_ggs_Linux_x64_PostgreSQL_64bit.zip,V861007-01.zip

2.源端(oracle)ogg安装

$ cd /data/
$ mkdir ogg
$ cd /data/software
$ unzip V861007-01.Zip
$ cd fbo_ggs_Linux_x64_shiphome/Disk1/
$ export DISPLAY=xxx.xxx.xxx.xxx:0.0
$ ./runInstaller

执行命令后,会出现图形化界面

选择安装对应版本oracle的ogg

指定ogg安装路径,配置mgr参数

报错:

只是因为我已经安装过一次了,因此上一次OGG安装目录中已经存在于OGG的安装清单(inventory.xml)里面,解决方法如下:

# find / -name inventory.xml

su - oracle

$ vi /oracle/oraInventory/ContentsXML/inventory.xml
#删除如下一行即可

删除后,点击cancel取消,再次进入图形化界面即可。

3.源端OGG配置

打开归档

alter database archivelog;

打开允许ogg复制,打开附件日志(UPDATE更新redo会记录所有的栏位,会增加redo量)

alter system set enable_goldengate_replication=true;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
--全库打开附件日志,后续不需要对单独的表增加附件日志
--也可以用如下方法,打开最小附加日志,之后对需要OGG的表单独增加附加日志
alter database add supplemental log data;
add trandata user.table --这一句后续在OGG中执行

修改环境变量

$ vi .bash_Profile
export GGATE-/data/ogg
export PATH=$PATH:$GGATE
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$GGATE

新增ogg用户并赋权

create tablespace ggs_data datafile '/data/db/ggs_data01.dbf' size 1g;
create user ggs_owner identified by xxxxxx default tablespace ggs_data temporary tablespace temp quota unlimited on ggs_data;
grant connect, resource TO ggs_owner;
GRANT select any dictionary, select any table TO ggs_owner;
grant flashback any table TO ggs_owner;
grant execute on dbms_flashback TO ggs_owner;

新增ogg抽取进程

edit param mgr
add extract ext_demo,tranlog,begin now

edit param ext_demo

extract ext_demo
setenv (NLS_LANG="TRADITIONAL CHINESE_TAIWAN.AL32UTF8")
setenv (ORACLE_SID=db)
userid ggs_owner,password xxxxxx
exttrail /data/ogg/dirdat/ed
table USER01.TEST01;
--------------------------------------------------------------------------
add exttrail /data/ogg/dirdat/ed,extract ext_demo

新增ogg传送进程

add extract pup_demo exttrailsource /data/ogg/dirdat/ed

edit param pup_demo

extract pup_demo
setenv (NLS_LANG="AMERICAN_AMERICA.AL32UTF8")
setenv (ORACLE_SID=db)
rmthost xxx.xxx.xxx.xxx,mgrport 7809,compress
rmttrail /data/ogg/dirdat/rd

table USER01.TEST01;

add rmttrail /data/ogg/dirdat/rd,extract pup_demo

生成源端定义文件(oracle和pg的数据类型不同,感觉是为了类型转换,没有测试如果不使用会如何)

vi ./dirprm/defgen.prm
DEFSFILE ./dirdef/defgen_postgres.prm;
userid ggs_owner,password xxxxxx;
table USER01.TEST01;
defgen paramfile ./dirprm/defgen.prm

4.postgresql端OGG安装与配置(以下的所有$代表postgres用户)

解压安装

$ cd /data/software/
$ unzip 122022_ggs_Linux_x64_PostgreSQL_64bit.zip
$ cd /data/
$ mkdir ogg
$ mv software/ggs_Linux_x64_PostgreSQL_64bit.tar ogg/
$ tar vxf ggs_Linux_x64_PostgreSQL_64bit.tar

创建子目录

$ cd /data/ogg
$ ggsci
create subdirs

创建DSN(database source name)

ogg for pg使用的是ODBC来连接数据库,因此需要指明ODBC dirver

[ODBC Data Sources]:定义的数据库别名,后面的【postgre】部分与之对应

IANAAppCodePage:字符集,应该与postgresql数据库的字符集对应,106代表的是UTF-8

$ cd /data/ogg

$ vi odbc.ini

[ODBC Data Sources]
postgre=DataDirect 10.6 PostgreSQL Wire Protocol

[ODBC]
IANAAppCodePage=106
InstallDir=/data/ogg

[postgre]
Driver=/data/ogg/lib/GGpsql25.so
Description=DataDirect 10.6 PostgreSQL Wire Protocol
Database=pgdb
HostName=xxx.xxx.xxx.xxx
PortNumber=5432
LogonID=ggs_owner

Password=xxxxxx

修改postgres环境变量

重点是动态连接库和ODBCINI的环境变量

export GGATE=/data/ogg
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$GGATE/lib
export PATH=$PATH:$PGHOME/bin/:$GGATE
export ODBCINI=$GGATE/odbc.ini

进入pg数据库创建测试用户(其实应该在创建odbc.ini之前执行)

$ psql
create database oggtest;
create user ggs_owner superuser password 'xxxxxx';
\c oggtest ggs_owner
create schema ggs_owner;
create table test01(id int primary key,name varchar(10),age int);

修改mgr参数

$ cd $GGATE
$ ggsci

edit param mgr

PORT 7089

新增checkpoint

需要注意,sourcedb必须与odbc.ini中配置的ODBC Data source相同,这样ogg才可以找到要登录的数据库(加入一个主机上有好几个数据库),因此odbc.ini可以用来区分复制进程所属数据库

# ogg中执行如下
dblogin sourcedb postgre userid ggs_owner
add checkpointtable ggs_owner.checkpointtab

新增复制进程

经测试,ODBCINI无需写入参数环境变量中,因为在postgres环境变量中已设定

$ cd $GGATE
$ mkdir dircard

edit param rep_demo

replicat rep_demo
SOURCEDEFS ./dirdef/defgen_postgres.prm
SETENV(PGCLIENTENCODING = "UTF8" )
SETENV(ODBCINI="/ogg/odbc.ini" )
SETENV(NLS_LANG="AMERICAN_AMERICA.AL32UTF8")
TARGETDB postgre,userid ggs_owner,password xxxxxx
DISCARDFILE ./discard/rep_demo.txt

map user01.test01 ,target ggs_owner.test01;

add replicat rep_demo,exttrail /data/ogg/dirdat/rd,begin now,checkpointtable ggs_owner.checkpointtab

将定义文件传送过来

scp oracle@xxx.xxx.xxx.xxx:/data/ogg/dirdef/defgen_postgres.prm /data/ogg/dirdef

开启进程并测试

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章