Synball



TurboDX系列产品CDC功能源端数据库所需配置Oracle数据库（一）Oracle非容器数据库(Oracle 10g、Oracle 11g、Oracle 12c-19c)数据库系统管理员需要配置至少三个redo log日志文件，每个数据文件至少500M，以便日志文件能够保留更长时间不被循环覆盖。正式生产部署环境下，建议开启归档模式提高可靠性，并至少保留10天以上归档数据文件。数据库系统管理员登录启用最小补充日志，SQL命令：alter database add supplemental log data;Oracle CDC逻辑复制的每张表需要开启该表主键补全日志或者库级主键补全日志。(1) 启用库级主键补充日志，SQL命令：alter database add supplemental log data (Primary key) columns; (启用库级主键补充日志，对所有表生效)(2)只针对需要同步的表，开启该表的主键补充日志，SQL命令：alter table tableb_name add supplemental log data (primary key) columns;循环执行多次: alter system switch logfile;确保select * from v$log 里的所有日志文件都刷新过一遍，每次执行这个SQL后，等待10秒。建oracle用户，并赋予数据库用户读取数据库日志权限，赋权SQL命令如下：GRANT SELECT_CATALOG_ROLE TO [用户名];GRANT EXECUTE_CATALOG_ROLE TO [用户名];GRANT CREATE SESSION TO [用户名];GRANT SELECT ANY TRANSACTION TO [用户名];GRANT CONNECT TO [用户名];GRANT LOGMINING TO [用户名]; -- 此条权限仅对于 Oracle 12c/18c/19c 需要授权完，可以用第三方工具或运行SQL命令进行权限检查：select * from dba_sys_privs where GRANTEE=[用户名]如用户权限不是default role，可执行：ALTER USER [用户名] DEFAULT ROLE ALL; 如有对表空间的需求，如USERS，也需进行授权：ALTER USER [用户名] QUOTA UNLIMITED ON "USERS";赋予数据库用户需要交换的数据库表的读权限，SQL命令：grant select on [schema名].[表名] to [用户名];如需使用元数据目录和元数据分析模块，需授予连接用户analyze?any权限：grant?analyze?any?to?[用户名];?在正式部署环境下需要开启归档模式，步骤如下：以数据库系统管理员sys as sysdba登录SQL> shutdown immediate; 关闭数据库SQL> startup mount; 启动数据库到mount状态SQL> alter database archivelog; 启动归档模式SQL> alter database open;启动数据库SQL> alter system switch logfile;切换日志文件SQL> archive log list;检查归档日志是否开启（二）Oracle容器数据库(Oracle 12c-19c)数据库系统管理员需要配置至少三个redo log日志文件，每个数据文件至少500M，以便日志文件能够保留更长时间不被循环覆盖。正式生产部署环境下，建议开启归档模式提高可靠性，并至少保留10天以上归档数据文件。数据库系统管理员登录启用最小补充日志，SQL命令：alter database add supplemental log data;Oracle CDC逻辑复制的每张表需要开启该表主键补全日志或者库级主键补全日志。(1) 启用库级主键补充日志，SQL命令：alter database add supplemental log data (Primary key) columns; (启用库级主键补充日志，对所有表生效)(2)只针对需要同步的表，开启该表的主键补充日志，SQL命令：alter table tableb_name add supplemental log data (primary key) columns;循环执行多次: alter system switch logfile;确保select * from v$log 里的所有日志文件都刷新过一遍，每次执行这个SQL后，等待10秒。建oracle用户，必须是CDB的公共用户（common user），要求这个用户不能设置有任何VPD规则，并赋予数据库用户读取数据库日志权限。赋权SQL命令如下：GRANT SELECT_CATALOG_ROLE TO [用户名] CONTAINER=ALL;GRANT EXECUTE_CATALOG_ROLE TO [用户名] CONTAINER=ALL;GRANT CREATE SESSION TO [用户名] CONTAINER=ALL;GRANT SELECT ANY TRANSACTION TO [用户名] CONTAINER=ALL;GRANT CONNECT TO [用户名] CONTAINER=ALL;GRANT LOGMINING TO [用户名] CONTAINER=ALL; GRANT ALTER SESSION TO [用户名] CONTAINER=ALL;GRANT SET CONTAINER TO [用户名] CONTAINER=ALL;授权完，可以用第三方工具或运行SQL命令进行权限检查：select * from dba_sys_privs where GRANTEE=[用户名]如用户权限不是default role，可执行：ALTER USER [用户名] DEFAULT ROLE ALL; 如有对表空间的需求，如USERS，也需进行授权：ALTER USER [用户名] QUOTA UNLIMITED ON "USERS";赋予数据库用户需要交换的数据库表的读权限，SQL命令：grant select on [schema名].[表名] to [用户名];如需使用元数据目录和元数据分析模块，需授予连接用户analyze?any权限：grant?analyze?any?to?[用户名];?在正式部署环境下需要开启归档模式，步骤如下：以数据库系统管理员sys as sysdba登录SQL> shutdown immediate; 关闭数据库SQL> startup mount; 启动数据库到mount状态SQL> alter database archivelog; 启动归档模式SQL> alter database open;启动数据库SQL> alter system switch logfile;切换日志文件SQL> archive log list;检查归档日志是否开启MySQL数据库(支持MySql 5.x 以上版本)增量捕获功能需要修改MySQL配置文件（Linux为f，Windows为my.ini）,添加内容如下，然后重启数据库。[mysqld]log-bin=mysql-bin # 添加这一行binlog-format=ROW # 选择row模式server_id=1 # 配置mysql replication需要定义#GTID支持（5.6及以上版本添加如下三个参数）（单机无需开启gtid）gtid_mode=onenforce_gtid_consistency=1log_slave_updates=1赋予数据库用户binlog权限，SQL语句如下：grant REPLICATION SLAVE ON *.* TO '用户名' ;grant REPLICATION CLIENT ON *.* TO '用户名' ;MariaDB数据库(支持MariaDB 5.x 以上版本） 增量捕获功能需要修改 MariaDB配置文件在配置文件 /etc/f.d/f 中添加内容如下,然后重启数据库。[mysqld]log-bin=mysql-bin # 添加这一行binlog-format=ROW # 选择row模式server_id=1 # 配置mysql replaction需要定义binlog_annotate_row_events = true # 开启记录annotate事件赋予数据库用户binlog权限，SQL语句如下：grant REPLICATION SLAVE ON *.* TO '用户名' ;grant REPLICATION CLIENT ON *.* TO '用户名' ;SQLServer数据库(支持SQLServer 2008及以上的企业版)启动 “SQL Server 代理” 服务数据库系统管理员登录，启动对应库的增量捕获功能，SQL命令：EXEC [库名].SYS.SP_CDC_ENABLE_DB赋予数据库用户对应库的owner的权限use [库名]EXEC sp_grantdbaccess '用户名'EXEC sp_addrolemember 'db_owner', '用户名'设置保留触发增量数据的时间，超过时间的数据被将自动清除。显示原有配置时间（单位分钟）：EXEC sp_cdc_help_jobs更改数据保留时间(单位分钟)，例如要保留3天，就是 4320分钟，把下面第二条语句里的@retention设为4320：EXEC sys.sp_cdc_add_job @job_type = N'cleanup'EXEC sys.sp_cdc_change_job @job_type = N'cleanup', @retention=4320重启一下作业，以使设置生效。先停用作业：EXEC sys.sp_cdc_stop_job N'cleanup'再启用作业：EXEC sys.sp_cdc_start_job N'cleanup'如果SQL重启作业不成功，可以到SQL Server Management Studio去右键对应的作业禁用再启用就可以了。重启库CDC，命令如下：EXEC [库名].SYS.SP_CDC_DISABLE_DBEXEC [库名].SYS.SP_CDC_ENABLE_DBPostgreSQL(Kingbase、openGauss)数据库(支持PostgreSQL 9.4以上版本)增量捕获功能需要修改 PostgreSQL配置文件。 1) 修改配置文件data/postgresql.conf（或kingbase.conf等）listen_addresses = '*' # 设置允许监听地址，如果要指定IP, 必须包含TurboDX所在服务器IPmax_connections = 100 # 设置数据库最大连接数，每个任务至少使用两个以上的连接，所以配置尽可能大一点wal_level = logical # CDC只支持logical模式max_wal_senders = 10 # 设置可以最多有几个流复制连接，与任务数大致相当，最少为1wal_keep_segments = 512 # 设置流复制保留的最多xlog数目wal_sender_timeout = 0 # 设置流复制主机发送数据的超时时间，0表示禁用max_replication_slots = 10 # 设置可以最多有几个流复制槽，跟max_wal_senders一样，与任务数大致相当，最少为1其他参数详见： HYPERLINK "" 2) 修改配置文件data/pg_hba.conf （注意以下配置必须指定或包含TurboDX所在服务器IP）# TYPE DATABASE USER ADDRESS METHOD# IPv4 local connections:host all all 192.168.1.8/24 trust# replication privilege.host replication all 192.168.1.8/24 trust详见： HYPERLINK "" 连接用户必须有LOGIN和REPLICATION权限更改用户权限语句如：ALTER USER '用户名' LOGIN REPLICATION;补全日志，如果想获得完整的数据或防止无主键时无法识别删除事件，则需要补全日志。ALTER TABLE '表名' REPLICA IDENTITY FULL;Informix（GBase 8t、GBase 8s、xigemaDB）数据库(支持Informix 11以上版本)创建Informix CDC库在informix dbaccess工具中以用户 informix 身份从 $INFORMIXDIR/etc 目录运行脚本syscdcv1.sql抓取的数据库需要开启日志模式创建时指定数据库日志模式： CREATE DATABASE database-name [WITH {[BUFFERED] LOG | LOG MODE ANSI}] 其中WITH LOG建立非缓冲日志模式数据库，WITH BUFFERED LOG为建立缓冲日志模式数据库。CDC连接用户对syscdcv1 库需要DBA权限，对监控的库需要CONNECT权限database ‘数据库名’;grant CONNECT TO CDC用户;database syscdcv1;grant dba TO CDC用户;select * from sysusers; -- 查询用户权限对已有数据库可通过select * from sysmaster:informix.sysdatabases查看日志模式，如果需要修改数据库日志模式，请参考informix的ontape或ondblog改变日志模式的使用方法。Informix作为目标，需要对目标数据库做以下配置1、创建时指定数据库日志模式： CREATE DATABASE database-name [WITH {[BUFFERED] LOG | LOG MODE ANSI}] 其中WITH LOG建立非缓冲日志模式数据库，WITH BUFFERED LOG为建立缓冲日志模式数据库。2、已创建的数据库，可以修改数据库日志模式：ontape -s -B -dbname 修改为buffer_logDM达梦数据库（支持DM7、DM8版本）需要开启达梦数据库为归档模式，正式生产部署环境下建议至少保留10天以上归档数据文件。数据库系统管理员sysdba登录alter database mount;alter database add archivelog 'DEST=F:\dmdbms\archivelog, TYPE=local, FILE_SIZE=128, space_limit=1024';-- DEST为归档文件保存目录，space_limit为归档文件空间限制，单位MBalter database archivelog; --将数据库设为归档模式alter database open;select arch_mode from v$database; --查询是否开启成功SP_CREATE_SYSTEM_PACKAGES (1); -- 调用系统过程创建系统包开启记录物理逻辑日志功能(1)修改dm.ini中的参数，如下：ARCH_INI = 1RLOG_APPEND_LOGIC = 1CKPT_INTERVAL = 10注意：CKPT_INTERVAL参数会影响数据库日志归档刷新及性能，在生产环境请咨询数据库管理员。(2)重启数据库服务赋予用户读取数据库日志权限，SQL命令grant SELECT ANY TABLE to "XXX"; -- XXX为数据库连接用户名MongoDB数据库1、修改配置文件（linux里是mongod.conf，win里是mongod.cfg）vi /etc/mongod.confreplication: oplogSizeMB: 50 replSetName: rs2、修改完后，重启mongo服务。systemctl restart mongod.service3、登录mongo，初始化mongoshow dbsrs.initiate({ _id: "副本集名称", members: [{_id:0,host:" 服务器的IP : Mongo的端口号 "}]})e.g：rs.initiate({ _id: "rs", members: [{_id:0,host:"192.168.1.81:27017"}]})4、初始化完成后，在local下会有oplog.rs出现。其他TurboDX v5.0以上版本支持IBM DB2 和SAP Hana CDC，请咨询公司了解详细配置要求。对目标端数据库的用户，需要赋予对表select、insert、update、delete权限，以及创建表的权限。 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download