一、简介 数据库数据迁移平台KDTS为用户提供 Oracle、MySQL、SQLServer、PostgreSQL、KingbaseES数据库数据迁移到KingbaseES数据库的数据迁移工具。1、源端数据库版本支持1.#Oracle查看版本SQL语句select* fromv$version;2.#MySQL查看版本SQL语句selectversion;3.#SQLServer查看版本SQL语句selectversion;4.#PostgreSQL查看版本SQL语句selectversion;5.#DM查看版本SQL语句达梦数据库select* fromv$version;select* fromv$instance;6.#Gbase查看版本SQL语句南大通用select* fromv$version;7.#DB2查看版本SQL语句selectservice_level from sysibmadm.env_inst_info8.#OSCAR查看版本SQL语句神州通用selectversion();9.#KingbaseES 查看版本SQL语句selectversion();2、源端数据库迁移对象支持3、目标数据库版本支持4、系统版本说明KDTS数据库迁移工具分为BS版通过浏览器可视化界面方式设置配置项完成数据迁移。SHELL版手动修改配置文件的方式。下面是应用场景堡垒机通过此方式访问主机远程终端访问通过此方式访问主机系统未安装图形化界面通过此方式访问主机注意专用机只提供SHELL版。二、系统部署1、准备工作在迁移过程中需要一定量的内存作为中转缓存一定量的磁盘空间用于存储日志、脚本、报告等。1.#CPU1根据CPU架构类型(X86架构)和操作系统选择匹配的JDK2根据计算机CPU的核心数/线程数、可用内存并兼顾源库和目标库服务器的性能及负载情况给迁移程序规划和设置合理并行度以最大化提高数据迁移效率。2.#内存启动脚本bin/startup.sh 或 startup.bat会自动根据计算机的可用内存自动计算分配给迁移程序 Java 虚拟机内存可用内存的三分之二如果条件允许可适当手动增大分配给迁移程序的 JVM 内存修改启动脚本中的 JAVA_MEMORY。3.#磁盘应预留足够的磁盘空间500MB 以上取决于迁移的对象和数据的多少给迁移程序多次迁移时应注意清理过时的内容logs 和 results 目录。2、BS版部署2.1 迁移程序说明#BS版在数据库安装后的/安装目录/ClientTools/guitools/KDts/KDTS-WEB/目录下[kingbasenode1 KDTS-WEB]$pwd/KingbaseES/V9/ClientTools/guitools/KDts/KDTS-WEB[kingbasenode1 KDTS-WEB]$ls-trladrivers数据库连接驱动 lib程序包 bin启动脚本 conf配置文件 web页面文件 jdkJDK目录2.2 JDK迁移程序需要 JDK11 及以上的版本如果计算机中已有可用的 JDK配置迁移程序启动脚本bin/startup.sh或 startup.bat中 JAVA_PATH 即可。如果没有可从 OpenJDK 网站 https://jdk.java.net/archive/ 上下载与计算机操作系统和 CPU 架构相匹配的版本如 Liunx/AArch64、Linux/x64、Windows/x64 等然后将 JDK 安装包解压为 jdk 目录。1. 应使用解压版本的 JDK也不要把 JDK 设置到系统环境变量里以免影响计算机上的其它应用。2. 下载时应选择最新更新的 JDK 版本例如在下载页面上 Open JDK11有“11 GA(build1128)、11.0.1(build11.0.113)、11.0.2(build11.0.29)”等3个版本应下载11.0.2。2.3 启动命令迁移程序的启动脚本在 bin 目录下Linux 平台为 startup.shWindows 平台为 startup.bat。1.配置启动脚本1.#设置JAVA_PATH如果 JDK 没有安装在 jdk 目录将如下的“JAVA_PATH”配置为实际的 JDK 安装目录。 1Linux 平台startup.sh#JAVA 路径JAVA_PATH${BASE_PATH}/jdk2Windows 平台startup.bat rem JAVA 路径setJAVA_PATH%BASE_PATH%/jdk2.#设置JAVA虚拟机内存系统会根据服务器可用内存自动调整 Java 虚拟机内存如果需要手动调整将启动脚本中的 JAVA_MEMORY参数前的注释去掉修改为调整值即可。设置内存Linux平台startup.sh# 如果需要手动设置把下面的注释#去掉后设置即可#JAVA_MEMORY18G## JVM 参数设置#JAVA_OPT -server -Dfile.encodingUTF-8 -Djava.awt.headlesstrue -Djava.net.preferIPv4Stacktrue -Dcache_enabletrue -Dconfig.path${CONFIG_DIR}-Djavax.xml.parsers.SAXParserFactorycom.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl --add-opens java.base/jdk.internal.loaderALL-UNNAMED --add-opens jdk.zipfs/jdk.nio.zipfsALL-UNNAMED --add-opens java.base/java.netALL-UNNAMED --add-opens java.base/java.lang.invokeALL-UNNAMED -Djava.security.properties./lib/enableLegacyTLS.security -Duser.countryCN -Duser.languagezh -Djsse.enableCBCProtectionfalse -Dthread.jvmSize${JVM_SIZE}-Xms${JAVA_MEMORY}-Xmx${JAVA_MEMORY}设置内存Windows 平台startup.batrem 如果需要手动设置把下面的注释rem去掉即可 remsetJAVA_MEMORY13G remrem JVM 参数设置 remsetJAVA_OPT-server -Dfile.encodingUTF-8 -Djava.awt.headlesstrue -Djava.net.preferIPv4Stacktrue - Dcache_enabletruesetJAVA_OPT%JAVA_OPT% -Dconfig.path^%CONFIG_DIR%^ -Dlog.path^%LOG_DIR%^ -Djavax.xml.parsers. SAXParserFactorycom.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security. properties./conf/enableLegacyTLS.security -Duser.countryCN -Duser.languagezh -Djsse. enableCBCProtectionfalsesetJAVA_OPT%JAVA_OPT% --add-opens java.base/jdk.internal.loaderALL-UNNAMED --add-opens jdk.zipfs/ jdk.nio.zipfsALL-UNNAMED --add-opens java.base/java.netALL-UNNAMED --add-opens java.base/java.lang. invokeALL-UNNAMEDsetJAVA_OPT%JAVA_OPT% -XX:UseG1GC -XX:G1ReservePercent20 -XX:UseCompressedOops -XX: UseCompressedClassPointers -XX:G1HeapRegionSize8M -XX:SegmentedCodeCache -XX:PrintCommandLineFlags -XX:ExplicitGCInvokesConcurrentsetJAVA_OPT%JAVA_OPT% -Xms%JAVA_MEMORY% -Xmx%JAVA_MEMORY%2.执行启动脚本#Linux平台/安装目录/ClientTools/guitools/KDts/KDTS-WEB/bin/startup.sh#Windows平台startup.bat注意1.#Linux平台启动后程序在后台运行如果需要查看运行日志可以使用tail命令查看此命令在你执行完startup.sh后自动会有tail-f../logs/kdts-app-console_2025-05-26_14-51-40.log2.#如果需要停止行中的程序可以执行shutdown.sh2.4 访问使用谷歌浏览器进行访问访问地址http://localhost:54523/默认用户名及密码kingbase / kingbase会话保存策略会话保存时间为一天2.5 国际化#执行启动脚本时默认启动语言为中文如果是英文环境需要进行指定命令如下:# 指定中文环境-Duser.countryCN-Duser.languagezh# 指定英文环境-Duser.countryUS-Duser.languageen3、SHELL版部署3.1 迁移程序说明[kingbasenode1 KDTS-CLI]$pwd/KingbaseES/V9/ClientTools/guitools/KDts/KDTS-CLI[kingbasenode1 KDTS-CLI]$lsbin启动脚本 conf配置文件包括 manual_script手工脚本、mapping_rule映射规则等子目录详见 readme.md drivers数据库连接驱动注意不同版本驱动的存放目录差异详见 readme.md jdkJDK目录 lib程序包 logs运行日志 results结果报告 version版本查看脚本3.2 JDK参考BS版部署3.3 启动命令迁移程序的启动脚本在 bin 目录下Linux 平台为 startup.shWindows 平台为 startup.bat。1.配置启动脚本1.#设置JAVA_PATH如果 JDK 没有安装在 jdk 目录将如下的“JAVA_PATH”配置为实际的 JDK 安装目录。 1Linux 平台startup.sh#JAVA 路径JAVA_PATH${BASE_PATH}/jdk2Windows 平台startup.bat rem JAVA 路径setJAVA_PATH%BASE_PATH%/jdk2.#设置JAVA虚拟机内存系统会根据服务器可用内存自动调整 Java 虚拟机内存如果需要手动调整将启动脚本中的 JAVA_MEMORY参数前的注释去掉修改为调整值即可。设置内存Linux平台startup.sh# 如果需要手动设置把下面两行的注释#去掉后设置#JAVA_MEMORY12G## JVM 参数设置#KDTS_JAVA_OPT -server -Dfile.encodingUTF-8 -Djava.awt.headlesstrue -Dcache_enabletrue -Dconfig.path${CONFIG_DIR}-Dloader.path${LIB_DIR}-Dlog.path${LOG_DIR}-Dlogback.configurationFile${LOG_CONFIG_FILE}-Dtask.name${NOW_STR}-Djavax.xml.parsers.SAXParserFactorycom.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security.properties./conf/enableLegacyTLS.security -Djsse.enableCBCProtectionfalse --add-opens java.base/jdk.internal.loaderALL-UNNAMED --add-opens jdk.zipfs/jdk.nio.zipfsALL-UNNAMED --add-opens java.base/java.netALL-UNNAMED --add-opens java.base/java.lang.invokeALL-UNNAMED -Xms${JAVA_MEMORY}-Xmx${JAVA_MEMORY}设置内存Windows 平台startup.batrem 如果需要手动设置把下面两行的注释rem去掉即可 remsetJAVA_MEMORY6G remrem JVM 参数设置 remsetJAVA_OPT-server -Dfile.encodingUTF-8 -Djava.awt.headlesstrue -Dcache_enabletruesetJAVA_OPT%JAVA_OPT% -Dconfig.path^%CONFIG_DIR%^ -Dloader.path^%LIB_DIR%^ -Dlog.path^%LOG_ DIR%^ -Dlogback.configurationFile^%LOG_CONFIG_FILE%^ -Dtask.name%NOW_STR% -Djavax.xml.parsers. SAXParserFactorycom.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security. properties./conf/enableLegacyTLS.security -Djsse.enableCBCProtectionfalsesetJAVA_OPT%JAVA_OPT% --add-opens java.base/jdk.internal.loaderALL-UNNAMED --add-opens jdk.zipfs/ jdk.nio.zipfsALL-UNNAMED --add-opens java.base/java.netALL-UNNAMED --add-opens java.base/java.lang. invokeALL-UNNAMEDsetJAVA_OPT%JAVA_OPT% -XX:UseG1GC -XX:G1ReservePercent20 -XX:UseCompressedOops -XX: UseCompressedClassPointers -XX:G1HeapRegionSize8M -XX:SegmentedCodeCache -XX: ExplicitGCInvokesConcurrentsetJAVA_OPT%JAVA_OPT% -Xms%JAVA_MEMORY% -Xmx%JAVA_MEMORY%2.执行启动脚本#Linux平台/安装目录/ClientTools/guitools/KDts/KDTS-WEB/bin/startup.sh#Windows平台startup.bat注意1.#Linux平台启动后程序在后台运行如果需要查看运行日志可以使用tail命令查看此命令在你执行完startup.sh后自动会有tail-f../logs/kdts-app-console_2025-05-26_14-51-40.log2.#如果需要停止行中的程序可以执行shutdown.sh 2.1.1-1、KDTS简介与系统部署
一、简介 数据库数据迁移平台KDTS为用户提供 Oracle、MySQL、SQLServer、PostgreSQL、KingbaseES数据库数据迁移到KingbaseES数据库的数据迁移工具。1、源端数据库版本支持1.#Oracle查看版本SQL语句select* fromv$version;2.#MySQL查看版本SQL语句selectversion;3.#SQLServer查看版本SQL语句selectversion;4.#PostgreSQL查看版本SQL语句selectversion;5.#DM查看版本SQL语句达梦数据库select* fromv$version;select* fromv$instance;6.#Gbase查看版本SQL语句南大通用select* fromv$version;7.#DB2查看版本SQL语句selectservice_level from sysibmadm.env_inst_info8.#OSCAR查看版本SQL语句神州通用selectversion();9.#KingbaseES 查看版本SQL语句selectversion();2、源端数据库迁移对象支持3、目标数据库版本支持4、系统版本说明KDTS数据库迁移工具分为BS版通过浏览器可视化界面方式设置配置项完成数据迁移。SHELL版手动修改配置文件的方式。下面是应用场景堡垒机通过此方式访问主机远程终端访问通过此方式访问主机系统未安装图形化界面通过此方式访问主机注意专用机只提供SHELL版。二、系统部署1、准备工作在迁移过程中需要一定量的内存作为中转缓存一定量的磁盘空间用于存储日志、脚本、报告等。1.#CPU1根据CPU架构类型(X86架构)和操作系统选择匹配的JDK2根据计算机CPU的核心数/线程数、可用内存并兼顾源库和目标库服务器的性能及负载情况给迁移程序规划和设置合理并行度以最大化提高数据迁移效率。2.#内存启动脚本bin/startup.sh 或 startup.bat会自动根据计算机的可用内存自动计算分配给迁移程序 Java 虚拟机内存可用内存的三分之二如果条件允许可适当手动增大分配给迁移程序的 JVM 内存修改启动脚本中的 JAVA_MEMORY。3.#磁盘应预留足够的磁盘空间500MB 以上取决于迁移的对象和数据的多少给迁移程序多次迁移时应注意清理过时的内容logs 和 results 目录。2、BS版部署2.1 迁移程序说明#BS版在数据库安装后的/安装目录/ClientTools/guitools/KDts/KDTS-WEB/目录下[kingbasenode1 KDTS-WEB]$pwd/KingbaseES/V9/ClientTools/guitools/KDts/KDTS-WEB[kingbasenode1 KDTS-WEB]$ls-trladrivers数据库连接驱动 lib程序包 bin启动脚本 conf配置文件 web页面文件 jdkJDK目录2.2 JDK迁移程序需要 JDK11 及以上的版本如果计算机中已有可用的 JDK配置迁移程序启动脚本bin/startup.sh或 startup.bat中 JAVA_PATH 即可。如果没有可从 OpenJDK 网站 https://jdk.java.net/archive/ 上下载与计算机操作系统和 CPU 架构相匹配的版本如 Liunx/AArch64、Linux/x64、Windows/x64 等然后将 JDK 安装包解压为 jdk 目录。1. 应使用解压版本的 JDK也不要把 JDK 设置到系统环境变量里以免影响计算机上的其它应用。2. 下载时应选择最新更新的 JDK 版本例如在下载页面上 Open JDK11有“11 GA(build1128)、11.0.1(build11.0.113)、11.0.2(build11.0.29)”等3个版本应下载11.0.2。2.3 启动命令迁移程序的启动脚本在 bin 目录下Linux 平台为 startup.shWindows 平台为 startup.bat。1.配置启动脚本1.#设置JAVA_PATH如果 JDK 没有安装在 jdk 目录将如下的“JAVA_PATH”配置为实际的 JDK 安装目录。 1Linux 平台startup.sh#JAVA 路径JAVA_PATH${BASE_PATH}/jdk2Windows 平台startup.bat rem JAVA 路径setJAVA_PATH%BASE_PATH%/jdk2.#设置JAVA虚拟机内存系统会根据服务器可用内存自动调整 Java 虚拟机内存如果需要手动调整将启动脚本中的 JAVA_MEMORY参数前的注释去掉修改为调整值即可。设置内存Linux平台startup.sh# 如果需要手动设置把下面的注释#去掉后设置即可#JAVA_MEMORY18G## JVM 参数设置#JAVA_OPT -server -Dfile.encodingUTF-8 -Djava.awt.headlesstrue -Djava.net.preferIPv4Stacktrue -Dcache_enabletrue -Dconfig.path${CONFIG_DIR}-Djavax.xml.parsers.SAXParserFactorycom.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl --add-opens java.base/jdk.internal.loaderALL-UNNAMED --add-opens jdk.zipfs/jdk.nio.zipfsALL-UNNAMED --add-opens java.base/java.netALL-UNNAMED --add-opens java.base/java.lang.invokeALL-UNNAMED -Djava.security.properties./lib/enableLegacyTLS.security -Duser.countryCN -Duser.languagezh -Djsse.enableCBCProtectionfalse -Dthread.jvmSize${JVM_SIZE}-Xms${JAVA_MEMORY}-Xmx${JAVA_MEMORY}设置内存Windows 平台startup.batrem 如果需要手动设置把下面的注释rem去掉即可 remsetJAVA_MEMORY13G remrem JVM 参数设置 remsetJAVA_OPT-server -Dfile.encodingUTF-8 -Djava.awt.headlesstrue -Djava.net.preferIPv4Stacktrue - Dcache_enabletruesetJAVA_OPT%JAVA_OPT% -Dconfig.path^%CONFIG_DIR%^ -Dlog.path^%LOG_DIR%^ -Djavax.xml.parsers. SAXParserFactorycom.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security. properties./conf/enableLegacyTLS.security -Duser.countryCN -Duser.languagezh -Djsse. enableCBCProtectionfalsesetJAVA_OPT%JAVA_OPT% --add-opens java.base/jdk.internal.loaderALL-UNNAMED --add-opens jdk.zipfs/ jdk.nio.zipfsALL-UNNAMED --add-opens java.base/java.netALL-UNNAMED --add-opens java.base/java.lang. invokeALL-UNNAMEDsetJAVA_OPT%JAVA_OPT% -XX:UseG1GC -XX:G1ReservePercent20 -XX:UseCompressedOops -XX: UseCompressedClassPointers -XX:G1HeapRegionSize8M -XX:SegmentedCodeCache -XX:PrintCommandLineFlags -XX:ExplicitGCInvokesConcurrentsetJAVA_OPT%JAVA_OPT% -Xms%JAVA_MEMORY% -Xmx%JAVA_MEMORY%2.执行启动脚本#Linux平台/安装目录/ClientTools/guitools/KDts/KDTS-WEB/bin/startup.sh#Windows平台startup.bat注意1.#Linux平台启动后程序在后台运行如果需要查看运行日志可以使用tail命令查看此命令在你执行完startup.sh后自动会有tail-f../logs/kdts-app-console_2025-05-26_14-51-40.log2.#如果需要停止行中的程序可以执行shutdown.sh2.4 访问使用谷歌浏览器进行访问访问地址http://localhost:54523/默认用户名及密码kingbase / kingbase会话保存策略会话保存时间为一天2.5 国际化#执行启动脚本时默认启动语言为中文如果是英文环境需要进行指定命令如下:# 指定中文环境-Duser.countryCN-Duser.languagezh# 指定英文环境-Duser.countryUS-Duser.languageen3、SHELL版部署3.1 迁移程序说明[kingbasenode1 KDTS-CLI]$pwd/KingbaseES/V9/ClientTools/guitools/KDts/KDTS-CLI[kingbasenode1 KDTS-CLI]$lsbin启动脚本 conf配置文件包括 manual_script手工脚本、mapping_rule映射规则等子目录详见 readme.md drivers数据库连接驱动注意不同版本驱动的存放目录差异详见 readme.md jdkJDK目录 lib程序包 logs运行日志 results结果报告 version版本查看脚本3.2 JDK参考BS版部署3.3 启动命令迁移程序的启动脚本在 bin 目录下Linux 平台为 startup.shWindows 平台为 startup.bat。1.配置启动脚本1.#设置JAVA_PATH如果 JDK 没有安装在 jdk 目录将如下的“JAVA_PATH”配置为实际的 JDK 安装目录。 1Linux 平台startup.sh#JAVA 路径JAVA_PATH${BASE_PATH}/jdk2Windows 平台startup.bat rem JAVA 路径setJAVA_PATH%BASE_PATH%/jdk2.#设置JAVA虚拟机内存系统会根据服务器可用内存自动调整 Java 虚拟机内存如果需要手动调整将启动脚本中的 JAVA_MEMORY参数前的注释去掉修改为调整值即可。设置内存Linux平台startup.sh# 如果需要手动设置把下面两行的注释#去掉后设置#JAVA_MEMORY12G## JVM 参数设置#KDTS_JAVA_OPT -server -Dfile.encodingUTF-8 -Djava.awt.headlesstrue -Dcache_enabletrue -Dconfig.path${CONFIG_DIR}-Dloader.path${LIB_DIR}-Dlog.path${LOG_DIR}-Dlogback.configurationFile${LOG_CONFIG_FILE}-Dtask.name${NOW_STR}-Djavax.xml.parsers.SAXParserFactorycom.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security.properties./conf/enableLegacyTLS.security -Djsse.enableCBCProtectionfalse --add-opens java.base/jdk.internal.loaderALL-UNNAMED --add-opens jdk.zipfs/jdk.nio.zipfsALL-UNNAMED --add-opens java.base/java.netALL-UNNAMED --add-opens java.base/java.lang.invokeALL-UNNAMED -Xms${JAVA_MEMORY}-Xmx${JAVA_MEMORY}设置内存Windows 平台startup.batrem 如果需要手动设置把下面两行的注释rem去掉即可 remsetJAVA_MEMORY6G remrem JVM 参数设置 remsetJAVA_OPT-server -Dfile.encodingUTF-8 -Djava.awt.headlesstrue -Dcache_enabletruesetJAVA_OPT%JAVA_OPT% -Dconfig.path^%CONFIG_DIR%^ -Dloader.path^%LIB_DIR%^ -Dlog.path^%LOG_ DIR%^ -Dlogback.configurationFile^%LOG_CONFIG_FILE%^ -Dtask.name%NOW_STR% -Djavax.xml.parsers. SAXParserFactorycom.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security. properties./conf/enableLegacyTLS.security -Djsse.enableCBCProtectionfalsesetJAVA_OPT%JAVA_OPT% --add-opens java.base/jdk.internal.loaderALL-UNNAMED --add-opens jdk.zipfs/ jdk.nio.zipfsALL-UNNAMED --add-opens java.base/java.netALL-UNNAMED --add-opens java.base/java.lang. invokeALL-UNNAMEDsetJAVA_OPT%JAVA_OPT% -XX:UseG1GC -XX:G1ReservePercent20 -XX:UseCompressedOops -XX: UseCompressedClassPointers -XX:G1HeapRegionSize8M -XX:SegmentedCodeCache -XX: ExplicitGCInvokesConcurrentsetJAVA_OPT%JAVA_OPT% -Xms%JAVA_MEMORY% -Xmx%JAVA_MEMORY%2.执行启动脚本#Linux平台/安装目录/ClientTools/guitools/KDts/KDTS-WEB/bin/startup.sh#Windows平台startup.bat注意1.#Linux平台启动后程序在后台运行如果需要查看运行日志可以使用tail命令查看此命令在你执行完startup.sh后自动会有tail-f../logs/kdts-app-console_2025-05-26_14-51-40.log2.#如果需要停止行中的程序可以执行shutdown.sh