简介这是一套基于KettlePentaho Data Integration构建的Web版数据集成平台源码包面向数据工程师、ETL开发者及希望降低数据采集门槛的分析人员。它把传统桌面端Kettle的转换与作业能力搬到浏览器中通过拖拽式可视化界面完成数据源接入、清洗转换与任务调度解决非技术人员难以使用ETL工具、团队数据集难以共享复用的问题。压缩包共1645个文件约160.93MB以912个Java源码、163个properties配置、123个xml、94个css与74个vue前端组件为主另含ktr转换文件、Dockerfile、yaml部署配置及少量rpm、sh脚本覆盖前后端与容器化部署全链路。资源已有727人学习下载读者可借此研究Kettle如何被封装为Web服务学习数据源管理、图形化流程设计、执行监控、版本控制与权限角色等模块的实现思路并基于现有目录结构进行二次开发与定制。1. 拖拽就能跑 ETL这个基于 Kettle 的 Web 数据集成平台到底能省多少事如果你做过数据采集大概率经历过这种场面业务方丢来一个 Excel要求清洗后入库还得每天定时跑。桌面版 Kettle 的 Spoon 确实能拖拽搞定但装客户端、配 JDBC 驱动、调环境变量这一套下来非技术同事直接劝退。这个基于 Kettle 实现的 Web 版数据集成平台核心价值就一句话——把 Spoon 的拖拽画布搬进浏览器让数据采集和数据集管理变成打开网页就能干的事。它适合三类人需要快速搭 ETL 流程的数据工程师、不想装客户端的分析师以及想把数据集成能力嵌入自己系统的开发者。源码包>// 画布状态结构示意基于常见拖拽实现推断 const canvasState { nodes: [ { id: node_1, type: TableInput, // 对应 Kettle 的“表输入”步骤 name: 读取订单表, config: { connection: mysql_order, // 数据源连接名 sql: SELECT * FROM orders WHERE dt ?, variables: [${ETL_DATE}] // 支持变量替换 } }, { id: node_2, type: TableOutput, // 对应 Kettle 的“表输出”步骤 name: 写入结果表, config: { connection: mysql_dw, table: dw_orders, batchSize: 1000 // 批量提交条数 } } ], edges: [ { from: node_1, to: node_2 } // 节点间的跳线 ] };这段结构里type字段必须和 Kettle 的步骤插件名对上否则后端序列化时会找不到对应组件。config里的connection不是数据库连接串而是平台里预先配好的数据源名称这样设计是为了避免在画布上暴露密码。batchSize这类参数直接透传给 Kettle 的步骤配置改大了能提升写入吞吐但事务日志也会膨胀后面避坑章节会细说。前端还有一个容易忽略的点拖拽回弹。有些浏览器里拖拽元素松手后会弹回原位通常是dragend事件里没有正确更新状态或者dragover没阻止默认行为。源码里如果用了 HTML5 原生拖拽检查dragover.prevent和drop的绑定如果用第三方库看版本是否兼容当前浏览器。2.2 后端调度层把画布 JSON 翻译成 Kettle 转换后端拿到前端传来的 JSON 后要做三件事校验节点连接是否合法、生成 Kettle 的.ktr或.kjb文件、调用 Kettle 引擎执行。mvnw.cmd的存在说明构建走 Mavenmysqld.cnf暗示元数据库用的是 MySQL。平台自身的用户、权限、数据源配置、转换版本这些元数据大概率存在 MySQL 里而实际的数据采集任务由 Kettle 引擎跑。生成 Kettle 转换文件这一步是关键。Kettle 的.ktr是 XML 格式每个步骤对应一个step元素跳线对应hop。后端需要把画布 JSON 里的节点类型映射到 Kettle 的步骤插件 ID比如TableInput对应TableInputTableOutput对应TableOutput。参数名也要对齐Kettle 的 XML 里字段名是大小写敏感的。// 后端生成 Kettle 转换 XML 的简化逻辑Java 伪代码 public String generateKtr(CanvasState state) { StringBuilder xml new StringBuilder(); xml.append(transformation); xml.append(infoname).append(state.getName()).append(/name/info); // 遍历画布节点生成 step 元素 for (Node node : state.getNodes()) { xml.append(step); xml.append(name).append(node.getName()).append(/name); xml.append(type).append(node.getType()).append(/type); // 将 config 中的参数逐个写入 XML for (Map.EntryString, String entry : node.getConfig().entrySet()) { xml.append().append(entry.getKey()).append() .append(entry.getValue()) .append(/).append(entry.getKey()).append(); } xml.append(/step); } // 遍历边生成 hop 元素 for (Edge edge : state.getEdges()) { xml.append(hop); xml.append(from).append(edge.getFrom()).append(/from); xml.append(to).append(edge.getTo()).append(/to); xml.append(enabledY/enabled); xml.append(/hop); } xml.append(/transformation); return xml.toString(); }这段逻辑里enabledY/enabled控制跳线是否启用调试时可以把某条线设为N来隔离问题节点。生成的 XML 要写到临时目录再通过 Kettle 的TransMeta和Trans类加载执行。执行时建议用独立线程池避免一个长任务阻塞 Web 请求。如果平台支持定时调度底层通常用 Quartz 或 Spring Schedule 触发每次触发重新生成 XML 再执行保证画布改动即时生效。2.3 数据源与数据集管理连接池和元数据表怎么设计平台要支持多种数据源关系型数据库、文件系统、Web 服务都得能接。源码里mysqld.cnf只是 MySQL 服务端配置平台自身的数据源管理模块需要维护一张连接信息表。常见设计是datasource表存连接名、类型、JDBC URL、用户名、加密后的密码dataset表存数据集名称、来源转换 ID、目标表名、字段映射关系。连接池是另一个容易翻车的地方。Kettle 引擎每次执行转换都会创建数据库连接如果不在平台层做池化高频调度时数据库连接数会飙升。常见做法是在后端用 HikariCP 或 Druid 管理连接池Kettle 步骤里引用池化后的数据源。但 Kettle 的“表输入”步骤默认自己管理连接要让它走池化数据源需要在 Kettle 的kettle.properties里配置连接池参数或者用“数据库连接”步骤显式指定。-- 平台元数据表设计参考MySQL CREATE TABLE datasource ( id BIGINT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(64) NOT NULL UNIQUE COMMENT 连接名画布上引用, db_type VARCHAR(32) NOT NULL COMMENT mysql/postgresql/oracle, jdbc_url VARCHAR(512) NOT NULL, username VARCHAR(128) NOT NULL, password_enc VARCHAR(256) NOT NULL COMMENT 加密存储, created_at DATETIME DEFAULT CURRENT_TIMESTAMP ) ENGINEInnoDB DEFAULT CHARSETutf8mb4; CREATE TABLE dataset ( id BIGINT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(128) NOT NULL, trans_id BIGINT NOT NULL COMMENT 关联的转换ID, target_table VARCHAR(128) COMMENT 输出目标表, field_mapping JSON COMMENT 字段映射关系, created_at DATETIME DEFAULT CURRENT_TIMESTAMP ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;password_enc字段必须加密存储常见做法是用 AES 对称加密密钥放在环境变量里而不是代码里。field_mapping用 JSON 类型存方便前端动态渲染字段对应关系。数据集和转换的关联用trans_id这样同一个转换可以产出多个数据集改转换时所有关联数据集自动生效。3. 从零跑起来环境准备、编译打包与第一个数据采集任务源码包能跑通和能跑稳是两回事。这一章按实际部署顺序走一遍把环境依赖、编译命令、启动参数和第一个任务的配置细节都落到可复现的步骤上。中间涉及 Kettle 引擎的初始化这是最容易卡住的地方。3.1 环境依赖清单与版本对齐先确认本机环境。后端是 Java 系mvnw.cmd说明至少需要 JDK 8 或 11具体看pom.xml里的maven.compiler.source。MySQL 用于存元数据mysqld.cnf是服务端配置模板需要根据本机路径调整datadir和socket。前端需要 Node.js.babelrc说明构建链里有 Babel通常配合 Webpack 或 Vite。依赖项建议版本用途检查命令JDK8 或 11后端编译运行java -versionMaven3.6依赖管理与打包mvn -v或./mvnw -vMySQL5.7 或 8.0元数据存储mysql --versionNode.js14 或 16前端构建node -vKettle8.x 或 9.xETL 引擎检查lib/下是否有kettle-engineKettle 引擎的依赖需要单独引入。源码包里不一定包含完整的 Kettle 发行版通常是在pom.xml里引pentaho-kettle的 Maven 坐标或者把 Kettle 的lib目录作为本地依赖。如果编译时报ClassNotFoundException: org.pentaho.di.trans.Trans就是 Kettle 依赖没配好。3.2 编译打包与数据库初始化先建库。用 MySQL 客户端连上创建平台元数据库字符集用utf8mb4否则中文任务名会乱码。# 创建元数据库 mysql -u root -p -e CREATE DATABASE kettle_web DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; # 导入表结构假设源码里有 schema.sql mysql -u root -p kettle_web src/main/resources/schema.sql # 修改 mysqld.cnf 中的关键参数如果要用源码里的配置模板 # datadir/var/lib/mysql # socket/var/lib/mysql/mysql.sock # character-set-serverutf8mb4然后编译后端。Windows 下用mvnw.cmdLinux 或 Mac 下用./mvnw。第一次编译会下载大量依赖建议配好 Maven 镜像。# Linux/Mac 编译打包跳过测试加快速度 ./mvnw clean package -DskipTests # Windows 下 mvnw.cmd clean package -DskipTests # 打包完成后 target 目录下会有可执行 jar java -jar target/data-integration-1.0.jar --spring.profiles.activeprod启动参数里--spring.profiles.activeprod会加载生产配置数据库连接、Kettle 仓库路径这些都在对应配置文件里。如果启动报数据库连接失败检查application-prod.yml里的spring.datasource.url是否指向刚建的kettle_web库。前端构建单独走。进入前端目录装依赖再打包。# 前端构建 npm install npm run build # 开发模式启动方便调试拖拽交互 npm run dev构建产物通常输出到dist目录后端配置里指定静态资源路径指向它。开发模式下前端跑在 3000 或 8080 端口后端跑在 8081需要配代理解决跨域。3.3 配置第一个数据采集任务表输入到表输出环境跑起来后登录平台先加数据源。点“数据源管理”新建一个 MySQL 连接填 JDBC URL、用户名、密码。测试连接通过后保存。这一步的密码会加密存到datasource表。然后新建转换。从左侧组件面板拖一个“表输入”到画布双击配置选刚建的数据源写 SQL。SQL 里可以用${变量名}引用平台变量比如${ETL_DATE}执行时动态替换。-- 表输入步骤的 SQL 示例 SELECT order_id, customer_id, order_amount, order_date FROM orders WHERE order_date ${ETL_DATE} AND order_amount 0再拖一个“表输出”到画布配置目标数据源和目标表做字段映射。把“表输入”的跳线连到“表输出”。点执行平台会生成.ktr文件并调 Kettle 引擎跑。执行时看日志。如果报“字段未找到”检查 SQL 里的字段名和表输出的字段映射是否一致。如果报“连接失败”检查数据源配置里的 JDBC URL 是否带了useSSLfalse和serverTimezoneAsia/ShanghaiMySQL 8 不配时区会连不上。4. 避坑排查Kettle Web 化路上最容易翻车的五个地方这一章全是血泪经验。Web 版 Kettle 和桌面版 Spoon 的差异在环境、依赖、并发、编码、权限这五个维度上体现得最明显。每条按现象、原因、解决来写照着排查能省不少时间。4.1 现象转换在 Spoon 里能跑Web 平台执行报“找不到步骤插件”原因Kettle 的步骤插件是运行时动态加载的桌面版 Spoon 启动时会扫描plugins目录Web 平台如果只引了kettle-engine核心包没把插件目录配进去就会缺步骤类型。常见缺失的是“表输入”“表输出”之外的扩展步骤比如“JSON 输入”“Excel 输出”。解决在平台启动参数里指定 Kettle 的插件目录或者把需要的插件 jar 显式加到 classpath。检查KETTLE_HOME环境变量是否指向完整的 Kettle 安装目录。如果用的是 Maven 依赖确认pentaho-kettle的版本和插件版本一致混用版本会出兼容问题。4.2 现象定时任务跑着跑着数据库连接数满了新任务全部阻塞原因Kettle 每个转换执行时默认创建独立数据库连接任务并发高时连接数线性增长。平台层如果没做连接池MySQL 的max_connections很快被打满。另一个隐蔽原因是转换执行完没释放连接Kettle 的Trans对象没调cleanup()。解决在 Kettle 的kettle.properties里配置连接池把KETTLE_DB_CONNECTION_POOLING设为true并限制最大连接数。平台层用 HikariCP 管理元数据库连接和 Kettle 的业务连接分开。定时任务加并发上限比如用信号量控制同时执行的转换数不超过 5 个。4.3 现象中文任务名或字段名在 Web 端显示正常写入数据库后变成乱码原因字符集链路没对齐。前端页面用 UTF-8后端 Java 文件编码用 UTF-8但 MySQL 连接串没指定characterEncodingutf8或者数据库表建的时候用了latin1。Kettle 生成.ktr文件时如果没指定编码XML 声明里默认是 UTF-8但写入文件时用了系统默认编码。解决JDBC URL 加characterEncodingutf8useUnicodetrue。建库建表统一用utf8mb4。Kettle 生成 XML 时显式指定编码Java 里用OutputStreamWriter并传StandardCharsets.UTF_8。检查mysqld.cnf里的character-set-server是否为utf8mb4。4.4 现象拖拽画布时节点能拖出来但连线连不上或者连上后执行报“跳线无效”原因前端画布的坐标计算和命中检测有偏差。连线通常靠 SVG 或 Canvas 绘制如果节点的getBoundingClientRect在滚动容器里没做偏移修正连线的起点终点会对不上。另一个原因是后端校验时把跳线方向搞反了Kettle 的hop里from和to必须和步骤名完全一致。解决前端连线时用节点 ID 而不是坐标来建立关系坐标只用于渲染。后端生成hop时校验from和to是否都在节点列表里。如果用了 Vue 的v-for渲染节点确保:key用节点 ID 而不是索引否则拖拽排序后连线会错乱。4.5 现象平台部署到 Linux 服务器后文件输入步骤读不到本地文件原因Web 平台跑在应用服务器里工作目录和桌面版 Spoon 不一样。文件输入步骤如果用相对路径会相对于 Tomcat 或 Spring Boot 的启动目录而不是用户以为的目录。另一个原因是权限应用服务器用户没有目标文件的读权限。解决文件路径统一用绝对路径或者在平台里配一个“文件根目录”参数所有文件输入步骤基于这个根目录拼路径。检查应用服务器启动用户对目标目录的权限用ls -l确认。如果文件在 HDFS 上确认 Hadoop 客户端配置和core-site.xml已正确加载。5. 进阶技巧用变量和参数把一份转换复用到多个数据集平台跑通之后真正提升效率的不是多画几个转换而是让一份转换能复用到不同日期、不同业务线、不同数据集。Kettle 本身支持变量和参数Web 平台要做的是把这些能力暴露到界面上让用户不用改画布就能换参数。5.1 平台变量与 Kettle 参数的映射关系Kettle 里有两类动态值变量Variable和参数Parameter。变量是全局的用${VAR}引用参数是转换级别的用?或命名参数引用。Web 平台通常把平台变量注入到 Kettle 的变量空间执行前调Trans.setVariable()设置。// 执行转换前注入平台变量 Trans trans new Trans(transMeta); trans.setVariable(ETL_DATE, 2024-01-15); trans.setVariable(BIZ_LINE, retail); trans.setVariable(BATCH_ID, UUID.randomUUID().toString()); // 如果转换里用了命名参数 trans.setParameterValue(target_table, dw_orders_retail); trans.execute(null); trans.waitUntilFinished();setVariable设置的变量在整个转换里可见包括 SQL 里的${ETL_DATE}和文件路径里的${BIZ_LINE}。setParameterValue设置的参数只对当前转换生效适合目标表名这种每次执行都可能变的值。执行完记得调trans.cleanup()释放资源否则连接和线程会泄漏。5.2 数据集版本管理与回溯平台如果支持数据集版本每次转换执行产出新数据时旧版本要能回溯。常见做法是在目标表加batch_id和etl_date字段每次写入打上批次标记。查询时按批次过滤回溯时指定旧批次。-- 目标表加批次字段 ALTER TABLE dw_orders ADD COLUMN batch_id VARCHAR(64) COMMENT 批次ID; ALTER TABLE dw_orders ADD COLUMN etl_date DATE COMMENT 数据日期; -- 查询指定批次的数据 SELECT * FROM dw_orders WHERE batch_id abc-123 AND etl_date 2024-01-15; -- 回溯时删除错误批次 DELETE FROM dw_orders WHERE batch_id abc-123;平台界面上可以做一个“执行历史”列表每次执行记录批次 ID、开始时间、结束时间、状态、影响行数。点某个历史记录能查看当时的转换参数和日志。这样出问题时不用翻服务器日志在界面上就能定位。5.3 性能调优批量提交与并行执行数据采集量大时逐条提交会慢得离谱。Kettle 的“表输出”步骤有batchSize参数设成 1000 到 5000 之间通常比较平衡。设太大事务日志膨胀回滚代价高设太小网络往返次数多。# kettle.properties 里的性能相关配置 KETTLE_DB_CONNECTION_POOLINGtrue KETTLE_DB_CONNECTION_POOL_SIZE10 KETTLE_TRANS_STEP_PERFORMANCE_SNAPSHOTtrue并行执行要谨慎。Kettle 的转换默认是单线程流水线步骤之间可以并行但同一个步骤内是串行的。如果数据源支持分区读取可以在“表输入”里配多个 SQL 分区Kettle 会并行跑。但并行度不是越高越好数据库连接数和 CPU 核数是上限。我一般会先跑一个基准测试记录单线程的吞吐再逐步加并行度观察数据库负载找到拐点就停。从那以后我每次配新转换都强制先跑一遍小批量数据验证字段映射和编码再放大批量。这个习惯帮我省了至少三次全量重跑。希望帮到你。本文还有配套的精品资源点击获取 基于Kettle的Web数据集成平台：拖拽式ETL与调度实战
简介这是一套基于KettlePentaho Data Integration构建的Web版数据集成平台源码包面向数据工程师、ETL开发者及希望降低数据采集门槛的分析人员。它把传统桌面端Kettle的转换与作业能力搬到浏览器中通过拖拽式可视化界面完成数据源接入、清洗转换与任务调度解决非技术人员难以使用ETL工具、团队数据集难以共享复用的问题。压缩包共1645个文件约160.93MB以912个Java源码、163个properties配置、123个xml、94个css与74个vue前端组件为主另含ktr转换文件、Dockerfile、yaml部署配置及少量rpm、sh脚本覆盖前后端与容器化部署全链路。资源已有727人学习下载读者可借此研究Kettle如何被封装为Web服务学习数据源管理、图形化流程设计、执行监控、版本控制与权限角色等模块的实现思路并基于现有目录结构进行二次开发与定制。1. 拖拽就能跑 ETL这个基于 Kettle 的 Web 数据集成平台到底能省多少事如果你做过数据采集大概率经历过这种场面业务方丢来一个 Excel要求清洗后入库还得每天定时跑。桌面版 Kettle 的 Spoon 确实能拖拽搞定但装客户端、配 JDBC 驱动、调环境变量这一套下来非技术同事直接劝退。这个基于 Kettle 实现的 Web 版数据集成平台核心价值就一句话——把 Spoon 的拖拽画布搬进浏览器让数据采集和数据集管理变成打开网页就能干的事。它适合三类人需要快速搭 ETL 流程的数据工程师、不想装客户端的分析师以及想把数据集成能力嵌入自己系统的开发者。源码包>// 画布状态结构示意基于常见拖拽实现推断 const canvasState { nodes: [ { id: node_1, type: TableInput, // 对应 Kettle 的“表输入”步骤 name: 读取订单表, config: { connection: mysql_order, // 数据源连接名 sql: SELECT * FROM orders WHERE dt ?, variables: [${ETL_DATE}] // 支持变量替换 } }, { id: node_2, type: TableOutput, // 对应 Kettle 的“表输出”步骤 name: 写入结果表, config: { connection: mysql_dw, table: dw_orders, batchSize: 1000 // 批量提交条数 } } ], edges: [ { from: node_1, to: node_2 } // 节点间的跳线 ] };这段结构里type字段必须和 Kettle 的步骤插件名对上否则后端序列化时会找不到对应组件。config里的connection不是数据库连接串而是平台里预先配好的数据源名称这样设计是为了避免在画布上暴露密码。batchSize这类参数直接透传给 Kettle 的步骤配置改大了能提升写入吞吐但事务日志也会膨胀后面避坑章节会细说。前端还有一个容易忽略的点拖拽回弹。有些浏览器里拖拽元素松手后会弹回原位通常是dragend事件里没有正确更新状态或者dragover没阻止默认行为。源码里如果用了 HTML5 原生拖拽检查dragover.prevent和drop的绑定如果用第三方库看版本是否兼容当前浏览器。2.2 后端调度层把画布 JSON 翻译成 Kettle 转换后端拿到前端传来的 JSON 后要做三件事校验节点连接是否合法、生成 Kettle 的.ktr或.kjb文件、调用 Kettle 引擎执行。mvnw.cmd的存在说明构建走 Mavenmysqld.cnf暗示元数据库用的是 MySQL。平台自身的用户、权限、数据源配置、转换版本这些元数据大概率存在 MySQL 里而实际的数据采集任务由 Kettle 引擎跑。生成 Kettle 转换文件这一步是关键。Kettle 的.ktr是 XML 格式每个步骤对应一个step元素跳线对应hop。后端需要把画布 JSON 里的节点类型映射到 Kettle 的步骤插件 ID比如TableInput对应TableInputTableOutput对应TableOutput。参数名也要对齐Kettle 的 XML 里字段名是大小写敏感的。// 后端生成 Kettle 转换 XML 的简化逻辑Java 伪代码 public String generateKtr(CanvasState state) { StringBuilder xml new StringBuilder(); xml.append(transformation); xml.append(infoname).append(state.getName()).append(/name/info); // 遍历画布节点生成 step 元素 for (Node node : state.getNodes()) { xml.append(step); xml.append(name).append(node.getName()).append(/name); xml.append(type).append(node.getType()).append(/type); // 将 config 中的参数逐个写入 XML for (Map.EntryString, String entry : node.getConfig().entrySet()) { xml.append().append(entry.getKey()).append() .append(entry.getValue()) .append(/).append(entry.getKey()).append(); } xml.append(/step); } // 遍历边生成 hop 元素 for (Edge edge : state.getEdges()) { xml.append(hop); xml.append(from).append(edge.getFrom()).append(/from); xml.append(to).append(edge.getTo()).append(/to); xml.append(enabledY/enabled); xml.append(/hop); } xml.append(/transformation); return xml.toString(); }这段逻辑里enabledY/enabled控制跳线是否启用调试时可以把某条线设为N来隔离问题节点。生成的 XML 要写到临时目录再通过 Kettle 的TransMeta和Trans类加载执行。执行时建议用独立线程池避免一个长任务阻塞 Web 请求。如果平台支持定时调度底层通常用 Quartz 或 Spring Schedule 触发每次触发重新生成 XML 再执行保证画布改动即时生效。2.3 数据源与数据集管理连接池和元数据表怎么设计平台要支持多种数据源关系型数据库、文件系统、Web 服务都得能接。源码里mysqld.cnf只是 MySQL 服务端配置平台自身的数据源管理模块需要维护一张连接信息表。常见设计是datasource表存连接名、类型、JDBC URL、用户名、加密后的密码dataset表存数据集名称、来源转换 ID、目标表名、字段映射关系。连接池是另一个容易翻车的地方。Kettle 引擎每次执行转换都会创建数据库连接如果不在平台层做池化高频调度时数据库连接数会飙升。常见做法是在后端用 HikariCP 或 Druid 管理连接池Kettle 步骤里引用池化后的数据源。但 Kettle 的“表输入”步骤默认自己管理连接要让它走池化数据源需要在 Kettle 的kettle.properties里配置连接池参数或者用“数据库连接”步骤显式指定。-- 平台元数据表设计参考MySQL CREATE TABLE datasource ( id BIGINT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(64) NOT NULL UNIQUE COMMENT 连接名画布上引用, db_type VARCHAR(32) NOT NULL COMMENT mysql/postgresql/oracle, jdbc_url VARCHAR(512) NOT NULL, username VARCHAR(128) NOT NULL, password_enc VARCHAR(256) NOT NULL COMMENT 加密存储, created_at DATETIME DEFAULT CURRENT_TIMESTAMP ) ENGINEInnoDB DEFAULT CHARSETutf8mb4; CREATE TABLE dataset ( id BIGINT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(128) NOT NULL, trans_id BIGINT NOT NULL COMMENT 关联的转换ID, target_table VARCHAR(128) COMMENT 输出目标表, field_mapping JSON COMMENT 字段映射关系, created_at DATETIME DEFAULT CURRENT_TIMESTAMP ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;password_enc字段必须加密存储常见做法是用 AES 对称加密密钥放在环境变量里而不是代码里。field_mapping用 JSON 类型存方便前端动态渲染字段对应关系。数据集和转换的关联用trans_id这样同一个转换可以产出多个数据集改转换时所有关联数据集自动生效。3. 从零跑起来环境准备、编译打包与第一个数据采集任务源码包能跑通和能跑稳是两回事。这一章按实际部署顺序走一遍把环境依赖、编译命令、启动参数和第一个任务的配置细节都落到可复现的步骤上。中间涉及 Kettle 引擎的初始化这是最容易卡住的地方。3.1 环境依赖清单与版本对齐先确认本机环境。后端是 Java 系mvnw.cmd说明至少需要 JDK 8 或 11具体看pom.xml里的maven.compiler.source。MySQL 用于存元数据mysqld.cnf是服务端配置模板需要根据本机路径调整datadir和socket。前端需要 Node.js.babelrc说明构建链里有 Babel通常配合 Webpack 或 Vite。依赖项建议版本用途检查命令JDK8 或 11后端编译运行java -versionMaven3.6依赖管理与打包mvn -v或./mvnw -vMySQL5.7 或 8.0元数据存储mysql --versionNode.js14 或 16前端构建node -vKettle8.x 或 9.xETL 引擎检查lib/下是否有kettle-engineKettle 引擎的依赖需要单独引入。源码包里不一定包含完整的 Kettle 发行版通常是在pom.xml里引pentaho-kettle的 Maven 坐标或者把 Kettle 的lib目录作为本地依赖。如果编译时报ClassNotFoundException: org.pentaho.di.trans.Trans就是 Kettle 依赖没配好。3.2 编译打包与数据库初始化先建库。用 MySQL 客户端连上创建平台元数据库字符集用utf8mb4否则中文任务名会乱码。# 创建元数据库 mysql -u root -p -e CREATE DATABASE kettle_web DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; # 导入表结构假设源码里有 schema.sql mysql -u root -p kettle_web src/main/resources/schema.sql # 修改 mysqld.cnf 中的关键参数如果要用源码里的配置模板 # datadir/var/lib/mysql # socket/var/lib/mysql/mysql.sock # character-set-serverutf8mb4然后编译后端。Windows 下用mvnw.cmdLinux 或 Mac 下用./mvnw。第一次编译会下载大量依赖建议配好 Maven 镜像。# Linux/Mac 编译打包跳过测试加快速度 ./mvnw clean package -DskipTests # Windows 下 mvnw.cmd clean package -DskipTests # 打包完成后 target 目录下会有可执行 jar java -jar target/data-integration-1.0.jar --spring.profiles.activeprod启动参数里--spring.profiles.activeprod会加载生产配置数据库连接、Kettle 仓库路径这些都在对应配置文件里。如果启动报数据库连接失败检查application-prod.yml里的spring.datasource.url是否指向刚建的kettle_web库。前端构建单独走。进入前端目录装依赖再打包。# 前端构建 npm install npm run build # 开发模式启动方便调试拖拽交互 npm run dev构建产物通常输出到dist目录后端配置里指定静态资源路径指向它。开发模式下前端跑在 3000 或 8080 端口后端跑在 8081需要配代理解决跨域。3.3 配置第一个数据采集任务表输入到表输出环境跑起来后登录平台先加数据源。点“数据源管理”新建一个 MySQL 连接填 JDBC URL、用户名、密码。测试连接通过后保存。这一步的密码会加密存到datasource表。然后新建转换。从左侧组件面板拖一个“表输入”到画布双击配置选刚建的数据源写 SQL。SQL 里可以用${变量名}引用平台变量比如${ETL_DATE}执行时动态替换。-- 表输入步骤的 SQL 示例 SELECT order_id, customer_id, order_amount, order_date FROM orders WHERE order_date ${ETL_DATE} AND order_amount 0再拖一个“表输出”到画布配置目标数据源和目标表做字段映射。把“表输入”的跳线连到“表输出”。点执行平台会生成.ktr文件并调 Kettle 引擎跑。执行时看日志。如果报“字段未找到”检查 SQL 里的字段名和表输出的字段映射是否一致。如果报“连接失败”检查数据源配置里的 JDBC URL 是否带了useSSLfalse和serverTimezoneAsia/ShanghaiMySQL 8 不配时区会连不上。4. 避坑排查Kettle Web 化路上最容易翻车的五个地方这一章全是血泪经验。Web 版 Kettle 和桌面版 Spoon 的差异在环境、依赖、并发、编码、权限这五个维度上体现得最明显。每条按现象、原因、解决来写照着排查能省不少时间。4.1 现象转换在 Spoon 里能跑Web 平台执行报“找不到步骤插件”原因Kettle 的步骤插件是运行时动态加载的桌面版 Spoon 启动时会扫描plugins目录Web 平台如果只引了kettle-engine核心包没把插件目录配进去就会缺步骤类型。常见缺失的是“表输入”“表输出”之外的扩展步骤比如“JSON 输入”“Excel 输出”。解决在平台启动参数里指定 Kettle 的插件目录或者把需要的插件 jar 显式加到 classpath。检查KETTLE_HOME环境变量是否指向完整的 Kettle 安装目录。如果用的是 Maven 依赖确认pentaho-kettle的版本和插件版本一致混用版本会出兼容问题。4.2 现象定时任务跑着跑着数据库连接数满了新任务全部阻塞原因Kettle 每个转换执行时默认创建独立数据库连接任务并发高时连接数线性增长。平台层如果没做连接池MySQL 的max_connections很快被打满。另一个隐蔽原因是转换执行完没释放连接Kettle 的Trans对象没调cleanup()。解决在 Kettle 的kettle.properties里配置连接池把KETTLE_DB_CONNECTION_POOLING设为true并限制最大连接数。平台层用 HikariCP 管理元数据库连接和 Kettle 的业务连接分开。定时任务加并发上限比如用信号量控制同时执行的转换数不超过 5 个。4.3 现象中文任务名或字段名在 Web 端显示正常写入数据库后变成乱码原因字符集链路没对齐。前端页面用 UTF-8后端 Java 文件编码用 UTF-8但 MySQL 连接串没指定characterEncodingutf8或者数据库表建的时候用了latin1。Kettle 生成.ktr文件时如果没指定编码XML 声明里默认是 UTF-8但写入文件时用了系统默认编码。解决JDBC URL 加characterEncodingutf8useUnicodetrue。建库建表统一用utf8mb4。Kettle 生成 XML 时显式指定编码Java 里用OutputStreamWriter并传StandardCharsets.UTF_8。检查mysqld.cnf里的character-set-server是否为utf8mb4。4.4 现象拖拽画布时节点能拖出来但连线连不上或者连上后执行报“跳线无效”原因前端画布的坐标计算和命中检测有偏差。连线通常靠 SVG 或 Canvas 绘制如果节点的getBoundingClientRect在滚动容器里没做偏移修正连线的起点终点会对不上。另一个原因是后端校验时把跳线方向搞反了Kettle 的hop里from和to必须和步骤名完全一致。解决前端连线时用节点 ID 而不是坐标来建立关系坐标只用于渲染。后端生成hop时校验from和to是否都在节点列表里。如果用了 Vue 的v-for渲染节点确保:key用节点 ID 而不是索引否则拖拽排序后连线会错乱。4.5 现象平台部署到 Linux 服务器后文件输入步骤读不到本地文件原因Web 平台跑在应用服务器里工作目录和桌面版 Spoon 不一样。文件输入步骤如果用相对路径会相对于 Tomcat 或 Spring Boot 的启动目录而不是用户以为的目录。另一个原因是权限应用服务器用户没有目标文件的读权限。解决文件路径统一用绝对路径或者在平台里配一个“文件根目录”参数所有文件输入步骤基于这个根目录拼路径。检查应用服务器启动用户对目标目录的权限用ls -l确认。如果文件在 HDFS 上确认 Hadoop 客户端配置和core-site.xml已正确加载。5. 进阶技巧用变量和参数把一份转换复用到多个数据集平台跑通之后真正提升效率的不是多画几个转换而是让一份转换能复用到不同日期、不同业务线、不同数据集。Kettle 本身支持变量和参数Web 平台要做的是把这些能力暴露到界面上让用户不用改画布就能换参数。5.1 平台变量与 Kettle 参数的映射关系Kettle 里有两类动态值变量Variable和参数Parameter。变量是全局的用${VAR}引用参数是转换级别的用?或命名参数引用。Web 平台通常把平台变量注入到 Kettle 的变量空间执行前调Trans.setVariable()设置。// 执行转换前注入平台变量 Trans trans new Trans(transMeta); trans.setVariable(ETL_DATE, 2024-01-15); trans.setVariable(BIZ_LINE, retail); trans.setVariable(BATCH_ID, UUID.randomUUID().toString()); // 如果转换里用了命名参数 trans.setParameterValue(target_table, dw_orders_retail); trans.execute(null); trans.waitUntilFinished();setVariable设置的变量在整个转换里可见包括 SQL 里的${ETL_DATE}和文件路径里的${BIZ_LINE}。setParameterValue设置的参数只对当前转换生效适合目标表名这种每次执行都可能变的值。执行完记得调trans.cleanup()释放资源否则连接和线程会泄漏。5.2 数据集版本管理与回溯平台如果支持数据集版本每次转换执行产出新数据时旧版本要能回溯。常见做法是在目标表加batch_id和etl_date字段每次写入打上批次标记。查询时按批次过滤回溯时指定旧批次。-- 目标表加批次字段 ALTER TABLE dw_orders ADD COLUMN batch_id VARCHAR(64) COMMENT 批次ID; ALTER TABLE dw_orders ADD COLUMN etl_date DATE COMMENT 数据日期; -- 查询指定批次的数据 SELECT * FROM dw_orders WHERE batch_id abc-123 AND etl_date 2024-01-15; -- 回溯时删除错误批次 DELETE FROM dw_orders WHERE batch_id abc-123;平台界面上可以做一个“执行历史”列表每次执行记录批次 ID、开始时间、结束时间、状态、影响行数。点某个历史记录能查看当时的转换参数和日志。这样出问题时不用翻服务器日志在界面上就能定位。5.3 性能调优批量提交与并行执行数据采集量大时逐条提交会慢得离谱。Kettle 的“表输出”步骤有batchSize参数设成 1000 到 5000 之间通常比较平衡。设太大事务日志膨胀回滚代价高设太小网络往返次数多。# kettle.properties 里的性能相关配置 KETTLE_DB_CONNECTION_POOLINGtrue KETTLE_DB_CONNECTION_POOL_SIZE10 KETTLE_TRANS_STEP_PERFORMANCE_SNAPSHOTtrue并行执行要谨慎。Kettle 的转换默认是单线程流水线步骤之间可以并行但同一个步骤内是串行的。如果数据源支持分区读取可以在“表输入”里配多个 SQL 分区Kettle 会并行跑。但并行度不是越高越好数据库连接数和 CPU 核数是上限。我一般会先跑一个基准测试记录单线程的吞吐再逐步加并行度观察数据库负载找到拐点就停。从那以后我每次配新转换都强制先跑一遍小批量数据验证字段映射和编码再放大批量。这个习惯帮我省了至少三次全量重跑。希望帮到你。本文还有配套的精品资源点击获取