本文介绍基于Maven的SeaTunnel
有关运行时插件加载机制的信息，请参阅插件管理与发现（https://deepwiki.com/apache/seatunnel/4.1-plugin-management-and-discovery）。 有关CI/CD工作流程和测试的详细信息，请参阅CI/CD与测试框架（https://deepwiki.com/apache/seatunnel/5.1-cicd-and-testing-framework）。
SeaTunnel采用多模块Maven项目结构，根 pom.xml 定义整体构建配置和依赖管理。构建系统协调整个项目所有模块的编译、测试、打包和分发。
位于pom.xml 1 - 1136的根POM定义了Maven属性、依赖管理以及所有模块使用的构建插件。关键构建属性包括Java版本（java.version）、Scala版本（scala.version）以及各种依赖版本。
分发组装系统 seatunnel - dist 模块使用Maven Assembly插件处理二进制分发的创建。它生成二进制和源代码分发包。
位于seatunnel - dist/pom.xml 1 - 964的分发模块使用Maven Assembly插件创建结构化的分发包。二进制组装包括：
启动JAR包： 针对Flink、Spark和SeaTunnel引擎的特定引擎启动模块 连接器依赖项： 打包在 connectors/ 目录中的所有连接器JAR包 运行时库： starter/logging/ 中的日志依赖项和共享库 Shell脚本： bin/ 目录中具有适当文件权限的可执行脚本 配置： 默认配置文件和模板 SeaTunnel使用插件映射系统在运行时将连接器名称解析为JAR文件。 plugin - mapping.properties 文件作为所有可用连接器的中央注册表。
位于plugin - mapping.properties 1 - 153(https://github.com/apache/seatunnel/blob/02c7eb31/plugin - mapping.properties #L1 -L153)的插件映射文件定义了如下映射：
seatunnel.source.Kafka = connector - kafka seatunnel.sink.Console = connector - console seatunnel.source.MySQL - CDC = connector - cdc - mysql 位于bin/install - plugin.sh 1 - 53(https://github.com/apache/seatunnel/blob/02c7eb31/bin/install - plugin.sh #L1 -L53)的安装插件脚本会根据config/plugin_config 1 - 99(https://github.com/apache/seatunnel/blob/02c7eb31/config/plugin_config #L1 -L99)中用户配置的插件选择，从Maven仓库下载连接器JAR包。
连接器与SeaTunnel核心二进制文件分开分发，以减小下载大小并允许选择性安装。构建系统将每个连接器及其依赖项打包为独立的JAR包。
位于seatunnel - dist/src/main/assembly/assembly - bin - ci.xml 144 - 161（https://github.com/apache/seatunnel/blob/02c7eb31/seatunnel - dist/src/main/assembly/assembly - bin - ci.xml #L144 -L161）的CI组装包含所有连接器JAR包以进行全面测试，而位于seatunnel - dist/src/main/assembly/assembly - bin.xml 204 - 216(https://github.com/apache/seatunnel/blob/02c7eb31/seatunnel - dist/src/main/assembly/assembly - bin.xml #L204 -L216)的标准二进制组装仅包含基本的演示连接器（connector - fake、connector - console、connector - cdc - base）。
连接器依赖管理在seatunnel - dist/pom.xml 162 - 205(https://github.com/apache/seatunnel/blob/02c7eb31/seatunnel - dist/pom.xml #L162 -L205)中进行处理，其中JDBC驱动程序和第三方库被明确包含在分发中。
SeaTunnel提供用于容器化部署的Docker镜像。Docker构建过程会创建预安装所有必要依赖项的优化镜像。
位于seatunnel - dist/src/main/docker/Dockerfile 1 - 18（https://github.com/apache/seatunnel/blob/02c7eb31/seatunnel - dist/src/main/docker/Dockerfile #L1 -L18）的Dockerfile创建一个多阶段构建，其步骤如下：
Docker构建通过 docker 配置文件与Maven集成，可使用诸如 docker.build.skip=false 之类的构建属性触发。
SeaTunnel使用Maven Shade插件处理依赖冲突，并为不同组件创建超级JAR包。阴影处理策略确保在不同执行引擎上的兼容性。
位于pom.xml 708 - 752(https://github.com/apache/seatunnel/blob/02c7eb31/pom.xml #L708 -L752)的根POM对Shade插件进行如下配置：
针对META - INF/services文件的服务转换器 已知依赖项记录在tools/dependencies/known - dependencies.txt 1 - 130(https://github.com/apache/seatunnel/blob/02c7eb31/tools/dependencies/known - dependencies.txt #L1 -L130)中，以确保构建的可重复性和许可证合规性。
阴影模块会创建常见依赖项的重定位版本，以避免SeaTunnel在Flink或Spark集群上运行时出现类路径冲突。
原文链接： https://deepwiki.com/apache/seatunnel/2-build-system-and-distribution#dependency -management-and-shading
Apache SeaTunnel Apache SeaTunnel是一个云原生的多模态、高性能海量数据集成工具。北京时间 2023 年 6 月1 日，全球最大的开源软件基金会ApacheSoftware Foundation正式宣布Apache SeaTunnel毕业成为Apache顶级项目。目前，SeaTunnel在GitHub上Star数量已达8k+，社区达到6000+人规模。SeaTunnel支持在云数据库、本地数据源、SaaS、大模型等170多种数据源之间进行数据实时和批量同步，支持CDC、DDL变更、整库同步等功能，更是可以和大模型打通，让大模型链接企业内部的数据。
https://github.com/apache/seatunnel https://seatunnel.apache.org/ https://seatunnel.apache.org/download 我们相信，在 「 Community Over Code 」 （社区大于代码）、 「Open and Cooperation」 （开放协作）、 「Meritocracy」 （精英管理）、以及「 多样性与共识决策」 等 The Apache Way 的指引下，我们将迎来更加多元化和包容的社区生态，共建开源精神带来的技术进步！ 我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭，一起共建开源! https://github.com/apache/seatunnel/issues https://github.com/apache/seatunnel/pulls dev-subscribe@seatunnel.apache.org https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ https://x.com/ASFSeaTunnel
