连接器批量修复、核心 API 上线、生态更新:Apache SeaTunnel 11 月进展

各位热爱 Apache SeaTunnel 的小伙伴们,11 月社区月报来啦!

点击蓝字



关注我们

各位热爱 Apache SeaTunnel 的小伙伴们,11 月社区月报来啦!

11 月,Apache SeaTunnel 在连接器稳定性、核心能力、文档与生态方面全面提升。

社区修复了多项关键问题,增强多类连接器表现,并新增若干生产级能力(如 Pending Queue 查询 API、TIMESTAMP_TZ 支持、ViewFs 支持等)。文档体系持续完善,生态适配能力扩展,整体稳定性与易用性进一步增强。社区贡献者数量依旧活跃,多名开发者持续推动项目快速演进。

月度亮点


  • 连接器优化

    • 多连接器关键问题修复
    • 新增 TIMESTAMP_TZ、HugeGraph Sink、ViewFs 等支持
    • JSON 嵌套解析增强,MySQL 分片策略优化
  • 核心能力升级

    • 新增 Pending Queue 查询 API
    • Overview 增加 PendingJobs 信息
    • 测试体系与基础镜像全面更新
  • 文档与生态

    • 连接器文档补充与升级指引完善
    • MongoDB、Transforms 文档更新
    • 新增 SeaTunnel MCP 等生态内容
  • 社区活跃

    • 15+ 贡献者参与合并
    • 推动项目持续保持高活跃度

月度Merge Stars


感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):

weekly_combined_avatars_2025-12-08


apache/seatunnel仓库

修复

  • [Bug][Connector-V2][Email]修复空值导致的NPE,添加可配置的附件名称和分隔符 @zhan7236
  • [Fix][Connector-v2][Doris]数组类型数据解析失败 @zhangshenghang
  • [Hotfix][CI]修复 TestSQLIT @dybyte
  • [Fix][doc]在 SqlServer-CDC 文档中添加缺失的闭合大括号 @wgzhao
  • [Fix][Connector-V2][Clickhouse]在ClickhouseSourceFactory中添加主键支持 @zhangshenghang
  • [Bugfix][seatunnel-e2e]增加超时时间 @chl-wxp
  • [Fix][Connector-v2][MongoDB-CDC]当启动多个任务以连接到不同的 MongoDB 服务时,只有第一个任务生效 @zhangshenghang
  • [Fix][Connector-V2][Http]修复 HttpSink.java 中的 HTTP 参数设置 @zhangshenghang
  • [Bugfix][seatunnel-connectors-v2][connector-elasticsearch]ElasticsearchSink 遇到写入错误,任务未退出 @chl-wxp
  • [Fix][Connector-v2][Clickhouse]支持 ClickHouse 日志引擎 @zhangshenghang
  • [Fix][seatunnel-spark-starter]当 Spark 提交任务时修复... @LiJie20190102
  • [Fix][Transform]修复 SQL 转换中 TRIM表达式 的 ClassCastException @corgy-w
  • [Fix][Connecotr][Hive]HiveJdbcConnectionProvider 中正确的密码参数赋值 @zhangshenghang
  • [Fix][e2e]修复不稳定的 Redis 测试 @dybyte
  • [Fix][Core]更新 JDK Docker 镜像版本 @zhangshenghang
  • [Fix][Connector-v2][Clickhouse]使用实际的表结构而不是 DESC 结果来创建 PhysicalColumn @zhangshenghang
  • [Fix][Connector-v2][Clickhouse]修复 SQL 批次读取策略中 filter_query 无法工作的问题 @zhangshenghang
  • [Fix]日志 HTTP 基本问题 #9755 @wuxiansen
  • [Fix][Connector-V2]忽略 JDBC 语句关闭时的 JdbcConnectorException @dybyte

优化

  • [Improve][Connector-V2][WeChat]将 StringBuffer 优化为 StringBuilder 以提高性能 @corgy-w
  • [Feature][Connector-V2]支持 HDFS ViewFs 体系结构 @xiaochen-zhou
  • [Improve][Docs]补充 SeaTunnel 连接器的中文文档 @yzeng1618
  • [Improve][Fink]不支持 CDC 源的检查点 @yzeng1618
  • [Feature][Core]添加用于查看待处理队列详情的REST API @zhangshenghang
  • [Improve][e2e]将 Docker 镜像更改为使用 seatunnelhub 仓库 @zhangshenghang
  • [Improve][Docs]为版本升级添加不兼容更改的文档 @dybyte
  • [Improve][seatunnel-connectors-v2][connector-mongodb]改进 MongoDB 写入器关闭操作 @chl-wxp
  • [Feature][Connector-V2]PostgreSQL 支持读取 TIMESTAMP_TZ @yzeng1618
  • [Improve][E2E]将 JDK Docker 镜像更新为 seatunnelhub @zhangshenghang
  • [Improve][Connector-V2][HBase]支持可配置的范围扫描边界包含策略 @zhangshenghang
  • [Feature][Connector-V2]支持 Apache HugeGraph 的数据接收连接器 @Gfreely
  • [Improve]支持 JSON 多级嵌套解析 @misi1987107
  • [Feature][Connector-V2]支持 paimon 表读取的动态选项 @xiaochen-zhou
  • [Improve][Connector-v2][MySQL]优化分片计算策略 @zhangshenghang
  • [Feature][Connector-V2][Milvus]按间隔刷新写入器 @loupipalien
  • [Improve][E2E]改进删除哈希的 Redis 测试 @chl-wxp
  • [Feature][Core]在 GetOverviewOperation 的响应中添加 PendingJobs 信息 @xiaochen-zhou
  • [Feature][Connector-V2]Hive 保存器支持 SchemaSaveMode 和 DataSaveMode @yzeng1618

其他

  • [Add][Docs]介绍网站上的 SeaTunnel MCP 和 x2SeaTunnel 文档 @Adamyuanyuan
  • [Imporve][Connector-v2][MySQL-CDC]模式演化优化等待时间 @zhangshenghang
  • [doc][transforms-v2]改进元数据和行类型文档 @zhangshenghang


apache/seatunnel-website仓库

优化

  • [Improve][Team]更新团队成员角色列表 @liunaijie

Apache SeaTunnel

Apache SeaTunnel是一个云原生的多模态、高性能海量数据集成工具。北京时间 2023 年 6 月1 日,全球最大的开源软件基金会ApacheSoftware Foundation正式宣布Apache SeaTunnel毕业成为Apache顶级项目。目前,SeaTunnel在GitHub上Star数量已达8k+,社区达到6000+人规模。SeaTunnel支持在云数据库、本地数据源、SaaS、大模型等170多种数据源之间进行数据实时和批量同步,支持CDC、DDL变更、整库同步等功能,更是可以和大模型打通,让大模型链接企业内部的数据。




同步Demo

MySQL→Doris | MySQLCDC | MySQL→Hive | HTTP → Doris  | HTTP → MySQL | MySQL→StarRocks|MySQL→Elasticsearch |Kafka→ClickHouse

新手入门

SeaTunnel 让数据集成变得 So easy!3 分钟入门指南
 0 到 1 快速入门 /初探/深入理解 
  分布式集群部署 | CDC数据同步管道 | Oracle-CDC
图片

最佳实践

中控技术天翼云多点OPPO | 清风马蜂窝孩子王哔哩哔哩唯品会众安保险兆原数通 | 亚信科技|映客|翼康济世|信也科技|华润置地|Shopee|京东科技|58同城|互联网银行|JPMorgan
图片

测试报告

SeaTunnel VS GLUE |  VS Airbyte |  VS DataX|SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

图片

源码解析

Zeta引擎源码解析(一) |(二) |(三)| API 源码解析 |2.1.1源码解析|封装 Flink 连接数据库解析





仓库地址: 
https://github.com/apache/seatunnel
网址:
https://seatunnel.apache.org/
Apache SeaTunnel 下载地址:
https://seatunnel.apache.org/download
衷心欢迎更多人加入!
我们相信,在Community Over Code(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!
我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!
提交问题和建议:
https://github.com/apache/seatunnel/issues
贡献代码:
https://github.com/apache/seatunnel/pulls
订阅社区开发邮件列表 : 
dev-subscribe@seatunnel.apache.org
开发邮件列表:
dev@seatunnel.apache.org
加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ
关注 X.com: 
https://x.com/ASFSeaTunnel