各位热爱 Apache SeaTunnel 的小伙伴们,11 月社区月报来啦!
11 月,Apache SeaTunnel 在连接器稳定性、核心能力、文档与生态方面全面提升。
社区修复了多项关键问题,增强多类连接器表现,并新增若干生产级能力(如 Pending Queue 查询 API、TIMESTAMP_TZ 支持、ViewFs 支持等)。文档体系持续完善,生态适配能力扩展,整体稳定性与易用性进一步增强。社区贡献者数量依旧活跃,多名开发者持续推动项目快速演进。
连接器优化
新增 TIMESTAMP_TZ、HugeGraph Sink、ViewFs 等支持 核心能力升级
Overview 增加 PendingJobs 信息 文档与生态
社区活跃
感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):
[Bug][Connector-V2][Email]修复空值导致的NPE,添加可配置的附件名称和分隔符 @zhan7236 [Fix][Connector-v2][Doris]数组类型数据解析失败 @zhangshenghang [Hotfix][CI]修复 TestSQLIT @dybyte [Fix][doc]在 SqlServer-CDC 文档中添加缺失的闭合大括号 @wgzhao [Fix][Connector-V2][Clickhouse]在ClickhouseSourceFactory中添加主键支持 @zhangshenghang [Bugfix][seatunnel-e2e]增加超时时间 @chl-wxp [Fix][Connector-v2][MongoDB-CDC]当启动多个任务以连接到不同的 MongoDB 服务时,只有第一个任务生效 @zhangshenghang [Fix][Connector-V2][Http]修复 HttpSink.java 中的 HTTP 参数设置 @zhangshenghang [Bugfix][seatunnel-connectors-v2][connector-elasticsearch]ElasticsearchSink 遇到写入错误,任务未退出 @chl-wxp [Fix][Connector-v2][Clickhouse]支持 ClickHouse 日志引擎 @zhangshenghang [Fix][seatunnel-spark-starter]当 Spark 提交任务时修复... @LiJie20190102 [Fix][Transform]修复 SQL 转换中 TRIM表达式 的 ClassCastException @corgy-w [Fix][Connecotr][Hive]HiveJdbcConnectionProvider 中正确的密码参数赋值 @zhangshenghang [Fix][e2e]修复不稳定的 Redis 测试 @dybyte [Fix][Core]更新 JDK Docker 镜像版本 @zhangshenghang [Fix][Connector-v2][Clickhouse]使用实际的表结构而不是 DESC 结果来创建 PhysicalColumn @zhangshenghang [Fix][Connector-v2][Clickhouse]修复 SQL 批次读取策略中 filter_query 无法工作的问题 @zhangshenghang [Fix]日志 HTTP 基本问题 #9755 @wuxiansen [Fix][Connector-V2]忽略 JDBC 语句关闭时的 JdbcConnectorException @dybyte 优化 [Improve][Connector-V2][WeChat]将 StringBuffer 优化为 StringBuilder 以提高性能 @corgy-w [Feature][Connector-V2]支持 HDFS ViewFs 体系结构 @xiaochen-zhou [Improve][Docs]补充 SeaTunnel 连接器的中文文档 @yzeng1618 [Improve][Fink]不支持 CDC 源的检查点 @yzeng1618 [Feature][Core]添加用于查看待处理队列详情的REST API @zhangshenghang [Improve][e2e]将 Docker 镜像更改为使用 seatunnelhub 仓库 @zhangshenghang [Improve][Docs]为版本升级添加不兼容更改的文档 @dybyte [Improve][seatunnel-connectors-v2][connector-mongodb]改进 MongoDB 写入器关闭操作 @chl-wxp [Feature][Connector-V2]PostgreSQL 支持读取 TIMESTAMP_TZ @yzeng1618 [Improve][E2E]将 JDK Docker 镜像更新为 seatunnelhub @zhangshenghang [Improve][Connector-V2][HBase]支持可配置的范围扫描边界包含策略 @zhangshenghang [Feature][Connector-V2]支持 Apache HugeGraph 的数据接收连接器 @Gfreely [Improve]支持 JSON 多级嵌套解析 @misi1987107 [Feature][Connector-V2]支持 paimon 表读取的动态选项 @xiaochen-zhou [Improve][Connector-v2][MySQL]优化分片计算策略 @zhangshenghang [Feature][Connector-V2][Milvus]按间隔刷新写入器 @loupipalien [Improve][E2E]改进删除哈希的 Redis 测试 @chl-wxp [Feature][Core]在 GetOverviewOperation 的响应中添加 PendingJobs 信息 @xiaochen-zhou [Feature][Connector-V2]Hive 保存器支持 SchemaSaveMode 和 DataSaveMode @yzeng1618 其他 [Add][Docs]介绍网站上的 SeaTunnel MCP 和 x2SeaTunnel 文档 @Adamyuanyuan [Imporve][Connector-v2][MySQL-CDC]模式演化优化等待时间 @zhangshenghang [doc][transforms-v2]改进元数据和行类型文档 @zhangshenghang apache/seatunnel-website仓库
优化
[Improve][Team]更新团队成员角色列表 @liunaijie Apache SeaTunnel Apache SeaTunnel是一个云原生的多模态、高性能海量数据集成工具。北京时间 2023 年 6 月1 日,全球最大的开源软件基金会ApacheSoftware Foundation正式宣布Apache SeaTunnel毕业成为Apache顶级项目。目前,SeaTunnel在GitHub上Star数量已达8k+,社区达到6000+人规模。SeaTunnel支持在云数据库、本地数据源、SaaS、大模型等170多种数据源之间进行数据实时和批量同步,支持CDC、DDL变更、整库同步等功能,更是可以和大模型打通,让大模型链接企业内部的数据。
https://github.com/apache/seatunnel https://seatunnel.apache.org/ https://seatunnel.apache.org/download 我们相信,在 「 Community Over Code 」 (社区大于代码)、 「Open and Cooperation」 (开放协作)、 「Meritocracy」 (精英管理)、以及「 多样性与共识决策」 等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步! 我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源! https://github.com/apache/seatunnel/issues https://github.com/apache/seatunnel/pulls dev-subscribe@seatunnel.apache.org https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ https://x.com/ASFSeaTunnel