Title:中电信翼康 大数据架构师
GitHub ID:dailai
个人兴趣:擅长大数据相关技术(数据集成、流计算等),爱好篮球
您为社区提交了什么贡献?
新增了Jdbc-Iris connector以支持采集东华的医疗数据库数据;
新增Opengauss-CDC connector,能够实时采集opengauss数据;
将Mysql-cdc依赖的Debeizum从1.6.4升级到1.9.8版本,增强实时采集的稳定性,并且支持了mysql-cdc到jdbc-mysql的schema evolution功能。
在数据湖方面,支持了Paimon的实时入湖和出湖等能力。
为了方便基于SeaTunnel快速构建平台,我还开发了connector检查脚本,能够快速显示连接器的所有参数,可以快速集成connector的各种参数。
此外,为了能支持job级别资源隔离,我积极参与社区关于Seatunnel on Yarn的技术讨论,相信此功能很快也会和用户见面。
PR合集:https://github.com/apache/seatunnel/pulls?q=is%3Apr+author%3Adailai+is%3Aclosed
2. 当初与Apache SeaTunnel结缘,背后有什么故事吗?
随着医疗行业对数据驱动决策的需求不断增加,挖掘医疗数据要素价值,激发新质生产力潜能机遇迫在眉睫。中电信翼康通过自研的“数据中台”开展医疗健康数据要素全流程管理和一站式赋能,打造医疗健康数据要素运营底座,助力医疗数据的价值挖掘与AI模型应用。在此战略背景下,数据集成平台作为我们数据中台的“大动脉”,需要能够快速落地且能够满足中台复杂的数据集成场景需求。
3. 您参与开源有多长时间了?开源为什么吸引你?
从今年2月份参与开源,起初是因为要使用SeaTunnel,所以经常阅读SeaTunnel的文档。但随着业务需要的增加,我发现有些功能无法满足我们的需求,于是就尝试新增feature及相关bug修复并将源码贡献给社区,社区的大佬很友好,提出各种宝贵的建议与引导让我坚定了参与开源的决心。
4. 您之前是否做过数据集成系统调研?有做过SeaTunnel与其他竞品的对比分析吗?
我做过数据集成的调研,可以参考我之前发的文章《中电信翼康济世数据中台基于Apache SeaTunnel构建数据集成平台经验分享》中选择Apache SeaTunnel的优势。
5. 您所在公司是否使用过SeaTunnel?使用场景是什么?是否基于SeaTunnel进行过二次开发?
我司使用了SeaTunnel,并正在基于SeaTunnel开发数据集成功能,支持远程一键部署及医院前端采集节点采集数据到中心端的全链路实现。
6. SeaTunnel社区贡献给您的第一印象是怎样的?您希望在这里有何收获?
社区活跃度很高,交流很多,能够学习优秀的编码技巧和功能设计。
7. 您认为数据集成系统最关键的需求是什么?SeaTunnel是否能按足这些关键需求?以后期待SeaTunnel做出哪些新的优化和改进?
我们数据集成最关键的就是易用、稳定、容错、生态丰富。SeaTunnel目前已满足这些需求。后期期待SeaTunnel能出job级别资源隔离功能及技术方案。
8. 您还希望参与SeaTunnel社区能对您的个人成长提供什么样的支持?
学习到更多的优秀idea。
9. 您对社区Committer角色的理解是什么?Committer应该在社区中做什么/起到什么作用?
我认为作为Commmiter,应该能主动发现并修复一些bug,新增一些需求的feature,并且经常Review别人的pr了解新增的功能、优化或BUG修复。
10. 获推选Committer,您有什么感想/想对社区说的话,或对项目发展有什么建议?
社区的强大离不开每个人的贡献,希望大家都能积极贡献,让社区越来越强大,扩大影响力,让数据集成成为每个数据中台或数数智中台的大动脉。
想要成为SeaTunnel Committer?欢迎参与社区贡献:
Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台
仓库地址:
https://github.com/apache/seatunnel
网址:
https://seatunnel.apache.org/
Apache SeaTunnel 下载地址:
https://seatunnel.apache.org/download
衷心欢迎更多人加入!
我们相信,在「Community Over Code」(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!
我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!
提交问题和建议:
https://github.com/apache/seatunnel/issues
贡献代码:
https://github.com/apache/seatunnel/pulls
订阅社区开发邮件列表:
dev-subscribe@seatunnel.apache.org
开发邮件列表:
dev@seatunnel.apache.org
加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ
关注 Twitter:
https://twitter.com/ASFSeaTunnel