阿尔沙德来自班加罗尔,现任 Visa 公司数据工程师(高级顾问级别),在大数据领域拥有丰富的经验。作为全球最大的支付处理公司之一,Visa 在印度的数字支付和金融科技领域占有重要地位。
阿尔沙德与他的团队一起优化并整合了 Web,成功解决了之前存在的关键问题,大幅提升了用户体验,帮助社区解决了燃眉之急。
在本期社区活动中,我们有幸对穆罕默德进行了深入访谈,了解了他如何与 SeaTunnel 结缘。让我们一同探寻这位来自印度的优秀工程师的精彩故事吧!
免责声明:本文中表达的观点仅代表我个人,不代表任何官方立场。
名字:穆罕默德·阿尔沙德(Mohammad Arshad)
国家:印度 班加罗尔
职业:数据工程师——Visa 公司资深顾问
GitHub ID:arshadmohammad
专长:大数据领域工作经验
爱好:空闲时间喜欢看电影和听乌尔都语诗歌
可以通过他的 LinkedIn 个人资料了解更多信息:
https://www.linkedin.com/in/arshad31415/
穆罕默德·阿尔沙德和他的团队合作优化了 SeaTunnel Web 的功能,解决了多个关键问题,并提升了整体性能,包括:
系统集成:通过添加新的 API,SeaTunnel Web 与其他现有系统集成,这些 API 能够执行创建、检索、更新、删除和执行作业等操作,从而提高了互操作性并简化了工作流。
参数化查询执行:之前没有查询执行的参数化选项。现在引入了该功能,使用户能够动态传递参数,增强了查询的灵活性和可复用性。
增强测试能力:为了提高测试效率,增加了 FakeSource 和 Console 数据源功能。此外,还编写了集成测试来验证 SeaTunnel 和 SeaTunnel Web 的实际实例功能。这些测试确保系统在各种条件下都能可靠运行。
修复漏洞:修复了 SeaTunnel Web 中的多个漏洞,以确保其能够有效处理当前用例。虽然仍有未解决的问题,但这些修复极大地提高了系统的稳定性和可用性。
虽然目前穆罕默德还没有在工作或个人研究中广泛使用 SeaTunnel,但他正在积极探索其功能并进行增强,同时验证各种用例以确保SeaTunnel完全可以支持他们的用例。他的目标是以最少的人工干预方式,在安全、可靠、快速的环境中将数据从一个存储转移到另一个存储。一旦满足所有用例需求,他计划推广使用 SeaTunnel。
自 2017 年左右以来,穆罕默德一直积极参与开源项目。除了 SeaTunnel,他还是 Apache Ambari 和 Apache ZooKeeper 的 Committer,并为 Hadoop 和 HBase 等其他多个项目作出了贡献。
他热衷于开源,他认为,开源他增长知识和贡献社区提供了一个机会。社区项目的快速发展速度,是单个公司几乎不可能在不承担高额成本的情况下实现的。考虑到 Hadoop 及其生态系统项目是开源的,他不假思索地参与进这个合作环境。
当穆罕默德第一次接触到 Apache SeaTunnel 时,他正在研究使用 Ambari 和 ZooKeeper 等其他 Apache 项目,并且正在寻找一个 NiFi 的替代方案,这时他发现了 Apache SeaTunnel。
他发现 SeaTunnel 社区极其乐于助人,并且响应迅速。他从社区获得的支持非常及时。
例如,他经常在睡前查看 PR 的 CI 是否成功,结果早晨就发现它们已经被合并了!这种快速的响应既令人鼓舞又让他充满动力。这里,他向范佳和David给予他的支持表示了特别感谢。
作为 SeaTunnel 社区的新贡献者,穆罕默德表示为 SeaTunnel 做出贡献的过程顺畅且舒适。整个流程简单明了,没有遇到任何困难。这一点对于社区的发展至关重要,只有把贡献的门槛放低,让有意愿做贡献的小伙伴不会对繁琐和复杂的流程望而却步,社区贡献才能蓬勃发展。
在使用 SeaTunnel 之前,穆罕默德对 SeaTunnel 和其他类似工具(如 NiFi)进行过调研比对。
结果表明,SeaTunnel 更适合他们的用例,因为它支持分布式计算、拥有更多的连接器、使用更新的技术栈,并且社区更加活跃。
最终,在众多选择面前,他们选择了 SeaTunnel。
虽然使用起来没有大问题,但穆罕默德还是期望 SeaTunnel 可以进行以下新功能和优化,以满足他们更多的业务需求:
操作性、可维护性、度量和监控:增强 SeaTunnel 的操作和维护能力。可以考虑与 Ambari 集成这些功能,并增加全面的度量和监控解决方案。
SeaTunnel Web 增强功能:通过增加更多功能以及支持所有连接器和转换功能来改进 SeaTunnel Web。
安全改进:通过升级依赖项版本来解决安全漏洞,并将 SeaTunnel 和 SeaTunnel Web 升级至 Java 17。
基于角色的访问控制(RBAC):在 SeaTunnel Web 中引入 RBAC,以更好地管理访问权限。
LDAP 支持:为 SeaTunnel Web 增加 LDAP 支持,实现集中认证。
部署架构:改进部署架构,确保终端用户无需直接访问 SeaTunnel 机器。用户应仅通过 SeaTunnel Web 进行交互,以加强安全管理。
SeaTunnel Web 支持的引擎:确保 SeaTunnel Web 支持 SeaTunnel 支持的所有引擎作业执行,如 Zeta、Spark 和 Flink。
正如穆罕默德所言,SeaTunnel 仍有许多优化空间,且有不少雄心勃勃的目标尚待实现。要达成这些目标,需要依靠社区的集体力量。
如今,随着像穆罕默德这样优秀的国际贡献者加入,SeaTunnel 的全球视野不断拓展。相信未来在国际化的道路上,SeaTunnel 会走得更远。我们诚挚欢迎更多有志之士加入,共同为项目贡献智慧与经验,携手推动其不断前行!
Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台
Apache SeaTunnel 下载地址:
https://seatunnel.apache.org/download
衷心欢迎更多人加入!
我们相信,在「Community Over Code」(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!
我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!
订阅社区开发邮件列表 :
dev-subscribe@seatunnel.apache.org
开发邮件列表:
dev@seatunnel.apache.org
加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ
关注 Twitter:
https://twitter.com/ASFSeaTunnel