项目亮点:数百万任务同时在线 秒级任务高达10万并发 全栈信创化部署
背景需求
中信建投证券作为全国性大型综合证券公司,一直重视核心系统的自主可控和网络信息安全。在金融行业数字化转型的浪潮中,中信建投证券致力于提升其数据管理能力以快速响应市场变化。公司寻求通过DataOps实践,整合DevOps的敏捷性和DAMA的数据治理理念,以加速业务价值的实现和数据驱动的决策制定。
解决方案
中信建投证券与合作,采用产品,构建了一个全栈信创化的数据开发平台。这个平台通过统一数据开发、任务编排和调度,显著降低了数据处理成本,提升了数据运营的敏捷性。平台的实施包括构建一个信创化的云原生数据底座,整合内外部数据,打破数据孤岛,形成标准化的数据资源。同时,搭建了企业级数据中台,提供开箱即用的数据开发能力,包括AI、BI、图计算等服务,以降低开发门槛并快速响应数据需求。此外,通过一站式数据开发协作平台与DevOps体系的结合,提高了数据研发效率,实现了数据产品的快速交付。
白鲸调度系统配置中心的监控与配置看板提供数据源管理、日历时间管理、资源管理、并行度管理、告警监控和多租户管理。此外,为客户提供的整个集群环境由多个服务集群组成,解决了服务单点问题,采用2 Master x N Worker的分布式去中心化架构,任务容量随集群增长线性增长,成功支持了客户各个业务的不同调度需求和任务量可扩展的需求。
企业收益
1. 高并发处理能力:平台支持数百万任务同时在线,能够处理高达10万的秒级并发任务,通过去中心化的多Master多Worker机制,确保了极高的稳定性和性能。
2. 全栈信创化部署:第一期项目已于2022年11月完成全栈信创化部署,提供了完整的数据运营能力,包括数据编排调度、批流一体数据集成、数据开发IDE、统一数据服务和数据治理。
3. 降低成本与提升服务能力:平台有效降低了用户数据加工处理的成本,提升了数据服务能力,实现了精益、敏捷的数据运营。
4. 数据服务与业务支持:DataOps平台结合智能营销、智能资讯、数据可视化等场景,为业务分析人员、数据科学家等角色提供有效、及时的数据服务,支撑业务运营和科技开发。
5. 业务部门任务处理能力:平台每天完成约8千个工作流作业,目标是日工作流达到10万,任务量50万。
6. 提升运营效率:通过对接公司统一权限管理、审计、监控、告警等系统,平台极大提升了公司运营效率。
了解更多:https://mp.weixin.qq.com/s/5z3wtmB2L6Um87puKUUv1Q
项目亮点:高可靠性 、高性能、多场景支持、支持全栈部署运行的强大调度功能
背景需求
数字金融是我国金融发展重点之一。某国有银行地区性分行主动融入数字经济,深化数字化转型升级与金融产品创新,但在发展中仍面临困难。业务上,该银行需处理总行分发数据,任务量约 3000 每日,新业务增加后任务总量达 1 万。此前银行采用自研调度系统,但现因数据量增长和新业务场景,此系统显得陈旧且性能不足。该银行数据调度的痛点包括自研系统灵活性差、不支持分布式、难满足不同部门需求、需监控上游文件、需跨项目依赖查询、无法高效复用调度及限制权限、不支持信创环境等。为改变现状,银行规划建设信创下统一调度管理平台,这个平台需要满足数据处理任务统一调度监控需求,且具备高性能、高可靠、易扩展特点,实现每日流水线任务集中定义和控制,以满足用户个性化需求,如对接行内组件、迁移存量工作流等,全面监控管理数据加工节点等。
白鲸调度(WhaleScheduler)解决方案
经过调研,该银行选择了白鲸开源自主研发的白鲸调度(WhaleScheduler)国产信创化调度平台,可支持银行在数据体系建设中不同场景的任务调度需求,满足金融行业企业级用户对系统的稳定性、可靠性、合规性、高性能、支持信创环境等要求。白鲸调度(WhaleScheduler)为银行批处理任务制定统一的开发规范、运维方法,对各系统的批量任务进行统一管理、调度和监控,符合银行不同业务应用环境的性能需求,并提供了私有化部署和开发支持。
白鲸调度(WhaleScheduler)是一个采用无中心化架构设计的先进调度系统,它通过注册中心发现服务,实现了服务间的互为备份,保证了系统的高可靠性和水平扩展性,支持千万级别的任务数量。白鲸调度(WhaleScheduler)支持分布式部署,具备高稳定性、高性能和高容错性,能够帮助该银行处理多种任务类型,并提供全模式DAG开发能力,使得银行员工无需掌握大量代码即可快速生成复杂的工作流。它还具备强大的任务执行功能、丰富的工作流配置管理能力、监控本地/远程服务器文件的能力。
多样化的日历功能支持不同项目配置独立的日历,可视化日历配置和模板导入导出的维护方式对于银行工作人员的用户体验来说也是非常友好的,创建、编辑、删除、导入导出等操作方式一目了然。
银行跨部门的使用场景需要跨项目依赖和准确的影响分析查询,这一点非常重要。对此,白鲸调度(WhaleScheduler)提供了完善的系统影响分析功能,可以分析任务级的血缘,血缘分析包括工作流、任务,工作中的子流程,以及子流程中嵌套的依赖等,让用户可以查看完整的任务上下游关系。
此外,对于银行来说非常重要的数据质量检测、用户角色菜单权限管控以及高可伸缩性支持、任务维护人员配置,以及针对银行个性化功能开发的需求,都得到了白鲸调度(WhaleScheduler)的全面支持,确保满足银行不同业务应用环境的性能需求。
企业收益
白鲸调度(WhaleScheduler)为银行提供了高可靠性、高性能、多场景支持、支持全栈部署运行的强大调度功能,不但可以满足银行各规模、各层次的高可靠性、高安全性、可扩展性和可管理性的要求,还充分考虑到银行未来3-5年的发展需要,可适应银行不断发展的业务和管理需求。
了解更多:https://mp.weixin.qq.com/s/GZw9fkxBPkeDt5NTTgENRQ
项目亮点: 提高数据开发和交付效率 加速数字化转型步伐
挑战与需求
在数字化转型的浪潮下,银行业对数据的依赖日益加深。为提升数据管理和应用水平,西南某城市商业银行于2022年启动了数据中台建设,采用创新技术手段优化其数据服务体系。
该银行在数据中台建设过程中,调度和数据抽取平台的选型至关重要。在考虑到对于技术架构、平台化特性、租户化管理和灵活多样化的调度支持和任务编排等关键要素的需求后,该银行经过多轮评估和比对,依托Whalestudio构建了涵盖数据开发、数据服务、数据应用和敏捷交付的完整数据服务体系。
WhaleStudio解决方案
西南某商业银行具体应用如下: