白鲸开源 DataOps 平台助力证券行业实现信创数字化转型

当前很多券商在进行数字化转型,在金融科技与业务场景的融合更为密切的情况下,面临着大量数据开发和协同问题交付周期长业务人员与技术人员存在认知差异,从需求描述到需求确认,再到需求实现交付,整条链路耗时长协作成本高传统的流程里,需要业务方分析师,数据开发等多方角色参与,知识背景不同,业务理解不同,沟通协作成本高复用性差开发人员往往陷入重复的内容开发中,开发成果未被有效组织利用,复用性差业务透明度低传统的交付流程中,以技术人员为主,业务人员参与度低,高代码环境,业务表达能力弱,导致交付结果信任度低为了解决这些问题,客户需要建立一套科学的前瞻的可信的DataOps体系框架,并落地形成IT系统融入进日常工作
背景

在中国金融业全面扩大开放的背景下,越来越多的海外投行加速布局中国,并重点布局跨境并购、跨境融资、资产管理、财富管理等业务,与中资机构在资本实力、人才与专业能力、系统与资源网络等方面比拼实力。反观国内,牌照红利弱化,直接导致券商盈利下降。

在此背景下,券商面临着巨大的转型压力,当前几乎所有的金融机构都在积极布局数字化转型,与银行业和海外投行相比,国内证券业在总体规划、系统建设、研发投入等方面仍存在一定差距,各大券商纷纷通过引入高端领军人才、优化组织架构、加大信息技术投入等方式提升金融科技水平,力图争取数字化转型发展红利,提升管理效率,培育核心竞争力。


为了提升数据能力,这两年许多国内券商更掀起了数据中台热,业务模式也从流程驱动走向数据驱动,并从早期数字化逐渐走向数据智能化。但随着内部运用数字科技的程度逐渐加深,越来越多券商反而在数字化转型路上感到了前所未有的焦虑,很多高管,业务管理者,都期望数据能驱动业务盈利能力提升,甚至希望通过建立数据生态,带来商业模式的变革。然而现实与愿景间却依然存在着一些难以跨越的鸿沟。相关研究机构调查显示,2021年较2020年大部分企业对数据和人工智能的投资上升了66%,但是业务回报率却只上升了9%。影响ROI走低的可能原因不外乎以下几点:

  • 业务鸿沟:数据、技术人员缺少业务体感;业务人员缺少数据思维、不懂数据智能技术。
  • 场景鸿沟:缺乏高价值业务场景探索能力、无法量化业务价值、度量数据价值。
  • 质量鸿沟:数据质量差、标准不统一、大数据中的“大”常耗费了大量存储的成本,事实上有很多都难以真正聚焦到业务价值上。
  • 规模鸿沟:难以将数据和智能技术快速、持续地应用或复用到多个业务生产场景。

划重点

01

分析


如前所述,在竞争激烈的商业环境中,广大券商通过投入资源搭建各种类型的数据中台,来加强数据服务能力和变现能力。中台服务于企业的业务侧,强调数据服务统一管理和避免重复造轮子,是对数据服务的共享以及复用,目标是让数据消费更简单,数据价值更容易实现。

但众所周知,国内数字化转型的难点在于,大型企业基本都有一整套自有的信息系统,在数字化转型时,都是在现有架构基础上进行改造,这对于数据中台产品的挑战就很大。由于云、数据库和第三方数据的碎片化和分管不一致,分割的数据层无法对核心业务流程进行全局还原和支持,中台也无法实现数据驱动的全局决策和产品研发。所以中台项目普遍因为周期太长,见效太慢而存在一定的局限性。

dataops(数据运营)作为最新的数据技术框架体系,在借鉴了DAMA方法论的基础之上,同时揉和了DevOps理念中敏捷、自动化、精益、持续集成的关键点,更强调了对数据流的敏态管理,以实现快速提升业务价值,驱动数据架构持续迭代,数据思维和数据文化的不断加强的理念。区别于数据中台强调数据服务的共享和复用,DataOps则刚好侧重于数据服务的快速开发和统一管理。高效开发才能多多复用,数据中台等实践要想真正成为企业数字化转型的抓手,驱动业务优化和业务转型,还需要有DataOps体系来提升它的核心效能。
DataOps landscape

DataOps包含了精益化生产 (Lean Manufacturing)、敏捷开发 (Agile Dev) 和开发运营 (DevOps) 三大主题,帮助企业克服内部复杂组织和流程造成的障碍和复杂性,并在不影响数据质量和数据治理的前提下,快速、敏捷地提供分析。

DataOps有助于激发券商业务的创新活力,缩短数据分析周期,并提高收益。更具体地说,它能为各大券商带来以下优势:

  • 形成对数据普遍的商业理解,包括结合数据目录以及与业务利益相关者的合作,来管理和维护数据。
  • 自动化数据质量、数据治理及合规性任务,来确保数据已准备好被业务部门所使用。
  • 在组织层面上强调敏捷和自动化的数据管理,其中人员、流程和技术等专注于管理面向业务成果和目标的数据,同时确保较低的治理风险和可控的成本。

Gartner报告指出,在采用了DataOps体系框架后,企业的业务收益均得到了超过预期的增长:

划重点

02

白鲸开源DataOps平台功能全景


白鲸开源公司作为一家云原生开源商业化公司,由阿帕奇开源项目核心团队和全球顶尖的数据领域专家组建,核心员工来自于IBM、Teradata、Informatica、阿里、京东等,研发人员占比超过90%。公司拥有20余项DataOps相关独立软件著作权和专利证书,是高新技术企业和双软认证企业。白鲸开源还入选了可信开源社区共同体(TWOS),在 OSC 中国开源项目评选中被评为「优秀中国开源原生创企」。

白鲸开源DataOps平台的整体技术路线采用当前公认较为成熟的体系架构,通过对持续的数据治理、持续价值探索、持续运营监控,驱动企业的数据运营产生螺旋式迭代的自增长力。如下图所示,建立数据采集、加工、运维、服务过程一站式、体系化、规范化、自助化的流水线管理模式,通过统一数据编排调度和统一数据处理,为数据消费流水线提供服务,让数据能力服务运营过程更加安全、敏捷和智能化。
白鲸开源的DataOps平台具有以下几个优势:

全栈化信创技术支持:

CPU:浪潮、飞腾等;操作系统:中标麒麟、红旗Linux等;数据库:达梦、TDSQL、TiDB等。

全面云、湖、仓一体化架构:

云原生架构—全面支持云、仓、湖部署和管控,实时/离线批流一体化任务管控。

高性能、高可靠性:

单节点性能超过传统工具数十倍,并且可以线性拓展性能,支持每日100万级任务编排调度及10亿级数据量同步;去中心化分布式架构,可支持高并发,多控制节点时刻保证系统高可靠性。

简单易用:

一键式部署,可视化托拉拽操作,降低使用门槛,方便不同角色人员使用。

金融级别安全性:

强大的权限管控和审计功能,更好的满足监管要求;全面的漏洞监控机制,杜绝一切安全隐患。

完整的数据运营能力:

包含完整的数据编排调度、批流一体数据集成、数据开发IDE、统一数据服务和数据治理功能,配合多样化的技术套件,可以在实现统一的数据开发平台、统一的编排调度、统一的数据资产运营的同时,更好地完成离线批处理、实时流处理等任务,有效降低用户数据加工处理的成本,提升数据服务能力,真正实现精益、敏捷的数据运营。
 

划重点

03

白鲸开源DataOps平台在证券行业的应用


当前很多券商在进行数字化转型,在金融科技与业务场景的融合更为密切的情况下,面临着大量数据开发和协同问题:

  • 交付周期长:业务人员与技术人员存在认知差异,从需求描述到需求确认,再到需求实现交付,整条链路耗时长
  • 协作成本高:传统的流程里,需要业务方、分析师,数据开发等多方角色参与,知识背景不同,业务理解不同,沟通协作成本高
  • 复用性差:开发人员往往陷入重复的内容开发中,开发成果未被有效组织利用,复用性差
  • 业务透明度低:传统的交付流程中,以技术人员为主,业务人员参与度低,高代码环境,业务表达能力弱,导致交付结果信任度低

为了解决这些问题,客户需要建立一套科学的、前瞻的、可信的DataOps体系框架,并落地形成IT系统融入进日常工作。其核心是建立起贯穿全局的数据开发运维、管理、运营协同机制,面向数据全生命周期,围绕企业复杂的数据生产消费流水线,基于数据驱动的方法,将人员、流程和技术有机结合,帮助数据组织不断改进数据活动实施层面的协作效能,提高数据交付质量和效率,实现业务价值;