随着现代企业内部大数据系统的逐步发展，大数据平台批量计算任务、数据仓库任务、数据湖任务、实时数据、科学计算任务越来越多，不知您所在的企业在使用数据调度当中是否遇到这种情况？
一个公司多套数据调度系统并存一个公司多套数据调度系统并存，包括数据仓库、大数据、实时流、科学计算平台等。大数据平台（数据湖）和传统数据仓库调度是两套系统，一个部门两套调度系统都在运行，通过Flag文件、数据库标志进行协同。随着大数据实时数据流Flink,Spark Streaming引擎的加入，加上AI计算平台的任务，大数据平台也开始分裂成多个任务调度引擎。从数据源到最终的数据使用方，需要经过N个不同调度系统。一旦一个数据源出问题，需要多个部门反复在不同平台撮合调试。实时数据流管理更是向蜘蛛网形态发展，Flink任务到处引用与批量任务脱节，出现问题无法根据血缘进行有效管理。
多数批量任务都是0点开始的，特别是在月初和季度初，有很多上报的报表和分析任务都在此时发生。任务并发高的时候，任务和任务之间延迟个5-10分钟是常事。如果遇到任务量巨多的情况，本来00:00的任务，00:30能调度起来就不错。每次月初都要祈祷一切顺利，更不要说微批和实时混用的调度情况。没有统一的云端数据任务IDE管理，代码管理主要靠本地HSQL，Python文件，在调度上线跑的哪个脚本和调度系统完全是割裂的，大数据的开发测试流程复杂或者不完善。对于开发人员你来讲，测试、生成环境主要依赖用户自己在客户端完成，如果要调试几个相关的一系列任务，在调度工具、IDE、结果集各种切换，很难高效工作。而SQL脚本因为其独特性，为了高效利用数据库经常几百行SQL上千行SQL撰写，往往经过几次交接之后，变成了谁都看不懂的“天书”，缺乏有效工具，理解起来非常困难，调整一张表可能会导致错了一堆表。调度系统要么使用远古时代的ETL调度软件，要么使用新一代的Apache开源调度工具。远古软件对新一代数据引擎和任务支持不好，新一代开源工具漏洞更新并不迅速。一做大的安全检查就要关停，日常使用漏洞无法快速更新更是给企业带来巨大的安全隐患。很难找到又针对新一代数据源、云原生支持好同时又可以快速更新漏洞的调度工具。作为Apache 主要维护公司，白鲸开源拥有多名Apache Software Foundation Member和多名Apache DolphinScheduler项目管理委员会成员，公司正式研发人员80%都是Apache Committer，从1.0，2.0,3.0 核心代码很多都由白鲸开源研发人员来推动进行的。近日，白鲸开源公司发布了基于Apache DolphinScheduler 最新版的权威商业版本WhaleScheduler 2.4，进一步解决企业以上遇到的困境：WhaleScheduler 2.4.0继成了WhaleScheduler 2.3.0 的调度架构，底层部署支持K8S和实体机两种方式。功能上，即支持了对Flink实时流任务，也支持了FlinkSQL，SparkSQL，Mapreduce, StoreProcedure批量任务，还支持了Mlops,PyTorch,SageMaker等AI挖掘任务，并完美的做到融合一个DAG图当中，并支持子任务引用其他DAG工作流。真正做到了 "WhaleScheduler我有，调度不愁”的企业版本。WhaleScheduler 2.4 在WhaleScheduler 2.2.0 的调度架构之上进一步优化了多Master和多Worker的协同机制，实现任务调度延迟达到毫秒级，在实时流掌控和支持方面进一步提升。在某移动运营商用户场景中，实现了每日千万量级的任务量，十万级的并发任务毫秒级别延迟，比等开源调度产品快10倍。得益于新一代云原生架构下的多Master多Worker机制，WhaleScheduler 在性能方面是国内外表现最突出的一款产品。
WhaleScheduler 2.4 设计了新一代的IDE，将用户开发、上线、脚本和调度流程整合为一体，帮助企业更有效的管理代码版本，统一代码规范、上线流程，对于开发人员，可以更方便的在云端直接调试脚本，测试和串联相关任务，充分利用服务器端网络环境，避免本地端与开发服务器之间的网络复杂配置。调度上线时，相关脚本同步上线，更有效的管理数据整体开发流程。
同时，针对复杂SQL脚本，IDE提供SQL血缘分析功能，帮助企业快速针对各种SQL的数据源和目标的情况进行分析，加快开发人员之间的交接和Code Review效率，进一步确保企业SQL的准确性，提高整体企业的研发效率。白鲸开源携手国内知名安全企业，定期扫描商业版本漏洞，并快速修复提供安全漏洞补丁和最新版本，给企业一个放心、安全的使用环境，在WhaleScheduler 2.4 版本当中修复的漏洞如下：
WhaleScheduler 2.4 基于 ApacheDolphinScheduler 在多个方面进一步加强，帮助企业在数据调度方面提供高效、安全的商业级别服务，欢迎感兴趣的企业联系咨询。
