WhaleScheduler 浏览器 SQL IDE+DataOps 助力企业提高远程数据开发效率
如下图所示，在编辑复杂HSQL，SQL或者Python任务组件的时候，可以直接使用右侧脚本的编辑框内直接编辑相关脚本，脚本具有高亮显示，同时在右侧有运行按钮，可以直接在编辑的同时来进行调试脚本，所有的SQL的结果或者Python的报错徐信息，可以在运行日志文本框中体现，让用户直接在IDE当中完成对大数据集群Spark集群SQLServerMySQL，GreenplumTeradataPytorchMlflow等环境的开发和调试
![]()
数据既是企业的生命线也是企业的新能源，这就要求我们一方面要对数据安全严格把控，一方面又要尽可能的释放开发和运营效率。这在传统办公环境下，比较容易控制，例如使用2台电脑，内网电脑使用指定的客户端访问公司内网环境进行数据开发，访问外网单独的电脑做资料查询和交流工作。
但是，疫情来袭，传统的内外网模式打破了传统研发模式，特别是对于大数据开发提出了诸多挑战。
VPN+远程虚拟桌面开发成本成本高，难以支撑正常开发活动
大多数企业过去都积累了一套VPN+远程虚拟桌面的方式来应对远程进入公司内网处理的整体机制，然而，随着大量员工需要居家办公，远程虚拟桌面License明显受限，大量采购成本过高，同时，远程桌面硬件也难以支持动辄上百人，甚至上千人研发团队的远程开发效率。企业不得降低员工在家办公参与效率，从而让企业开发效率特别是数据相关开发效率。
各种复杂大数据开发环境、无法通过远程办公安全有效进行开发调试
众所周知，新一代的数据开发环境包括SQL，No-SQL，Python，Hadoop，Spark等多种开发环境。这些环境除了会使用多种客户端之外，也会使用各种各样多种网络接口。如果企业使用远程桌面，往往客户端使用受限无法满足开发需求，如果使用VPN开放网络端口，又容易被大量调试的网络端口带来安全风险。如何满足大数据开发一直是企业大数据远程难题。在居家远程开发模式下，如何更好的相互协同是企业面临的挑战。不在同一个办公环境下，数据开发缺乏良好协同DevOps的工具，往往造成上下游开发相互影响或者代码相互覆盖，或者就会产生大量的协同会议，降低开发效率。需要一个开发工具，在数据开发过程当中，也支持DevOps流程，可以使用提交PR、Merge、分支管理等功能，让大家协同开发而不是各自开发一个流程。系统上线切换，数据开发与应用研发CI/CD流程长期无法统一
目前各个企业在应用研发体系里，已经积累了成熟的上下线与CI/CD流程，并有相关的工具例如Jenkins, Bitbucket或者自建自动化流程可以快速进行CI/CD。然而数据开发方面，基本上还停留在上线下线靠文件导入导出，手工操作阶段，缺乏自动化工具且容易出错。远程办公更是导致上线工作大量积压，不得不让值班人员轮流住在单位处理各种监控运维、上线操作。远程办公因为远程开发工具不足，数据安全问题以及自动化上线机制缺乏、人手不足等情况，导致数据开发效率严重下降。失去数据驱动的发动机，大量市场营销活动、决策机制得不到有效的数据支撑，影响公司正常的市场经营活动和在疫情特殊情况下的有效决策。基于多Master多Worker技术架构，自主开发一整套基于Web的数据开发IDE机制，并通过WhaleScheduler的分布式环境可以支持在Hive, Spark, Python, AI, Teradata, Greenplum, SQL Server, MySQL等多种环境下进行调试，开发、Ops上线机制。助力企业在员工居家办公的条件下提高数据开发、上线、运维效率。
WhaleScheduler浏览器IDE+调试支持多种大数据开发环境
得益于DolphinScheduler分布式架构，每一个Worker可以通过远程调用的方式来使用各种复杂数据和大数据环境，WhaleScheduler拓展了Web端IDE开发环境，从而实现远程执行、调试各种复杂代码。如下图所示，在编辑复杂HSQL，SQL或者Python任务组件的时候，可以直接使用右侧脚本的编辑框内直接编辑相关脚本，脚本具有高亮显示，同时在右侧有运行按钮，可以直接在编辑的同时来进行调试脚本，所有的SQL的结果或者Python的报错徐信息，可以在运行日志文本框中体现，让用户直接在IDE当中完成对大数据集群、Spark集群、SQLServer、MySQL，Greenplum、Teradata、Pytorch、Mlflow等环境的开发和调试。后期随着IDE逐步完善，将有更多的交互提示（例如表字段等），提高整体开发效率。WhaleScheduler DataOps组件支持手工上下线以及第三方代码托管平台自动CI/CD
多数企业目前上线工作主要通过打包文件+手工配置的方式来控制大数据环境的上线下流程，WhaleScheduler在Apache DolphinScheduler3.1.0支持DAG与Yaml文件互换的技术之上，实现了与Git、Github、Bitbucket打通，同时也支持一键导入导出DAG与相关的资源文件。这样，用户可以直接在浏览器端，实现代码的提交、合并并可以依赖Git自动化打包流程以及CI/CD流程实现DataOps上线流程，而不依赖企业运维人员手工执行相关代码。运维人员可以通过监控大屏或者在CI流程中通过审批来自动化实现自动化大数据/数据脚本上线部署工作。同时，也帮助企业不同员工之间利用DevOps的流程就行，协同开发，事半功倍。这是WhaleScheduler DataOps组件支持Git基础流程。对于上下线没有CI/CD流程，需要手工上线的企业，WhaleScheduler DataOps组件依然保持了一键导入导出方式，并支持Excel导入导出工作流的方式，帮助企业快速支持整体大数据工作流的上下线。对于WhaleScheduler浏览器IDE和WhaleScheduler DataOps组件感兴趣的企业，可以联系我们获得进一步信息沟通：
