花样玩转“所见即所得”的可视化开发UI!

作为软件企业代表,白鲸开源CEO郭炜受邀参加「开源生态培育」分会圆桌论坛,就开源与人工智能协同创新驱动下的产业变革展开讨论,分享了开源与AI融合实践下的商业模式创新。

17187028146747ed690c8916fbb5f6a65f9799c900639

随着技术的发展,用户对软件的界面美观度和交互体验的要求越来越高。在这样的背景下,可视化开发UI(User Interface)成为了提升用户体验和开发效率的重要工具。

通过图形界面来设计和构建用户界面的方法,可视化开发UI可以说改变了软便开发的生态,与传统的代码编写相比,它允许开发者使用拖放等直观的操作来布局界面元素,而无需编写大量的代码,可以达到提升开发效率、加强团队协作、降低技术门槛、快速响应需求变化,增强用户体验的目的。常见的可视化开发UI工具与技术包括拖放界面构建器、模板和预设、响应式设计、交互式原型,以及代码生成等。

为了更好地满足用户需求,尽可能降低用户的使用难度,白鲸数据集成平台WhaleTunnel给用户提供了一套完善的任务开发、任务管理、任务调度、任务监控的可视化UI。

WhaleTunnel支持可视化DAG开发数据集成作业,并且数据源信息单独管理,不需要在每个作业中重复配置数据库连接地址、数据库用户名、密码等信息。

独立的数据源管理功能

1718702857269080e7597e2911a9d92a5f9adfaef7e4c

图1 创建数据来源

虚拟表管理功能

在WhaleTunnel中,我们统一了同步任务定义的操作规范,Source、Transform、Sink每个任务节点都会显示输入表结构和输出表结构。日常我们在处理如Kafka数据时,由于Kafka中的数据没有schema信息,为了将Kafka中的数据也当成表来处理,同时面对复杂的SaaS数据源,也可以讲SaaS数据源变成虚拟表在后续数据整合中复用并简化操作。

虚拟表管理功能的核心目标是将那些非结构的数据源,通过自定义表结构的方式,抽象成结构化数据,然后在同步任务开发时,可以像那些结构化数据源一样,对数据源中的数据进行字段过滤,字段改名,字段类型映射等操作。
在虚拟表创建时必须指定数据源名称,对于Kafka来说,我们可以在数据源中创建Kafka的数据源,填写Kafka连接地址,topic名称信息。然后创建虚拟表选择前面创建的Kafka数据源,即可针对数据源中的Topic中的数据定义表结构信息。

同步任务数据Mapping开发

WhaleTunnel的同步任务定义是可视化Mapping开发模式。

17187028572792aee3801a270a26451f011035e33205e

图2 Create Date Pipelines

全链接监控

WhaleTunnel会监控同步任务的详细信息,目前我们以pipeline为粒度进行汇总并显示到同步任务实例中。通过这些监控信息,用户可以明确了解同步任务读取和写入的数据行数、处理的性能等。

随着人工智能和机器学习技术的发展,未来的可视化开发工具将更加智能,能够根据用户行为和偏好自动优化界面设计。同时,增强现实(AR)和虚拟现实(VR)技术也将为可视化开发带来新的机遇和挑战。随着技术的不断进步,我们期待WhaleTunnel可视化开发UI在未来将发挥更大的作用,为客户的软件开发带来革命性的变化。


白鲸开源

白鲸开源是一家开源原生的dataops商业公司,由多个Apache Foundation Member成立,80%员工都是 Apache Committer,运营2个全球Apache开源项目(DolphinScheduler, SeaTunnel),同时根据全球最佳实践发布商业版版本WhaleScheduler和WhaleTunnel。我们致力于打造下一代开源原生的DataOps 平台,助力企业在大数据和云时代,智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理,以提高企业解决数据问题的效率,提升企业分析洞察能力和决策能力。

联系方式

公司网站: www.whaleops.com
联系邮箱: xiyan@whaleops.com