Apache SeaTunnel 3 分钟入门指南

时间：2023-04-18 作者：来源：浏览：分类：SeaTunnel

1.如果没有Java运行环境，请首先下载一个Java环境Java(Java8or11其他大于Java8版本理论上也能支持)确保在终端执行java-version可以输出java版本信息，如下2.下载并安装SeaTunnel发行版从官方网站httpsseatunnel.apache.orgdownload)下载最新的SeaTunnel发行版，并解压到合适的目录

简介

是 Apache 软件基金会下的一个开源大数据集成工具，为数据集成场景提供灵活易用、易扩展并支持千亿级数据集成的解决方案。SeaTunnel 可以选择 SeaTunnel Zeta [1] 引擎上运行，也可以选择在 Apache Flink 或 Spark 引擎上运行。Seaunnel 为实时(CDC)和批量数据提供高性能数据同步能力。本指南将引导您快速入门 SeaTunnel，为您的大数据集成项目提供支持(为了使用上的方便，本文将以 SeaTunnel Zeta 为运行引擎)。

环境准备

1. 如果没有 Java 运行环境，请首先下载一个 Java 环境：

Java (Java 8 or 11, 其他大于 Java 8 版本理论上也能支持) 确保在终端执行 `java -version` 可以输出 java 版本信息，如下

2. 下载并安装 SeaTunnel 发行版：从官方网站（https://seatunnel.apache.org/download) 下载最新的 SeaTunnel 发行版，并解压到合适的目录。

3. 安装 Connector 插件：需要什么数据源插件就安装什么[2]，非常简单。您可以通过配置 `config/plugin_config` 文件来指定所需的插件。如果你初次只是想体验一下 SeaTunnel, 您只需要保留 2 个 connector-fake(造数插件)、connector-console(打印到控制台插件) 2 个插件就可以了，您可以修改 `plugin_config` 文件只保留如下内容：

--connectors-v2--connector-fakeconnector-console--end--

然后运行命令安装 connector (注：从 2.2.0-beta 开始，二进制包默认不提供 connector 依赖，所以第一次使用需要下载 connector 插件)

sh bin/install-plugin.sh 2.3.1

执行完毕后，在 `connectors/seatunnel` 目录下会出现相应的 connector jar。

注意：该操作需要联网，你也可以手动下载 connector 从 [Apache Maven Repository](https://repo.maven.apache.org/maven2/org/apache/seatunnel ) 下载，然后手动移动到 `connectors/seatunnel` 目录

配置 SeaTunnel 同步作业

添加作业配置文件。编辑 config/v2.batch.config.template 文件，该文件决定了在启动 SeaTunnel 后数据输入、处理和输出的方式及逻辑。以下是一个配置文件示例:

1_20230424_211451220

运行 SeaTunnel 作业

在命令行中，切换到 SeaTunnel 解压目录, 运行以下命令，启动 SeaTunnel 作业：

cd "apache-seatunnel-incubating-${version}"./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

此命令将以 local (本地模式) 运行您的 SeaTunnel 作业。如果您需要以 SeaTunnel Cluster (集群模式) 请参考[3]。

当您运行上述命令时，您可以在控制台中看到其输出。您可以将其视为命令是否成功运行的标志。

SeaTunnel 控制台将打印如下日志：

2023-04-11 18:33:30,547 INFO  org.apache.seatunnel.connectors.seatunnel.fake.source.FakeSourceSplitEnumerator - Assigning splits to readers 0 [FakeSourceSplit(splitId=0, rowNum=16)]2023-04-11 18:33:30,551 INFO  org.apache.seatunnel.connectors.seatunnel.fake.source.FakeSourceSplitEnumerator - Assigning splits to readers 1 [FakeSourceSplit(splitId=1, rowNum=16)]2023-04-11 18:33:31,489 INFO  org.apache.seatunnel.connectors.seatunnel.fake.source.FakeSourceReader - 16 rows of data have been generated in split(1). Generation time: 16812092114852023-04-11 18:33:31,489 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=1  rowIndex=1:  SeaTunnelRow#tableId= SeaTunnelRow#kind=INSERT : jBHJM, 12517176272023-04-11 18:33:31,489 INFO  org.apache.seatunnel.connectors.seatunnel.fake.source.FakeSourceReader - Closed the bounded fake source2023-04-11 18:33:31,489 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=1  rowIndex=2:  SeaTunnelRow#tableId= SeaTunnelRow#kind=INSERT : hOPkY, 5651947442023-04-11 18:33:31,489 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=1  rowIndex=3:  SeaTunnelRow#tableId= SeaTunnelRow#kind=INSERT : QRUsG, 706574302...............

当任务运行完毕，会出现本次任务的汇总信息：

2023-04-11 18:33:32,639 INFO  org.apache.seatunnel.core.starter.seatunnel.command.ClientExecuteCommand -***********************************************           Job Statistic Information***********************************************Start Time                : 2023-04-11 18:33:27End Time                  : 2023-04-11 18:33:32Total Time(s)             :                   4Total Read Count          :                  32Total Write Count         :                  32Total Failed Count        :                   0***********************************************

至此，SeaTunnel 就已经成功运行完成了！

总结

通过遵循本指南，您已经成功地搭建并运行了一个基本的 SeaTunnel 任务。您现在可以开始尝试使用 SeaTunnel 解决您的数据集成需求。怎么样，是不是非常非常简单易上手，快来试一试吧！

如需了解更多关于 SeaTunnel 的详细信息，请访问官方文档：

https://seatunnel.apache.org/

也欢迎联系贡献者微信：seatunnel1 加入我们的 SeaTunnel 官方用户群。

附录，已经在使用 SeaTunnel 的部分用户

https://seatunnel.apache.org/docs/2.3.1/seatunnel-engine/about
https://seatunnel.apache.org/docs/2.3.1/start-v2/locally/deployment#step-3-install-connectors-plugin
https://seatunnel.apache.org/docs/2.3.1/seatunnel-engine/cluster-mode

上一篇：Apache DolphinScheduler 发布 3.1.6 版本，支持 SeaTunnel Zeta 引擎

下一篇：SeaTunnel 日志框架集成改造，确保 100+ 连接器日志稳定输出