摘要:介绍离线开发平台(DolphinScheduler),完成InfluxDB数据同步至Doris演示流程。实现 InfluxDB 数据的高效抽取、格式转换与 Doris 的稳定写入,验证AllData数据中台对多源异构数据库的适配能力、离线数据同步的可靠性及高效性。

AIIData数据中台-离线开发平台集成开源项目DolphinScheduler提供可视化离线任务编排、多源异构数据集成、灵活的定时与依赖调度、全链路监控运维等核心能力,兼容主流计算引擎与各类数据源,可高效完成离线数据抽取、加工、同步、计算全流程作业。

- InfluxDB 版本 1.12.2

一、环境准备

1.启动Seatunnel并进行配置
在这里插入图片描述

2、添加以下信息
在这里插入图片描述

3、使配置生效
在这里插入图片描述

4、进入SEATUNNWEL-HOME 目录
在这里插入图片描述

5、下载连接器,执行以下命令
在这里插入图片描述
6、下载完成,查看连接器
在这里插入图片描述
在这里插入图片描述

7、获取 mysql jdbc 连接驱动,并上传到${SEATUNNEL_HOME}/plugins目录下
下载链接: (如需要网盘链接,联系市场总监获取)
在这里插入图片描述

二、进入数据源管理平台

1、Influxdb 创建数据库表mydb.cpu, 数据为3条
在这里插入图片描述
2、创建Doris库表(无需操作,自动建表)
在这里插入图片描述

三、进入离线开发平台

在这里插入图片描述
在这里插入图片描述

1、配置环境
✅ 打开安全中心
在这里插入图片描述
✅ 在左侧菜单选择环境管理
在这里插入图片描述

✅ 创建环境
在这里插入图片描述

・配置 JDK
・配置 SeatunnelServer
・确定

2、创建任务
✅ 打开项目管理
在这里插入图片描述

✅ 创建项目
在这里插入图片描述

3、点击项目名称
在这里插入图片描述

✅ 打开工作流定义
在这里插入图片描述

✅ 创建工作流(找到数据集成 SEATUNNEL,拖拽到画板)
在这里插入图片描述
在这里插入图片描述
・填写必填项
・页面下滑,找到脚本设置
・加入以下脚本内容
在这里插入图片描述
✅ 点击确定保存

✅ 保存工作流
在这里插入图片描述
在这里插入图片描述

✅ 上线工作流
在这里插入图片描述
在这里插入图片描述

✅ 暂不配置定时任务,手动触发执行
在这里插入图片描述

✅ 运行工作流
在这里插入图片描述
在这里插入图片描述

✅ 打开工作流实例
在这里插入图片描述
✅ 查看工作流运行状态

✅ 打开任务实例
在这里插入图片描述
✅ 可以看到任务执行完成

4、数据验证
✅ 同步数据前,查看influxdb,数据库mydb, 表cpu记录为3条。
在这里插入图片描述

✅ 同步数据前,查看Doris,没有数据库/表。
在这里插入图片描述

✅ 同步数据后,查看Doris,自动创建mydb数据库,cpu表数据为3条。
在这里插入图片描述

从依赖配置、数据源注册到工作流编排、数据验证,本文完整呈现 AllData数据中台离线开发平台下 InfluxDB 到 Doris 的同步实操,凸显低代码编排、稳定传输优势,为时序数据的高效分析与价值释放提供可落地的解决方案。

杭州奥零数据科技官网:http://www.aolingdata.com

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐