EasyETL-简单调度
一、项目简介 EasyETL - 让数据开发像使用办公软件一样简单
EasyETL是一款开源的分布式 DAG 调度系统,面向非技术背景用户和企业数据初学者的轻量级数据集成平台，旨在大幅降低大数据中台的技术门槛。通过可视化界面和向导式配置，用户无需编写复杂代码，只需简单拖拽和配置即可完成异构数据同步、数据清洗转换、任务调度等核心数据开发工作，让企业快速构建数据能力。
二、核心价值主张
不依懒Hadoop集群，“只需简单操作，实现异构数据同步及数据清洗转换”，
零编码体验：只需简单拖拽和配置，实现异构数据同步
分钟级部署：5分钟完成安装，10分钟创建第一个数据同步任务
极简学习：产品经理、运营人员、业务分析师都能快速上手使用
三、项目特性
统一数据源管理：
一次配置，处处使用：数据源统一管理，安全加密，权限隔离，不同项目，不同用户数据源权限独立控制
多角色协同： 管理员：系统配置、用户管理 开发者：任务创建、调度配置 观察者：任务监控、结果查看 运维员：系统监控、告警处理
智能任务调度
依赖调度：任务A完成 → 自动触发任务B
工作流：支持复杂业务流程可视化编排
多种触发：定时、手动
四、项目技术栈
| 依赖 | 版本 | 描述 |
|---|---|---|
| Spring Boot | 2.7.0 | 项目脚手架 |
| MyBatis-Plus | 3.5.1 | 持久层框架 |
| MySQL | 8.x | DB数据库 |
| Redis | 5.0 ↑ | 缓存数据库 |
| RedisStream | 5.0 ↑ | 消息中间件 |
| DataX | 0.0.1-SNAPSHOT | 阿理云开源数据同步框架 |
| Jackson | 2.13.3 | 反序列化框架 |
| Vue.js | 2.X | 前端框架 |
| Element-UI | 2.15.14 | 前端UI |
| Zookeeper | 3.5.10 |
五、已有功能一览
| 模块 | 描述 |
|---|---|
| 数据集成（ETL） | 支持多种数据源的无缝接入，提供直观的ETL设计界面、多任务调度与实时监控。对标Kettle，以更低的使用成本助力数据流转。 |
| 作业调度中心 | 实现任务编排、依赖管理、定时执行、失败重试、日志追踪等核心调度能力，全面提升任务执行的自动化水平与流程可控性。适用于复杂任务流的统一调度与集中管理。 |
| 数据开发 | 数据开发模块支持达梦8、MySQL、Oracle、人大金仓等主流数据库的数据同步及脚本任务开发，通过调用数据集成及脚本开发中已有任务进行工作流式调度，根据业务需求灵活加工和处理数据，支撑复杂业务场景下的数据建模与计算。 |
| 数据查询 | 数据查询模块提供灵活且高效的交互式查询工具，让用户能够迅速分析和挖掘结构化数据中的深层价值，提升数据探索与决策辅助能力。 |
| 系统管理 | 系统管理涵盖系统配置、用户与权限管理、运行监控、日志管理和服务器资源监控等核心功能，同时提供工作空间管理，实现任务在不同项目组间的高效拆分与协作。 |
| 更多功能 | 网盘下载虚似机，体验完整功能。 |
六、项目计划
| 功能名称 | 功能描述 |
|---|---|
| 数据血缘分析 | 支持字段级血缘追踪与图谱化展示，全面梳理数据流转路径与依赖关系，帮助用户清晰理解数据来源与流向，提升数据可追溯性与治理精准度。 |
| 数据图谱管理 | 基于数据仓库构建业务实体、事实表与维度表之间的图谱关系，支持多层级模型梳理与可视化展示，增强对数据逻辑结构与业务依赖的理解与管理能力。 |
| 实时数据开发 | 基于 Flink、Kafka 等流处理引擎构建实时任务开发能力，支持低延迟数据处理与动态指标计算，适用于实时监控、预警推送与事件驱动型业务场景。 |
| 数据质量管理 | 基于规则引擎实现数据质量检测机制，支持质量报告生成与指标统计分析，自动识别数据准确性、完整性、一致性问题，助力企业构建高质量数据治理体系。 |
| 数据比对管理 | 支持数据库连接配置与任务调度，自动执行结构与内容比对任务，生成比对日志，有效验证跨源数据一致性，提升数据校验效率与问题排查能力。 |
| 元数据管理 | 扩展字段级元数据、数据地图、SQL 控制台与变更记录等能力，逐步构建数据血缘分析、影响分析与结构可视化体系，提升数据资产可维护性与治理透明度。 |
七、项目图片
八、项目地址
| 属性 | GitHub | Gitee |
|---|---|---|
| 仓库地址 | https://github.com/symily406/EasyETLPublic.git |
https://gitee.com/easyetl/EasyETLPublic.git |
九、测试环境
| 网盘 | 地址 |
|---|---|
| 百度云盘 | https://pan.baidu.com/s/1xkyiJqy-1XLGx0nqJtNWIw?pwd=easy 提取码: easy |
| 天翼云盘 | https://cloud.189.cn/t/UVBnqmmqQzAj （访问码：69w8） |
网盘下载后，将文件解压后导入虚似机，详情请参考使用说明。
使用说明：https://www.yuque.com/easyetl/yy8raz/zlfib65yris3z5fl?singleDoc#
十、开源协议 如果您将此项目用于商业用途，请遵守 Apache2.0 协议并保留作者技术支持声明。 二次开发如用于商业性质或开源竞品请不要删除和修改源码头部的版权与作者声明及出处 允许进行商用，但是不允许二次开源出来并进行收费，不能基于此项目二开后申请软注等一些商业版权。
十一、免责申请 此项目仅用于学习交流，所有代码（前端、服务端）均为作者一人纯心编写，虽经作者测试，但一个人能力有限，所写的代码可能存在bug，不喜勿喷，如果确实能帮到您，请给个star，谢谢。
十二、联系作者
BUG提交邮箱：
添加作者微信-验证方式:EasyETL
