[开源]新一代云原生工作流任务调度平台,分布式易扩展,开箱即用

科技一飞开源 2024-06-14 06:34:44

一飞开源,介绍创意、新奇、有趣、实用的开源应用、系统、软件、硬件及技术,一个探索、发现、分享、使用与互动交流的开源技术社区平台。致力于打造活力开源社区,共建开源新生态!

一、开源项目简介Apache Dolphinscheduler

一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

二、开源协议

使用Apache-2.0开源协议

三、界面展示系统部分截图主页:项目和工作流概览,包括最新的工作流实例和任务实例状态统计。

工作流定义: 通过拖拉拽创建和管理工作流,轻松构建和维护复杂的工作流。

工作流树状图: 抽象的树形结构可以更清晰地理解任务之间的关系

数据源: 支持管理多种外部数据源,为MySQL、PostgreSQL、Hive、Trino等,并提供统一的数据访问能力。

监控:实时查看master、worker和数据库的状态,包括服务器资源使用情况和负载情况,无需登录服务器即可快速进行健康检查。

四、功能概述

新一代云原生工作流任务调度平台,致力于“解决任务之间错综复杂的依赖关系,让整个数据处理开箱即用”。

DolphinScheduler 的主要特性如下:

易于部署,提供四种部署方式,包括Standalone、Cluster、Docker和Kubernetes易于使用,可以通过四种方式创建和管理工作流,包括Web UI、Python SDK、Yaml文件和Open API高可靠高可用,多主多从的去中心化架构,原生支持横向扩展高性能,性能比其他编排平台快N倍,每天可支持千万级任务Cloud Native,DolphinScheduler支持编排多云/数据中心工作流,支持自定义任务类型对工作流和工作流实例(包括任务)进行版本控制工作流和任务的多种状态控制,支持随时暂停/停止/恢复它们多租户支持其他如回填支持(Web UI 原生),包括项目、资源和数据源的权限控制五、技术选型前置准备工作JDK:下载JDK (1.8+),安装并配置 JAVA_HOME 环境变量,并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在,可以跳过这步。二进制包:在下载页面下载 DolphinScheduler 二进制包启动 DolphinScheduler Standalone Server解压并启动 DolphinScheduler

二进制压缩包中有 standalone 启动的脚本,解压后即可快速启动。切换到有sudo权限的用户,运行脚本

# 解压并运行 Standalone Servertar -xvzf apache-dolphinscheduler-*-bin.tar.gzcd apache-dolphinscheduler-*-binbash ./bin/dolphinscheduler-daemon.sh start standalone-server登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

启停服务

脚本 ./bin/dolphinscheduler-daemon.sh 除了可以快捷启动 standalone 外,还能停止服务运行,全部命令如下

# 启动 Standalone Server 服务bash ./bin/dolphinscheduler-daemon.sh start standalone-server# 停止 Standalone Server 服务bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

来源:DolphinScheduler 官方文档

六、源码地址

访问一飞开源:https://code.exmay.com/

0 阅读:0