DolphinScheduler原理架构

韵味老鸟 2024-07-23 14:56:57

DolphinScheduler 原理架构

端口:

组件

默认端口

说明

MasterServer

5678

非通信端口,只需本机端口不冲突即可

WorkerServer

1234

非通信端口,只需本机端口不冲突即可

ApiApplicationServer

12345

提供后端通信端口

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统

MasterServer ----- master服务 WorkerServer ----- worker服务 LoggerServer ----- logger服务 ApiApplicationServer ----- api服务 AlertServer ----- alert服务

注意: 当你运行dolphinscheduler中的部分服务时,你必须指定这些环境变量

DATABASE_HOST,

DATABASE_PORT,

DATABASE_DATABASE,

DATABASE_USERNAME,

DATABASE_PASSWORD,

ZOOKEEPER_QUORUM

DolphinScheduler的主要角色如下:

MasterServer

采用分布式无中心设计理念,MasterServer主要负责 DAG 任务切分、任务提交、任务监控,并同时监听其它MasterServer和WorkerServer的健康状态。

WorkerServer

也采用分布式无中心设计理念,WorkerServer主要负责任务的执行和提供日志服务。

ZooKeeper

服务,系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。

Alert

服务,提供告警相关服务。

API

接口层,主要负责处理前端UI层的请求。

UI

,系统的前端页面,提供系统的各种可视化操作界面。

0 阅读:0