DolphinScheduler 原理架构
端口:
组件
默认端口
说明
MasterServer
5678
非通信端口,只需本机端口不冲突即可
WorkerServer
1234
非通信端口,只需本机端口不冲突即可
ApiApplicationServer
12345
提供后端通信端口
Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统
MasterServer ----- master服务 WorkerServer ----- worker服务 LoggerServer ----- logger服务 ApiApplicationServer ----- api服务 AlertServer ----- alert服务注意: 当你运行dolphinscheduler中的部分服务时,你必须指定这些环境变量
DATABASE_HOST,
DATABASE_PORT,
DATABASE_DATABASE,
DATABASE_USERNAME,
DATABASE_PASSWORD,
ZOOKEEPER_QUORUM
DolphinScheduler的主要角色如下:
MasterServer采用分布式无中心设计理念,MasterServer主要负责 DAG 任务切分、任务提交、任务监控,并同时监听其它MasterServer和WorkerServer的健康状态。
WorkerServer也采用分布式无中心设计理念,WorkerServer主要负责任务的执行和提供日志服务。
ZooKeeper服务,系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。
Alert服务,提供告警相关服务。
API接口层,主要负责处理前端UI层的请求。
UI,系统的前端页面,提供系统的各种可视化操作界面。