flink架构原理

韵味老鸟 2024-07-30 14:57:53

flink 架构原理

Flink集群主要包含3部分:JobManager、TaskManager和客户端,三者均为独立的JVM进程。Flink集群启动后,会至少启动一个JobManager和多个Task-Manager。客户端将任务提交到JobManager,JobManager再将任务拆分成Task并调度到各个TaskManager中执行,最后TaskManager将Task执行的情况汇报给JobManager

通常在Flink中会有多个TaskManager运行,每一个TaskManager都包含了一定数量的插槽(slots)。插槽的数量限制了TaskManager能够执行的并行任务数量

## 部署多个jobmanager

浏览器访问 http://localhost:8081 和 http://localhost:8082,查看里边的日志,搜索granted leadership的说明是主JobManager,如下图。8082端口说明为主JobMaster

一个JobManager, 里边有三个TaskManager,两个JobManager共享这三个TaskManager

多个jobmanager,由zookeeper去调用,但同一时刻只能有一个jobmanager活跃

0 阅读:6