flink告警架构逻辑

韵味老鸟 2024-08-01 12:43:09

flink 告警架构逻辑

Flink App : 通过report 将数据发出去

Pushgateway : Prometheus 生态中一个重要工具

Prometheus : 一套开源的系统监控报警框架

Grafana: 一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示,并及时通知

Node_exporter : 跟Pushgateway一样是Prometheus 的组件,采集到主机的运行指标如CPU, 内存,磁盘等信息

flink-conf.yaml 告警部分

##metricsmetrics.reporter.promgateway.factory.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporterFactorymetrics.reporter.promgateway.hostUrl: http://192.168.10.13:9091metrics.reporter.promgateway.jobName: myJobmetrics.reporter.promgateway.randomJobNameSuffix: truemetrics.reporter.promgateway.deleteOnShutdown: falsemetrics.reporter.promgateway.groupingKey: id=flink10-13;k1=v1;k2=v2metrics.reporter.promgateway.interval: 60 SECONDS

#需要flink程序配置监控

##### 与Prometheus集成配置 #####metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter# PushGateway的主机名与端口号metrics.reporter.promgateway.host: mastermetrics.reporter.promgateway.port: 9091## Flink metric在前端展示的标签(前缀)与随机后缀metrics.reporter.promgateway.jobName: flink-metrics-ppg#如果jobName启动二次,那么第二次的时候会有一个随机的名字metrics.reporter.promgateway.randomJobNameSuffix: truemetrics.reporter.promgateway.deleteOnShutdown: false#这里表示多久推一次数据metrics.reporter.promgateway.interval: 15 SECONDS

#搜索flink 执行日志Log

0 阅读:4