K8S的Kafka监控(Prometheus+Grafana)

程序员欣宸 2020/11/5 8:03:50

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等; 对于部署在K8S上的Kafka来说,Prometheus+Grafana是常用的监控方案,今天就来实战通过Prometheus+Grafana监控K8S环境的Kafka…

欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;

对于部署在K8S上的Kafka来说,Prometheus+Grafana是常用的监控方案,今天就来实战通过Prometheus+Grafana监控K8S环境的Kafka;

准备工作

今天聚焦的是Kafka监控,因此需要K8S、Helm、Kafka、Prometheus、Grafana等服务都已就绪,下面提供了一些链接,在您做相关部署时可以作为参考:

  1. 搭建K8S:《kubespray2.11安装kubernetes1.15》
  2. 搭建Helm:《部署和体验Helm(2.16.1版本)》
  3. 搭建Prometheus和Grafana:《kubernetes1.15极速部署prometheus和grafana》
  4. 部署Kafka:《K8S环境快速部署Kafka(K8S外部可访问)》

版本信息

  1. Kubernetes:1.15
  2. Kubernetes宿主机:CentOS Linux release 7.7.1908
  3. NFS服务:IP地址192.168.50.135,文件夹/volume1/nfs-storageclass-test
  4. Helm:2.16.1
  5. Kafka:2.0.1
  6. Zookeeper:3.5.5
  7. Prometheus:2.0.0
  8. Grafana:5.0.0

准备完毕就可以开始实战了;

确认kafka-exporter参数

即将部署的kafka-exporter要从kafka取得数据,因此要准备kafka-exporter参数;

  1. 查看kafka的服务中TYPE是ClusterIP的那个,如下图红框所示:
    在这里插入图片描述
  2. 上述红框中的服务名字是kafka、端口是9092,因此稍后在kafka-exporter中配置的kafka信息就是kafka:9092

实际操作

  1. 添加Helm仓库(该仓库中有我们需要的kafka-exporter):helm repo add gkarthiks https://gkarthiks.github.io/helm-charts
  2. 下载kafka-exporter:helm fetch gkarthiks/prometheus-kafka-exporter
  3. 解压下载的chart文件:tar -zxvf prometheus-kafka-exporter-0.1.0.tgz
  4. 进入解压后的目录:cd prometheus-kafka-exporter
  5. 修改values.yaml文件,如下图红框,kafka:9092就是同一namespace下访问kafka的地址:
    在这里插入图片描述
  6. 在values.yaml文件所在目录执行:helm install --name-template kafka-exporter -f values.yaml . --namespace kafka-test (kafka的namespace是kafka-test,这里的namespace要和kafka保持一致)
  7. 查看服务和pod是否就绪:
    在这里插入图片描述
  8. 此时我们部署好了kafka-exporter,能给prometheus提供监控数据了,但prometheus并不知道要来这里采集数据,因此接下来要配置prometheus;
  9. 确认kafka-exporter服务的访问地址,prometheus采集数据要用到,名字和端口如下图红框所示,因此可以拼接处跨namespace的访问地址:kafka-exporter-prometheus-kafka-exporter.kafka-test.svc.cluster.local:9308
    在这里插入图片描述
  10. 如果您是参照《kubernetes1.15极速部署prometheus和grafana》部署的prometheus,请打开部署时下载的configmap.yaml文件,里面是prometheus的配置,如果是其他途径部署的,请按照自己的部署情况找到prometheus.yml的位置;
  11. configmap.yaml中增加下图红框中的内容,这样prometheus就可以采集kafka-exporter的数据了:
    在这里插入图片描述
  12. 使得配置生效:kubectl apply -f configmap.yaml
  13. 此时的prometheus容器用的还是旧配置,为了让配置生效,要把prometheus的pod删除,这样K8S自动创建的新pod就用上了新的配置,找出prometheus的pod:kubectl get pods -n kube-system
    在这里插入图片描述
  14. 删除旧的pod:kubectl delete pod prometheus-68545d4fd8-f5q2w -n kube-system
  15. 等待新的pod被自动创建;
  16. 接下来登录Grafana,配置监控页面,如下图,做模板导入操作:
    在这里插入图片描述
  17. 在导入模板的页面输入编号7589:
    在这里插入图片描述
  18. 选择数据源的时候,要选prometheus,如下图:
    在这里插入图片描述
  19. 此时如果您的kafka有消息的收发,就可以立即看到数据了:
    在这里插入图片描述
    至此,K8S环境下的kafka监控已经部署完成,希望本文能给您一些参考;

https://github.com/zq2599/blog_demos

随时随地学软件编程-关注百度小程序和微信小程序
关于找一找教程网

本站文章仅代表作者观点,不代表本站立场,所有文章非营利性免费分享。
本站提供了软件编程、网站开发技术、服务器运维、人工智能等等IT技术文章,希望广大程序员努力学习,让我们用科技改变世界。
[K8S的Kafka监控(Prometheus+Grafana)]http://www.zyiz.net/tech/detail-148716.html

上一篇:CentOS 搭建 K8S,一次性成功,收藏了!

下一篇:使用 Iceberg on Kubernetes 打造新一代云原生数据湖

赞(0)

共有 条评论 网友评论

验证码: 看不清楚?
    关注微信小程序
    程序员编程王-随时随地学编程

    扫描二维码或查找【程序员编程王】

    可以随时随地学编程啦!

    技术文章导航 更多>
    扫一扫关注最新编程教程