来源：willblog

https://blog.csdn.net/networken/article/details/85620793

【导读】如何使用prometheus监控k8s集群上的服务？本文介绍了使用operator部署promethues的操作，多图预警注意流量

Prometheus Operator简介

kube Prometheus项目地址：
https://github.com/coreos/kube-prometheus

prometheus-operator项目地址：
https://github.com/coreos/prometheus-operator

两者区别：

• prometheus-operator只包含一个operator，该operator管理和操作Prometheus和Alertmanager集群。
• kube Prometheus以Prometheus Operator和一系列manifests文件为基础，以帮助你快速在kubernetes集群中部署Prometheus监控系统。

各组件功能说明：

• Exporters ：暴露metrics，收集监控指标，并以一种规定的数据格式通过 HTTP 接口提供给Prometheus-采集监控对象数据，安装在监控目标的主机上，为server提供数据抓取的接口，需要定制化。当然官网也提供了很多常用的exporter ，用于mysql,redis,nginx,宿主机等。
• Prometheus server主服务,用于存储时间序列数据，负责从 Exporter 拉取和存储监控数据，并提供一套灵活的查询语言（PromQL）供用户使用。收集数据和存储数据到时间序列数据库中，收集的数据由Exporters提供-采集/存储数据
• client library 检测应用程序代码的客户端库,用于一些应用的定制化监控.多种导出工具，可以支持Prometheus存储数据转化为HAProxy、StatsD、Graphite等工具所需要的数据存储格式
• push gateway可用来支持短连接任务的推送网关,用于短生存周期的job推送，针对HAProxy，StatsD，Graphite等服务的特殊需求数据出口。Push Gateway：用于短期的jobs，jobs直接向Prometheus server端推送它们的 metrics.用于服务层面的 metrics
• alertmanager报警管理端(alartmanager,单独进行报警汇总,分发,屏蔽等 )，用户可以定义基于监控数据的告警规则，规则会触发告警。一旦 Alermanager 收到告警，会通过预定义的方式发出告警通知。支持的方式包括 Email、PagerDuty、Webhook 等。告警管理，接收Prometheus的告警，去重/分组/发出告警（邮件、webhook等）- 告警
• 可视化的dashboard (两种选择,promdash 和 grafana.目前主流选择是 grafana.) Grafana：监控Dashbord，UI展示，设置Prometheus Server地址即可自定义监控Dashbord- UI展示

部署环境信息：
kubernetes当前版本：v1.15.0
kube-prometheus当前版本：v0.3.0

注意：必须保证各个节点时间同步，否则可能无法查看到数据。

部署kube Prometheus

参考：https://github.com/coreos/kube-prometheus#quickstart

查看创建的资源

查看创建的namespace

部署完成后，会创建一个名为monitoring的 namespace，所有资源对象都将部署在该命名空间下.

此外 Operator 会自动创建了多个 CRD 资源对象：

在 monitoring 命名空间下查看所有Pod

查看创建的所有资源

其中 alertmanager 和 prometheus server是用 StatefulSet 控制器管理的，其中还有一个比较核心的 prometheus-operator 的 Pod，用来控制其他资源对象和监听对象变化。

查看crd自定义资源，控制副本数，持久卷等

访问prometheus

以nodeport方式为例，端口自定义

• grafana使用30030
• prometheus使用30090
• alertmanager使用30093

以patch方式更新service类型：

成功后浏览器直接访问以下链接即可，nodeip+port方式：

• http://192.168.92.56:30030
• http://192.168.92.56:30090
• http://192.168.92.56:30093

grafana登录的账号密码默认为admin/admin

访问prometheus

prometheus对应的nodeport端口为30200，访问http://192.168.92.56:30200

通过访问http://192.168.92.56:30200/target 可以看到prometheus已经成功连接上了k8s的apiserver

查看service-discovery

Prometheus自己的指标

prometheus的WEB界面上提供了基本的查询K8S集群中每个POD的CPU使用情况，查询条件如下：
sum by (pod_name)( rate(container_cpu_usage_seconds_total{image!="", pod_name!=""}[1m] ) )

上述的查询有出现数据，说明node-exporter往prometheus中写入数据正常，接下来我们就可以部署grafana组件，实现更友好的webui展示数据了。

访问grafana

查看grafana服务暴露的端口号：

如上可以看到grafana的端口号是30100，浏览器访问http://192.168.92.56:30100
用户名密码默认admin/admin

修改密码并登陆。

添加数据源
grafana默认已经添加了Prometheus数据源，grafana支持多种时序数据源，每种数据源都有各自的查询编辑器。

Prometheus数据源的相关参数：

目前官方支持了如下几种数据源：

导入dashboard:
导入面板，可以直接输入模板编号315在线导入，或者下载好对应的json模板文件本地导入，面板模板下载地址：
https://grafana.com/dashboards/315
https://grafana.com/dashboards/8919

导入面板之后就可以看到对应的监控数据了,点击HOME选择查看，其实Grafana已经预定义了一系列Dashboard：

查看集群监控信息
另外一个dashborad模板

能够监控的资源：

• 可以监控 Kubernetes 集群的整体健康状态
• 整个集群的资源使用情况
• Kubernetes 各个管理组件的状态
• 整个集群的资源使用情况
• 节点的资源使用情况
• Deployment 的运行状态
• Pod 的运行状态