问题排查

遇到问题请先看，问题排查文档，其中汇总了场景问题和排查思路。

模式说明

对应配置项为collect_mode cadvisor_plugin | kubelet_agent | server_side 三选一
代码为同一套代码

模式名称	部署运行方式	collect_mode配置	说明
夜莺插件形式采集cadvisor raw api	可执行的插件由夜莺agent调用	cadvisor_plugin	文档在readme最下面 (原有cadvisor采集模式)
容器基础资源指标采集	k8s daemonset 部署在每一个node上	kubelet_agent	统称为新模式 (kubelet地址由对应metrics port listen地址决定)
集中采集k8s服务组件	k8s deployment 部署	server_side	统称为新模式

k8s-mon对比prometheus的优点

Histogram指标分位值预计算，节约存储、降低服务端压力(高基数指标往往来自histogram的海量bucket，同时除了算分位值以外的应用如分布情况又较少)
基础资源指标预计算，counterTogauge 简化最终查看的表达式
容器基础资源/k8s资源指标和夜莺树绑定

新模式：部署在k8s中采集相关指标

原理说明

通过抓取各个组件的/metrics接口获得prometheus的数据，ETL后push到夜莺
各个采集项目有metirc和tag的白名单过滤
cadvisor数据需要hold点做计算比率类指标，多用在百分比的情况，其余不需要
counter类型将有夜莺agent转换为gauge型，即数值已经转为rate了 ,所有counter类型metric_name 加_rate后缀
指标说明在metrics-detail文件夹里
k8s yaml配置在 k8s-config中
服务组件监控时多实例问题：用户无需关心，k8s-mon自动发现并采集
采集每node上的kube-proxy kubelet-node指标时支持并发数配置和静态分片
服务组件采集时会添加func_name标签作为区分具体组件任务，类似prometheus的job标签
基础指标添加node_ip ,node_name作为宿主机标识标签
ksm指标没有nid的默认上报到服务节点server_side_nid ，例如kube_node_status_allocatable_cpu_cores这种共享指标
服务组件采集预聚合了一些指标，包括分位值、平均值、成功率，对应文档在 metrics-detail/preaggregation.md
服务组件采集了对应golang 进程的指标包括内存、goroutine等，对应文档在 metrics-detail/process-resource.md

采集内容说明

一般来说在k8s集群汇总我们关注一下4类指标

指标类型	采集源	应用举例	部署方式
容器基础资源指标	kubelet 内置cadvisor	查看容器cpu、mem等	k8s daemonset
k8s资源指标	kube-stats-metrics (简称ksm)	查看pod状态、查看deployment信息等	k8s deployment (需要提前部署ksm)
k8s服务组件指标	各个服务组件的metrics接口(多实例自动发现) apiserver kube-controller-manager kube-scheduler etcd coredns kube-proxy kubelet-node	查看请求延迟/QPS等	和ksm同一套代码，部署在 k8s deployment
业务指标(暂不支持)	pod暴露的metrics接口	-	-

采集地址配置/发现说明

每种项目配置了相关配置段才会开启，如果不想采集某类指标可以去掉其配置
每种项目由 user_specified 配置是否采用用户指定的地址，用来处理有些服务组件以裸进程形式部署无法从内部发现的case
当user_specified：true时，对应的addrs为采集地址url列表
当user_specified：false时，则认为由内置的代码来进行动态发现，需要配置好对应的port schema metrics_path等信息

采集类型	采集地址说明	配置/发现说明
容器基础资源指标 kubelet-cadvisor	kubelet 在node上listen分两种情况: listen 0.0.0.0 listen机器内网ip	默认为`k8s-mon`自动根据配置的`port`找到对应的地址
k8s资源指标 kube-stats-metrics	默认为通过coredns 访问service `http://kube-state-metrics.kube-system:8080/metrics`	同时支持指定
k8s服务组件指标(master侧) apiserver kube-controller-manager kube-scheduler etcd coredns	需要注意这些组件的部署方式 : 部署在pod 中以裸进程部署	`k8s-mon`默认认这些组件部署在pod中，通过getpod获取地址列表
k8s服务组件指标(每node部署) kube-proxy kubelet-node	需要注意这些组件的部署方式 : 部署在pod 中以裸进程部署	`k8s-mon`默认认这些组件在每个node都可以以`ip:port/metrics`访问到，通过getnode获取internal ip ，对应的服务需要listen 内网ip或`0.0.0.0`
业务指标(暂不支持)	pod暴露的metrics接口	-

使用指南

3、安装步骤

setup01 准备工作

准备k8s环境，确保每个node节点部署夜莺agent n9e-agent

# 创建namespace kube-admin
kubectl create ns kube-admin
# 创建访问etcd所需secret，在master上执行（不采集etcd则不需要）
# 注意如果 不采集etcd，没有创建对应的证书(如k8s使用公有云托管的)，默认 deployment中挂载证书那几行是注释掉的，开启etcd采集再打开
# etcd证书信息依据自己环境替换即可
kubectl create secret generic etcd-certs --from-file=/etc/kubernetes/pki/etcd/healthcheck-client.crt --from-file=/etc/kubernetes/pki/etcd/healthcheck-client.key --from-file=/etc/kubernetes/pki/etcd/ca.crt -n kube-admin

直接使用公共源的镜像

# 公共源使用阿里云的
# registry.cn-beijing.aliyuncs.com/n9e/k8s-mon:v1

或者自己下载代码，打镜像

mkdir -pv $GOPATH/github.com/n9e 
cd $GOPATH/github.com/n9e 
git clone https://github.com/n9e/k8s-mon 

# 使用docker 命令，或者ci工具,将镜像同步到仓库中 
# 如需修改镜像名字，需要同步修改daemonset 和deployment yaml文件中的image字段
# 镜像需要同步到所有node，最好上传到仓库中
cd k8s-mon  && docker build -t k8s-mon:v1 .

setup02 必须修改的配置

修改对接夜莺nid标签的名字

对应配置为配置文件中的n9e_nid_label_name
默认为:N9E_NID，与之前k8s-mon采集cadvisor指标要求容器环境变量名一致
如需修改则需要改 k8s-config/configMap_deployment.yaml 和 k8s-config/configMap_daemonset.yaml 中的 n9e_nid_label_name字段

pod yaml文件中传入上述 nid标签，例如：N9E_NID

举例：deployment中定义pod的 N9E_NID label，假设test-server01这个模块对应的服务树节点nid为5
后续该pod的容器的基础指标出现在nid=5的节点下: 如 cpu.user
后续该pod的k8s的基础指标出现在nid=5的节点下: 如 kube_deployment_status_replicas_available
其余自定义标签不采集,如：region: A cluster: B

apiVersion: apps/v1
kind: Deployment
metadata:
  name: test-server01-deployment
  labels:
    app: test-server01
    # 这里表示此deployment的nid为5
    N9E_NID: "5"
spec:
  replicas: 1
  selector:
    matchLabels:
      app: test-server01
  template:
    metadata:
      labels:
        app: test-server01
        region: A
        cluster: B
        # 这里表示此deployment启动的容器nid为5
        N9E_NID: "5"

服务组件监控需要指定server_side_nid

修改 k8s-config/configMap_deployment.yaml 将 server_side_nid: 字段改为指定的服务组件监控叶子节点的nid
举例：server_side_nid: "6"：代表6为k8s集群的服务树叶子节点，k8s控制平面的指标都会上报到这里

k8s服务组件指标(master侧) 如果不是部署在pod中，需要指定采集地址

apiserver 、kube-scheduler、coredns、etcd等
k8s-mon默认认这些组件部署在pod中，通过getpod获取地址列表
如果不是部署在pod中，需要指定采集地址(将user_specified设置为true，并指定addr，其余配置保持不变即可)，举例如下

apiserver:
  user_specified: true
  addrs:
    - "https://1.1.1.1:6443/metrics"
    - "https://2.2.2.2:6443/metrics"

setup03 可以调整的配置(维持默认值时可跳过此段配置)

如果不想采集某类指标可以去掉其配置

举例：不想采集apiserver的指标
则去掉/注释掉 k8s-config/configMap_deployment.yaml中 apiserver段即可
deployment中需要采集每node的kube-proxy 和kubelet (node量大的时候)不需要可以去掉

每node的kube-proxy 和kubelet静态分片采集

默认采集所有node的指标，在node数量大时会导致性能问题，则需要开启分片采集
举例有1万个node需要采集kube-proxy，则部署3个k8s-mon，配置值开启kube-proxy段
其中hash_mod_num代表总分片数量 hash_mod_shard代表本实例取模后的index(取值范围是0 ~ hash_mod_num-1)
那么这三个实例则会将1万个node分片采集

# 实例1
kube_proxy:
  hash_mod_num: 3
  hash_mod_shard: 0

# 实例2
kube_proxy:
  hash_mod_num: 3
  hash_mod_shard: 1

# 实例3
kube_proxy:
  hash_mod_num: 3
  hash_mod_shard: 2

想给某个采集项指定采集地址

举例：想设置kube-scheduler的采集地址为 https://1.1.1.1:1234/metrics 和 https://2.2.2.2:1234/metrics
则修改k8s-config/configMap_deployment.yaml中 user_specified 和addrs即可

kube_scheduler:
  user_specified: true
  addrs:
    - "https://1.1.1.1:1234/metrics"
    - "https://2.2.2.2:1234/metrics"

如需给采集的指标添加自定义tag

则修改 k8s-config/configMap_deployment.yaml k8s-config/configMap_daemonset.yaml中的append_tags字段即可

append_tags:
  key1: value1
  key2: value2

如需修改采集间隔

修改k8s-config/configMap_deployment.yaml k8s-config/configMap_daemonset.yaml中的 collect_step 字段

如需修改某个项目的采集并发

修改k8s-config/configMap_deployment.yaml 中的指定项目的 concurrency_limit 字段，默认10

如需服务组件采集多实例时的特征标签

修改k8s-config/configMap_deployment.yaml 中的 multi_server_instance_unique_label 字段

调整日志级别

修改k8s-config/deployment.yaml 中的 spec.containers.command 加上--log.level=debug即可看到debug日志，日志样例如下
单项数据处理耗时

level=debug ts=2021-02-24T15:47:31.810+08:00 caller=kube_controller_manager.go:180 msg=DoCollectSuccessfullyReadyToPush funcName=kube-controller-manager metrics_num=621 time_took_seconds=0.307592776

单项推送耗时

level=debug ts=2021-02-24T15:47:31.863+08:00 caller=push.go:25 msg=PushWorkSuccess funcName=kube-controller-manager url=http://localhost:2080/api/collector/push metricsNum=621 time_took_seconds=0.053355322

获取pod耗时

level=debug ts=2021-02-24T15:50:01.523+08:00 caller=get_pod.go:99 msg=server_pod_ips_result num_kubeSchedulerIps=1 num_kubeControllerIps=1 num_apiServerIps=1 num_coreDnsIps=2 num_kubeProxyIps=2 num_etcdIps=1 time_took_seconds=0.020384107

setup04 启动服务

启动ksm服务(部署在kube-system namespace中，需要采集才启动)

kubectl apply -f k8s-config/kube-stats-metrics

启动k8s-mon daemonset 和deployment (部署在kube-admin namespace中，按需启动daemonset 和deployment)

kubectl apply -f k8s-config

setup05 观察日志，查看指标

查看日志

kubectl logs -l app=k8s-mon-deployment  -n kube-admin  -f
kubectl logs -l app=k8s-mon-daemonset  -n kube-admin  -f

setup06 查看指标，导入大盘图

即时看图查看指标

# 浏览器访问及时看图path： http://<n9e_addr>/mon/dashboard?nid=<nid>

导入大盘图

# 大盘图在 metrics-detail/夜莺大盘-xxxjson中
# 将三个大盘json文件放到夜莺服务端机器 <n9e_home>/etc/screen 下 
# 或者 克隆夜莺3.5+代码，内置大盘图json在 etc/screen 下 
# 刷新页面，在对应的节点选择导入内置大盘即可

注意事项

采集间隔

kubelet 内置了cadvisor作为容器采集，具体文档可以看这里 cadvisor housekeeping配置
同时kubelet 命令行透传了相关配置
--housekeeping-interval duration Default: `10s` 模式采集是10秒，所以在默认配置下无论prometheus还是k8s-mon采集间隔不应低于10s
cpu 和mem指标需要pod设置limit，如果没有limit则某些指标会缺失

白名单问题

建议保持默认的metrics名单，metrics_white_list为空则全采集
tag白名单可按需配置

histogram数据问题

提供基于 histogram的分位值，所有的_bucket指标已经被过滤掉了，提供分位值quantile 50 90 95 99
线性插值法计算，和prometheus大致相同 :prometheus先算rate再算sum，k8s-mon是先算sum再算rate
举例 coredns_dns_request_duration_seconds_bucket --> coredns_dns_request_duration_seconds_quantile 代表coredns 解析平均延迟分位值
同时提供平均值举例 coredns_dns_request_duration_seconds_bucket -->coredns_dns_request_duration_seconds_avg

原有cadvisor采集模式，即配置文件中collect_mode : cadvisor_plugin

作为Nightingale的插件，用于收集docker容器的监控指标

快速构建

    $ mkdir -p $GOPATH/src/github.com/n9e
    $ cd $GOPATH/src/github.com/n9e
    $ git clone https://github.com/n9e/k8s-mon.git
    $ cd k8s-mon
    $ make
    $ ./k8s-mon

前置依赖

docker容器所在宿主机已安装并启动了cadvisor
docker容器的环境变量中包含 N9E_NID ，N9E_NID 的内容为夜莺服务树节点id，如果设置 N9E_NID = 1，则到节点id为1的节点下，就可以容器的监控指标

使用方式

将 k8s-mon、k8s-mon.yml 分发到容器所在的宿主机上
到宿主机所属节点配置插件采集

配置完之后，到即时看图，选择对应的节点，再选择设备无关，即可查看采集到的容器监控指标

视频教程

观看地址

指标列表

CPU
cpu.user
cpu.sys
cpu.idle
cpu.util
cpu.periods
cpu.throttled_periods
cpu.throttled_time
内存
mem.bytes.total
mem.bytes.used
mem.bytes.used.percent
mem.bytes.cached
mem.bytes.rss
mem.bytes.swap
磁盘
disk.io.read.bytes
disk.io.write.bytes
disk.bytes.total
disk.bytes.used
disk.bytes.used.percent
网络
net.sockets.tcp.timewait
net.in.bits
net.in.pps
net.in.errs
net.in.dropped
net.out.bits
net.out.pps
net.out.errs
net.out.dropped
net.tcp.established
系统
sys.ps.process.used
sys.ps.thread.used
sys.fd.count.used
sys.socket.count.used
sys.restart.count

crain-cn/k8s-mon

问题排查

模式说明

k8s-mon对比prometheus的优点

新模式：部署在k8s中采集相关指标

原理说明

采集内容说明

采集地址配置/发现说明

使用指南

3、安装步骤

setup01 准备工作

setup02 必须修改的配置

setup03 可以调整的配置(维持默认值时可跳过此段配置)

setup04 启动服务

setup05 观察日志，查看指标

setup06 查看指标，导入大盘图

注意事项

采集间隔

白名单问题

histogram数据问题

原有cadvisor采集模式，即配置文件中collect_mode : cadvisor_plugin

快速构建

前置依赖

使用方式

视频教程

指标列表