泰安做百度推广的公司,seo检查工具,北方明珠网站建设,龙岗的网站建设目录 环境问题排查1、kube-apiserver %CPU 146 正常#xff0c;%MEM 高达70#xff0c;#xff0c;load average 400#xff0c;出现kswapd0进程。2、k describe node 看到 SystemOOM3、是否大量连接导致#xff1f;4、通过prom查看指标5、访问K8s API6、pprof 火焰图 解决… 目录 环境问题排查1、kube-apiserver %CPU 146 正常%MEM 高达70load average 400出现kswapd0进程。2、k describe node 看到 SystemOOM3、是否大量连接导致4、通过prom查看指标5、访问K8s API6、pprof 火焰图 解决方案1、prometheus 配置GOMEMLIMIT参数limit的一半2、kube-apiserver优化 环境
K8sv1.18 OSKylin v10 (Tercel) 4.19.90-23.8.v2101 docker19.3.15 CPUkunpeng-920 16c64g
问题
节点NotReadySystemOOM。
排查
1、kube-apiserver %CPU 146 正常%MEM 高达70load average 400出现kswapd0进程。
2、k describe node 看到 SystemOOM
ContainerGCFailed - 容器垃圾数据收集失败。
SystemOOM - System OOM encountered, victim process: prometheus
journalctl --no-pager --unit kubelet | grep sys oomdocker stats --no-stream |grep -E kube-apiserver|prometheushttps://cloud.tencent.com/developer/article/2289874
3、是否大量连接导致
netstat -nat | grep -i 6443 | wc -lss -nat | grep -i 6443 | wc -l如何解决“kube-apiserver 负载不均衡的问题”
Nginx四层代理
4、通过prom查看指标
apiserver_request_duration_seconds_bucket apiserver_request_total
kube-apiserver组件监控指标及大盘使用说明
5、访问K8s API
kubectl proxy --disable-filter --address0.0.0.0: kubectl proxy 运行Kubectl的机器和kubernets apiserver之间的一个反向代理 curl 127.0.0.1:8001/metrics |grep apiserver_request_duration_seconds_bucket|morecurl 127.0.0.1:8001/metrics |grep apiserver_request_total|more6、pprof 火焰图
go tool pprof -http0.0.0.0:30065 127.0.0.1:8001/debug/pprof/profile?seconds300go tool pprof --http0.0.0.0:30065 x.x.x.:8001/debug/pprof/heapcurl 127.0.0.1:8001/debug/pprof/profile?seconds300 api.profile使用pprof对程序进行性能剖析
解决方案
1、prometheus 配置GOMEMLIMIT参数limit的一半
Go内存优化与垃圾收集
2、kube-apiserver优化
1参数-解决gc慢 2负载不均衡
