业务系统的Prometheus实践

　　什么是Prometheus
　　Prometheus（普罗米修斯）是古希腊的一个神明，名字的意思是先见之明。从它的名字可以看出，Prometheus是做先见之明的监控告警用途。
　　官网描述为Frommetricstoinsight，用指标洞察系统。
　　Prometheus其实就是一个数据监控解决方案，它能帮你简单快速地搭建起一套可视化的监控系统。
　　例如研发比较关注机器的CPU、内存、硬盘，产品和运营比较关注运营层面的指标，例如新增用户数，日活等，都可以通过Prometheus和grafana简单，直观化展示。
　　例如下图JVM的监控。
　　业务实践背景
　　公司某个业务需要n个评审专家对同一批n张业务报表批量签字。3方签字接口只有支持单个报表签字，所以需要nn次，单次签字逻辑复杂，流程较长，所有后台用线程池做了异步化。
　　签字作为业务的核心节点，不能有故障。所以怎么监控线程池的关键指标，实现动态调整参数，当任务数量过多告警，是一个需要解决的痛点。
　　我们通过Prometheus自定义线程池的指标，grafana展示，apollo动态调整线程池的变量，实现弹性扩展。实践线程池参数动态更新
　　通过接入apollo配置，当检测到线程池的配置变化时，重新设置：核心线程数最大线程数修改线程空闲时间ComponentpublicclassApolloRefreshConfig｛ResourceprivateRefreshScoperefreshSResourceprivateApplicationContextapplicationCResourceprivateThreadPoolExecutorexecutorSApolloConfigChangeListenerpublicvoidonChange（ConfigChangeEventchangeEvent）｛applicationContext。publishEvent（newEnvironmentChangeEvent（changeEvent。changedKeys（）））；refreshScope。refreshAll（）；刷新变量asyncRequestTaskConfigChange（changeEvent。changedKeys（））；｝privatevoidasyncRequestTaskConfigChange（SetStringchangedKeys）｛apollo变更的是线程池变量if（changedKeys。contains（EvaluationProcessAsyncRequestTaskConfig。ASYNCREQUESTTASKCHANGEFLAGKEY））｛核心线程数IntegercorePoolSizeOldexecutorService。getCorePoolSize（）；if（！corePoolSize。equals（corePoolSizeOld））｛executorService。setCorePoolSize（corePoolSize）；｝最大线程数IntegermaximumPoolSizeOldexecutorService。getMaximumPoolSize（）；if（！maximumPoolSize。equals（maximumPoolSizeOld））｛executorService。setMaximumPoolSize（maximumPoolSize）；｝修改线程空闲时间LongkeepAliveTimeOldexecutorService。getKeepAliveTime（TimeUnit。MINUTES）；if（！keepAliveTime。equals（keepAliveTimeOld））｛executorService。setKeepAliveTime（keepAliveTime，TimeUnit。MINUTES）；｝｝｝｝线程池指标上报
　　在springboot版本2。X版本以后，使用Prometheus进行监控，只需引入SpringBootActuator相关的jar，就可以简单集成，然后我们就可以自定义业务指标，上报Prometheus了dependencygroupIdcn。gov。zcy。bootgroupIdspringbootstarteractuatorartifactIddependency
　　Prometheus中的核心类io。micrometer。core。instrument。MeterRegistry中可以定制各种业务指标，也有封装的例如计数类Counter，这里引用一个Gauge只定义的指标ComponentpublicclassMonitorFactory｛ResourceprivateMeterRegistrymeterRResourceprivateThreadPoolExecutorthreadPoolEprivateThreadPoolSizeMonitorthreadPoolSizeMonitornewThreadPoolSizeMonitor（threadPoolExecutor）；classThreadPoolSizeMonitorimplementsToDoubleFunction｛privateThreadPoolE计数privateAtomicDoublemonitornewAtomicDouble（0）；publicObjectgetMonitor（）｛｝publicThreadPoolSizeMonitor（ThreadPoolExecutorexecutor）｛this。｝OverridepublicdoubleapplyAsDouble（Objecto）｛monitor。set（executor。getPoolSize（））；returnmonitor。get（）；｝｝上报指标，初始化时注册指标PostConstructpublicvoidmonitorThreadPool（）｛当前存活线程数Gauge。builder（ReportBatchSignPoolpoolSizeMonitor，threadPoolSizeMonitor。getMonitor（），threadPoolSizeMonitor）。register（meterRegistry）；当前活跃（忙碌）线程数核心存活线程数提交的任务数执行完毕的任务数任务队列积压监控｝1分钟更新一次指标数据Scheduled（cron001？）publicvoidpublishWatcher（）｛threadPoolSizeMonitor。applyAsDouble（null）；｝｝Prometheus指标展示
　　用Prometheusquering语句查询出具体数值最后一列展示向量结果16，查询语法如下
　　https：prometheus。iodocsprometheuslatestqueryingbasics
　　grafana可视化展示
　　告警配置
　　grafana配置告警，配置具体的通知信息，触发规则，告警的通知渠道参考官方文档
　　https：grafana。comdocsgrafanalatestalerting
　　通知到叮叮告警群总结
　　本文介绍了研发人员通过配置Prometheus自定义的业务指标，实现监控告警完整链路的大致的流程。大家也可以定制化除了系统指标（例如CPU、JVM、IO等）外，梳理出自己系统的核心业务，添加告警，增强系统的稳定性，做到未雨绸缪，防患于未然。参考文献
　　Prometheus官方文档（https：prometheus。iodocsintroductionoverview）
　　grafana告警文档（https：grafana。comdocsgrafanalatestalerting）
　　作者：后青
　　来源：微信公众号：政采云技术
　　出处：https：mp。weixin。qq。comsdNWkBR30LZHSs9lj6qFw