1. 监控系统黄金搭档为什么选择PrometheusGrafana在现代IT基础设施监控领域Prometheus和Grafana的组合已经成为事实上的标准方案。这套组合之所以被称为黄金搭档是因为它们完美互补——Prometheus专注于指标采集和存储Grafana擅长数据可视化和告警展示。我经历过从Zabbix到这套方案的迁移过程实测下来这套组合在云原生环境下的表现确实令人惊艳。Prometheus的拉取模式Pull设计特别适合动态变化的云环境相比传统推模式Push的监控系统它能自动发现Kubernetes集群中的服务变化。而Grafana的仪表板功能让监控数据真正活起来我们团队曾经用它的热力图功能发现了一个隐藏的周期性性能瓶颈这是传统曲线图难以直观展示的。重要提示这套组合特别适合需要监控动态微服务架构的团队如果你的系统已经容器化或正在向云原生转型这就是你的最佳选择。2. 环境准备与组件部署2.1 硬件与系统要求在实际部署中我建议至少准备以下资源监控目标少于1000个2核CPU/4GB内存/50GB存储监控目标1000-5000个4核CPU/8GB内存/200GB存储更大规模考虑集群化部署存储选择上SSD能显著提升Prometheus的查询性能。我们曾经在HDD上遇到查询超时问题换成SSD后P99延迟从3秒降到了200毫秒。2.2 Prometheus安装实战对于Linux系统推荐使用二进制包直接安装容器化部署后面会单独讲wget https://github.com/prometheus/prometheus/releases/download/v2.47.0/prometheus-2.47.0.linux-amd64.tar.gz tar xvfz prometheus-*.tar.gz cd prometheus-*配置示例prometheus.ymlglobal: scrape_interval: 15s scrape_configs: - job_name: node static_configs: - targets: [192.168.1.100:9100]启动命令nohup ./prometheus --config.fileprometheus.yml 2.3 Grafana部署要点Grafana的安装更加简单但有几个关键配置需要注意wget https://dl.grafana.com/oss/release/grafana-10.2.0.linux-amd64.tar.gz tar xvfz grafana-*.tar.gz cd grafana-*/bin nohup ./grafana-server 首次登录后默认admin/admin务必修改默认密码配置SMTP邮件通知添加Prometheus数据源地址填http://localhost:90903. 核心监控场景实现3.1 主机监控Node Exporter方案Node Exporter是监控Linux主机的标准方案安装后暴露数百个系统指标wget https://github.com/prometheus/node_exporter/releases/download/v1.6.1/node_exporter-1.6.1.linux-amd64.tar.gz tar xvfz node_exporter-*.tar.gz cd node_exporter-* nohup ./node_exporter 在Grafana中导入ID为1860的仪表板你立即就能看到CPU使用率包括每个核心内存使用详情不只是剩余量还包括cache/buffer细分磁盘IOPS和吞吐量网络流量支持多网卡3.2 容器监控cAdvisor方案对于Docker环境cAdvisor是必备组件docker run \ --volume/:/rootfs:ro \ --volume/var/run:/var/run:ro \ --volume/sys:/sys:ro \ --volume/var/lib/docker/:/var/lib/docker:ro \ --publish8080:8080 \ --detachtrue \ --namecadvisor \ gcr.io/cadvisor/cadvisor:v0.47.0在Prometheus配置中添加- job_name: cadvisor static_configs: - targets: [localhost:8080]3.3 业务应用监控对于Java应用使用Micrometer暴露指标// Spring Boot示例 Bean MeterRegistryCustomizerMeterRegistry metricsCommonTags() { return registry - registry.config().commonTags(application, myapp); }配置Prometheus抓取- job_name: springboot metrics_path: /actuator/prometheus static_configs: - targets: [app1:8080, app2:8080]4. 高级配置与调优4.1 Prometheus存储优化默认配置下数据保留15天对于生产环境建议调整# prometheus.yml storage: tsdb: retention: 90d # 保留90天 out_of_order_time_window: 1h # 允许乱序数据对于大容量需求考虑远程存储remote_write: - url: http://victoriametrics:8428/api/v1/write4.2 Grafana告警配置在Grafana 8版本中告警系统已经完全重构。创建告警的关键步骤进入仪表板编辑模式点击图表标题 → Edit → Alert设置条件如avg() of query(A, 1m, now) 0.8配置通知策略分级告警、静默期等经验之谈告警消息一定要包含具体数值和跳转链接我们团队曾经因为模糊的CPU过高告警浪费了大量排查时间。4.3 性能调优实战当监控目标超过5000个时需要调整这些参数# 启动参数调整 --storage.tsdb.retention.time180d \ --query.max-concurrency20 \ --query.timeout2m \ --storage.tsdb.max-block-chunk-segment-size512MBGrafana性能优化[grafana.ini] max_open_connections 100 concurrent_query_limit 205. 生产环境踩坑记录5.1 常见问题排查问题1Prometheus刮取scrape超时现象target状态为DOWN日志显示context deadline exceeded解决方案增加scrape_timeout配置默认10s检查网络延迟优化Exporter性能问题2Grafana面板显示No data检查步骤确认数据源连接正常检查查询时间范围验证PromQL语法查看Prometheus是否有该指标5.2 稳定性保障方案我们团队总结的监控系统的监控方案对Prometheus自身监控使用recording rules记录关键指标监控抓取失败率监控存储写入延迟Grafana健康检查curl -s http://localhost:3000/api/health | jq .预期输出{database:ok}5.3 安全加固指南生产环境必须配置Prometheusweb: enable-lifecycle: false # 禁用热加载 enable-admin-api: false # 禁用管理APIGrafana启用HTTPS配置数据源代理白名单定期备份仪表板JSON可通过API自动导出6. 典型应用场景扩展6.1 Kubernetes监控方案使用kube-prometheus-stack一键部署helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm install kube-prometheus prometheus-community/kube-prometheus-stack这套方案包含Prometheus Operator全套K8s监控仪表板AlertManager集成Grafana预配置数据源6.2 业务日志监控虽然ELK更适合日志但通过PromtailLoki也能实现# prometheus配置追加 - job_name: loki static_configs: - targets: [loki:3100]Grafana添加Loki数据源后可以查看日志时间线设置日志模式告警关联指标和日志分析6.3 物联网设备监控对于ARM设备如树莓派# 使用arm架构的二进制包 wget https://github.com/prometheus/node_exporter/releases/download/v1.6.1/node_exporter-1.6.1.linux-armv7.tar.gz特殊优化减少抓取频率禁用不必要的内核指标使用轻量级Grafana面板这套组合在实际监控项目中展现出的灵活性和强大功能确实令人印象深刻。从最初部署到现在我们已经用它监控了超过200个微服务和500台服务器每天处理超过1亿个数据点。最让我惊喜的是Grafana 9.0引入的Unified Alerting系统终于解决了多数据源告警统一管理的难题。