开篇闲聊大半夜的刚处理完一个MySQL的慢查询手里这杯速溶咖啡都凉透了。我就在想咱们做运维的最怕的是什么不是服务器宕机宕机了反而干脆直接重启或者切备机。最怕的是那种“慢”。业务说卡老板说卡你上去一看CPU利用率像过山车一样一会儿100%一会儿5%内存波澜不惊日志里也是静悄悄的。这时候你用的如果是Zabbix默认30秒或者1分钟抓一次数据大概率你看到的都是“正常”。为啥因为故障往往就发生在那个间隙里那几秒钟的IO风暴Zabbix这种“老实人”根本抓不住。这时候你就需要Netdata了。这玩意儿默认1秒抓一次数据就算是一闪而过的毛刺在它眼里也跟慢动作回放似的。但是Netdata有个最大的毛病单机版太爽多机版头疼。你装一台爽一台装十台你就得开十个浏览器标签页。要是五十台呢你是不是得买个那啥股票交易员用的六联屏显示器所以这篇咱们就聊透一件事怎么把这一堆Netdata汇聚到一个界面上看也就是所谓的Streaming流式传输模式。别跟我提Netdata Cloud那是SaaS服务虽然好用但咱们很多时候机器在内网或者因为安全合规其实就是抠门不想买商业版或者不想数据出境还得是自己搭建中心节点最靠谱。搞清楚谁是老大谁是小弟逻辑其实特别简单别被官方文档里那一堆术语吓到了。你就把这套架构想象成“包工头”和“搬砖工”。•搬砖工Slave/Child就是你那些干活的业务服务器。它们上面装Netdata只负责玩命采集数据采集完了自己不存或者少存直接打包扔给包工头。•包工头Master/Parent这是一台专门的监控服务器。它负责接收所有搬砖工扔过来的数据存盘展示报警。这样搞有个巨大的好处业务服务器上不用消耗内存去存历史数据了特别省资源。第一步先把地基打好安装现在安装Netdata简直太无脑了。不管你是Master还是Slave起手式都一样。我不建议你们去搞什么Docker安装真的物理机直接装最省事能读到更多底层硬件信息。随便找台CentOS或者Ubuntu一行命令甩进去Bash代码语言javascriptAI代码解释bash (curl -Ss https://my-netdata.io/kickstart.sh)image-20251125220827444image-20251125220827444这脚本虽然有点“暴力”但它会自动识别你的系统把缺的依赖包给你补齐。等个几分钟看到那个炫酷的ASCII艺术字出来就是装好了。记得把防火墙端口放开默认是19999。要是这都忘了后面你也别看了洗洗睡吧。image-20251125222948069image-20251125222948069image-20251125222416888image-20251125222416888第二步搞定“包工头”Master配置重点来了。这块经常有人掉坑里。我们要生成一个API Key其实就是个UUID这玩意儿就像是接头暗号。小弟要给大哥交数据得先对暗号。在Master服务器上用uuidgen命令生成一个Bash代码语言javascriptAI代码解释uuidgen e1540a6c-f179-476f-813d-d0c46000eb15假设你生成的是e1540a6c-f179-476f-813d-d0c46000eb15我也就随手一打你自己生成个真的。然后去改配置文件。Netdata的配置文件逻辑稍微有点绕它为了防止你改乱搞了个edit-config脚本。Bash代码语言javascriptAI代码解释cd /etc/netdata ./edit-config stream.conf进去之后把那些注释都还得差不多了我们要加上这一段Ini, TOML代码语言javascriptAI代码解释[e1540a6c-f179-476f-813d-d0c46000eb15] enabled yes default history 3600 default memory mode dbengine health enabled by default auto allow from *解释两句•[UUID]就是刚才生成的那个。•default memory mode dbengine这个很关键以前Netdata存数据吃内存吃到你怀疑人生现在用了dbengine它是把数据压缩存硬盘里内存只留索引几百台机器的监控数据几个G内存就能扛得住。•allow from *允许所有IP推数据过来。如果你为了安全可以写具体的IP段比如192.168.1.*。改完保存。顺手重启一下systemctl restart netdata。第三步调教“搬砖工”Slave配置现在回到你的业务服务器Slave上。同样的去改stream.confBash代码语言javascriptAI代码解释cd /etc/netdata ./edit-config stream.conf这次我们要改的是[stream]部分Ini, TOML代码语言javascriptAI代码解释[stream] enabled yes destination 192.168.198.133:19999 api key e1540a6c-f179-476f-813d-d0c46000eb15 timeout seconds 60 default port 19999 send charts matching * buffer size bytes 1048576 reconnect delay seconds 5 initial clock resync iterations 60这里有个坑要注意一定要把Slave本机的存储关掉不然你这所谓的“流式传输”就没意义了两头存数据不是浪费吗打开netdata.confBash代码语言javascriptAI代码解释./edit-config netdata.conf找到[global]区块把memory mode改成noneIni, TOML代码语言javascriptAI代码解释[global] memory mode none # 既然不存数据web模式也可以根据情况关掉或者留着看实时也行重启Slave上的Netdata。见证奇迹的时刻这时候你打开浏览器访问Master那台机器的IPhttp://192.168.198.133:19999/。image-20251125224718649image-20251125224718649左上角看到那个菜单了吗点开它。如果不出意外你应该能看到一个下拉列表里面除了Master自己还多出来了你的Slave机器的主机名点哪台界面就切到哪台。所有的数据都在这一个页面里不用切浏览器标签了。你要是配置了50台这里就列50个。而且因为我们Master端用了dbengine你可以轻松回溯过去一周甚至一个月的数据取决于你Master硬盘有多大再也不是那个“重启之后啥都没了”的Netdata了。登录后信息更全image-20251125225256374image-20251125225256374进阶玩法报警怎么搞光看着爽没用咱们也不能24小时盯着屏幕看心电图啊。Netdata的报警其实非常强大自带了成吨的模板。什么MySQL连接数爆了磁盘IO卡死了它都知道。但是默认它是发邮件这年头谁还天天盯着邮件看报警啊必须得对接钉钉、飞书或者企业微信。这块得改health_alarm_notify.conf。Netdata自带了脚本支持很多国外工具Slack, Discord国内的稍微麻烦点我一般的做法是写个简单的Python脚本或者Shell脚本在这个配置文件里指定custom_sender。比如在health_alarm_notify.conf里Bash代码语言javascriptAI代码解释SEND_DISCORDNO SEND_SLACKNO # ... 把没用的都关了 # 开启自定义 SEND_CUSTOMYES然后去修改/usr/libexec/netdata/plugins.d/alarm-notify.sh里面的custom_sender()函数。这块稍微需要点代码底子。但我告诉你个偷懒的方法直接把Master的数据推给Prometheus用Alertmanager去报警。哎怎么又绕回Prometheus了别急这是两码事。Netdata做采集秒级精度高无死角Prometheus做存储和报警生态好现有工具链成熟。Netdata原生支持把数据 export 到Prometheus。这样你既有了Netdata那个无敌的实时Dashboard用来排查突发故障又有了Prometheus的长久存储和成熟的报警机制。这就是所谓的“成年人我全都要”。遇到过的那些坑这几年用下来也不是没栽过跟头。1. 时间不同步Slave和Master的时间如果差太多数据会推不过去或者看着像断了一样。一定要搞NTP同步这是运维的基本修养别问我怎么知道的问就是都是泪。2. UUID冲突别以为没人这么干。直接克隆虚拟机把Netdata装好的镜像到处拷。结果几台机器公用一个Machine IDMaster端直接懵圈数据在那左右互搏。克隆完了记得重置一下Netdata的ID。3. 资源消耗虽说Netdata轻量但如果你开了几百个插件什么Apache, Nginx, PHP-FPM, MySQL, Redis, MongoDB全开在那种1核1G的“乞丐版”云主机上还是稍微有点吃力的。 你可以去 edit-config 里把没用的插件给禁了。比如这台机器根本没装Postgres你就把Postgres的采集插件关了省点是点。写在最后其实没有什么工具是万能的。Zabbix胜在稳定老牌适合看宏观的、天级别的趋势适合做资产管理。Prometheus胜在灵活性云原生标配K8s里离了它不行。而Netdata它就是那个拿着显微镜的特种兵。当线上出现诡异的卡顿所有常规监控都显示“正常”的时候Netdata往往能救你一命。它能告诉你刚才那1秒钟硬盘的写入队列长度是不是突然飙到了1000或者是不是有个进程偷偷吃光了SWAP。把多台服务器聚合起来只是第一步。当你真正看懂了Netdata图表里那些花花绿绿的线条代表的底层含义——比如软中断softirq突然变高意味着什么Context Switches上下文切换暴涨又是谁的锅——那时候你才算真正摸到了Linux内核的门槛。监控这东西配置好了只是开始看懂数据才是核心竞争力。行了这杯咖啡彻底喝不出味了。我也得去检查一下我那个Master节点的磁盘空间了别回头日志存满了把监控服务器给搞挂了那就真是“监控挂了没人报警因为报警的那个也挂了”这就成笑话了。