监控告警怎么配才不吵

监控装上容易，配得让人不烦才是真功夫。告警吵的根源通常不是指标太多，而是每条规则都卡在最敏感的阈值、最短的周期上，一点风吹草动就响。 先分级，再定规则 把告警分三级：P0 影响业务可用，电话或短信叫醒人；P1 有隐患但还没影响用户，工作时段推送即可；P2 仅记录观察，每天汇总一次。分级之后会发现，现有规则里一多半只配得上 P2，真正值得半夜响的没几条。定级标准写成一小节文档，谁来配新规则都照着定，省得每条阈值都临时拍板。 给规则加持续时长 瞬时尖峰是噪音的最大来源。CPU 冲到 95% 只有两秒，不值得任何人爬起来看。给规则加持续时间，比如连续 5 分钟超过 90% 才报，多数假警报会直接消失。磁盘指标可以更宽：85% 报 P2 提醒清理，92% 报 P1 安排扩容。内存类指标可参考 75% 持续 15 分钟报 P1；连接数这类波动大的，用环比涨幅代替绝对值，比如五分钟内翻倍才报。流量类规则还要区分工作日与周末，用同一套阈值，必然一半是误报。 值班轮换要落实 告警没人认领，等于白配。排班表提前定好，每条告警带上值班人和升级路径：15 分钟未确认，自动升级给下一位。轮值期间收到的告警当周处理完，不留积压。计划内维护前先设静默窗口，不然一次重启就能触发一串无效告警，把大家对告警的信任提前消耗光。 每周复盘一次 把本周告警全部拉出来过一遍：误报的，是调阈值还是加时长；重复触发的，合并成一条；从未处理过的，直接下线。复盘固定在每周五下午半小时，超时未确认的告警单独点名，值班记录留档。坚持一个月，告警量通常降到原来的一小半，留下的都是真问题。 告警通道也要定期演练，每月发一条测试告警，确认手机真收得到。宁可告警少而准，也不要多而麻木——人对频繁响铃的告警会迅速脱敏，真正的大事反而被淹没在噪音里。