【虎鲸进化论 24】监控与巡检：它开始盯着一切

【虎鲸进化论 24】监控与巡检它开始盯着一切本文是「虎鲸进化论」系列第 25 篇正文第 24 篇。上一篇自动回归下一篇预告数据修复与清理 —— 它管起了烂摊子。前言上一篇的结尾问没人出事的时候它做什么这篇回答它开始值班 —— 从一个你找它才存在的东西变成它不找你反而奇怪的东西。照例内网细节无截图细节做模糊化处理。一、从被动接单到主动发现先看这一步跨过的台阶之前它的所有入口都是人给的 —— 一个单号、一段报错、一次交代。没有入口它就是一个安静的进程之后它的入口里多了**“它自己找来的”** —— 巡检发现的异常、盯出来的波动。这两个入口的性质完全不同人给入口意味着人已经知道出事了它找入口意味着它在人知道之前就知道了。这一个小变化把它的身份从处理者改成了值守者 —— 差一个前缀差一个物种。二、它盯着什么三类对象它的巡检面板上盯的是三类东西。最常看的几项数据侧—— 核心对账表的一致性、关键表的日增量突变、批处理窗口的完成时刻服务器侧—— 磁盘水位、内存水位、关键端口存活它自己—— 工具可用性、知识库新鲜度、昨夜任务队列残留。清单不长这是刻意的盯得全和盯得准打架时它站在准这边噪声是值班员的头号敌人见第四节。三类展开第一类表数据业务健康。关键表的对账差异、数据量突变、核心指标的异常波动 —— 业务意义上的哪儿不对劲第二类服务器资源健康。磁盘水位、CPU/内存、连接数这些慢变量和第 19 篇那个基线体系合流 —— 环境故障被前置发现了第三类它自己自我健康。这一条最特别探活工程第 09 篇的升级版 —— 它开始检查自己的工具是否可用、知识库是否新鲜、昨夜的任务队列是否清零。一个值班员把自己的状态也列进了巡检表这件事本身值得停半秒它在按系统的标准管理自己。顺手自嘲一句我们给自己做的年度体检都没它检查自己勤。三、巡检的编排清晨报告多了一段巡检的落地非常朴素定时任务第 20 篇的装置 清晨报告第 21 篇的载体的组合。编排也一样朴素清晨一轮全量巡检跑给报告用日内每 NN 小时一轮轻量巡检只盯告警级的几项夜间窗口的巡检结果并进清晨报告 ——不叫醒任何人除非真的着火这是分级制度的第一个应用现场。于是每天早上那份报告从它昨晚干了什么扩成了它昨晚干了什么 它今早看到什么。而序章里那个画面 —— “报告的最后一行它圈出了两个它不确定该不该动的地方” —— 就是这一段的样子它发现的它只报告它吃不准的它圈出来等批。发现的边界和动手的边界从第一天就是分开画的下一篇展开。四、告警的分寸最难的一道工程题盯得越多越会撞上监控体系最经典的难题告警的分寸。告警太多 狼来了人开始无感真事件淹没在噪声里有过运维经验的人都懂 —— 每个做过运维的人手机里都躺着一个被静音的告警群那是人类对狼来了最诚实的回应告警太少 漏报出事的时候没人知道。它的处理路径是后来慢慢磨出来的分级信息 / 预警 / 告警 —— 只有告警级才有打扰人的资格聚类一个根因引发的几十条异常合并成一条 —— 报告因而不是果的雪崩。再配一条土办法同一根因保留最早那条其余自动折叠附后变更关联凡告警时段内有过发版/跑批自动标注可能与变更相关再进分级 —— 这一条让新版本引入和环境抖动在报告层就分了家静默窗口明知在跑批/发版的时段暂时闭嘴 —— 但静默本身有期限、有留痕允许它安静不允许它偷偷安静。最后那句值得单独划线静默是一个危险的权限—— 它意味着暂时不报。这套机制后来被我们卡得很死因为它本质上和瞒报只隔一层纸。五、主动发现改变了什么对组里的三个人来说这个变化是静悄悄的但根子很深人从发现者变成了被告知者。以前最早知道出事的是屏幕前的某个人现在最早知道的是它 —— 人在被告知之后介入。用组里的话说以前是出事了我第一个知道现在是出事了我第二个知道 —— 第二名有好处少一点手忙脚乱也有代价少一点救火英雄的叙事。事故被前置化了从炸了才知道到快炸了有人管。后者的价值不是省了多少次抢修 —— 是把应急这种高损耗的状态尽量消灭在日常里。但它也顺手把一道新题摆上了桌发现之后它能自己动手吗巡检发现磁盘快满了、发现账对不上、发现一批历史数据异常 —— 有些它能修有些它绝不能碰。这条线怎么画是下一篇的全部内容。结语回味点它值班的第一周人心态上有个微妙的变化从前是出事了找它现在是它没说话应该没事。把没事的确认权交给一个东西比把做事的执行权交给它要难得多。而它很快就不满足于报告了它开始发现脏数据 ——发现之后呢边界声明本文为个人观察与判断不代表任何任职单位的立场文中涉及的组织、系统与人名均为化名或模糊处理数字为个人口径的测量或估算文中观点按 实测 / 推理 / 立场 分层标注欢迎按同一标准检验。下一篇计划聊数据修复与清理—— 它管起了烂摊子定时数据修复、历史 log 与数据的清理以及哪些数据永远不许碰。转载请注明出处https://lizhiyong.blog.csdn.net/article/details/168341478