智能告警平台中的新奇事件发现功能

本文讲述了智能告警平台中的新奇事件发现功能。

前言

随着 IT 基础设施的云化，应用运行环境的容器化，系统架构的微服务化，越来越多的企业不得不引入更多的工具、更复杂的流程和更多的运维人员，来提升IT系统管理的精细度，但新的问题也随之而来。犹如蝴蝶效应，在如此庞杂的环境下，数据间紧密相连，一个指标的变化，可能引发一系列的告警连锁反应。不同监控平台的红色标识、不断涌入的告警邮件和短信，紧牵着运维人员的神经。

在 5 月 13 日邀请睿象云产品总监马军军为大家在线直播分享，助力企业的告警精细化管理，解决运维最后一公里的难题。

告警管理的关键因素

在日常的运维工作中，一旦发生告警，监控工具需要在第一时间发出告警信息，并通知到相关的运维人员。运维人员在接收到问题后，会根据以往的经验、知识储备，或是通过网络查询进行问题定位和修复处理。如果是个小问题，通常可以很快解决。但是如果遇到棘手的问题，那就需要协调其他人员进行多方合作处理，如果多个监控工具发生告警信息，运维人员就需要去不同的监控工具上查看各自问题。然而，从告警的发生到告警处理完成的整个过程中，还经常会遇到告警风暴的产生。
所以告警管理有以下 6 点主要因素：

1. 时间：发生告警要及时通知，运维人员的响应速度和处理效率都与告警通知的时间息息相关；2. 人员：所有需要处理问题，需要指定相应的运维人员参与；

3. 信息：发送的告警信息需要重点突出问题内容，以方便运维人员快速了系统问题；

4. 过程：从告警的发生到告警修复完成的全过程，至少要流转2次；

5. 知识：每一次处理问题需的经验和解决方案都是宝贵的知识储备；

6. 问题：在告警处理过程中极易产生告警风暴，当然告警风暴的产生除了与业务系统不稳定、多个监控工具等客观因素同时是与处理告警效率有直接的关系。

告警闭环管理

在睿象云智能告警平台 Cloud Alert （以下简称：CA）中，可以将各种各样的监控工具集成到 CA 中进行统一管理，CA通过自定义的分派机制与多渠道的通知方式通知到具体的处理人员或是第三方的协作工具平台，运维人员可在平台上认领并关闭告警。

更智能的告警处理流程

告警数据告警工具的集成接入到 CA 平台中，CA 的数据处理引擎会对接入的数据进行标准化处理，自动去重（事件 ID 或是告警标题）处理，然后进行存储（针对重复的数据仅存储最新的信息和记录发生次数）。并在后面增加压缩规则的处理（压缩规则提供自定义正则和智能算法2中方式）。例如告警监控工具产生了100条告警，这些告警都匹配上了这个压缩规则，那这100个告警会压缩成一个告警进行通知，这样可以极大的降低重复或是相似告警干扰，也会预防告警风暴的产生。被压缩的告警也会落库到我们 CA 平台，随时可查。配置压缩规则不仅可以预防告警风暴的产生，同时也是提升告警处理时效性的一种方式。

CA 平台用的智能算法历时3年，经过百万级的数据训练和优化，已经形成了专为运维场景下的告警管理算法引擎。目前我们实现的告警应用场景是告警分类、告警降噪、新奇事件发现，异常事件和根因定位也在探索中。

1. 告警降噪：通过智能算法在告警分派前进行降噪处理，降低相同或是相似告警的干扰，可以预防告警风暴的产生；

2. 告警分析：CA 平台提供了高聚合算法和仿阅读算法的2种降噪算法，因为使用额算法不同，仿阅读会比高聚合的精度更高些，同样的数据的降噪程度是不同的，可根据运维人员的不同需求自由选择。目前我们的智能降噪算法的降噪能力可达到95%以上；

3. 新奇事件发现：CA 平台目前提供2种方式，分别为“今日新奇事件”和“本周新奇事件”。

故障场景

先以呼叫中心做例子，业务人员反映呼叫中心系统运行缓慢，部分电话在自助语言环节系统处理超时，话务转人工座席，人工座席出现爆线情况。

运维人员开始忙活了，查资源使用情况、查服务是否正常、查日志是否报错、查交易量还有没有……时间不知不觉的在敲键盘、敲键盘、敲键盘中过去，但是原因还未定位。

经理过来了解情况：“系统恢复了吗？”、“故障影响是什么？”、“交易中断了吗？”……

运维人员赶紧敲键盘，写sql，看交易量；敲键盘，写命令，看系统资源、情况……

最终，定位到问题原因是其中一个功能没有控制返回数量，导致内存泄露。

针对这个故障，业务希望运维能否更快的解决故障的恢复，经理希望制定优化呼叫中心故障处理流程，做了以下几件事：

1、优先故障处理过程的时间——“能通过鼠标完成的工作，不要用键盘”

2、提前发现故障，加强监控——“技术早于业务发现问题，监控不仅是报警，还要协助故障定位”

3、完善故障应急方案——“应急方案是最新的、准确的、简单明了的”

4、长远目标：故障自愈——“能固化的操作自动化，能机器做的让机器做”

下面将从故障常见的处理方法开始介绍，再从故障前的准备工作（完善监控等方式）来解决经理提出的问题，并提出未来解决故障的想法。

解决方法

1、确定故障现象并初判问题影响

在处理故障前，运维人员首先要知道故障现象，故障现象直接决定故障应急方案的制定，这依赖于运维人员需要对应用系统的整体功能有一定的熟悉程度。

确认了故障现象后，才能指导运维人员初判断故障影响。

2、应急恢复

运维最基本的指标就是系统可用性，应急恢复的时效性是系统可用性的关键指标。

有了上述故障现象与影响的判断后，就可以制定故障应急操作，故障应急有很多，比如：

服务整体性能下降或异常，可以考虑重启服务；应用做过变更，可以考虑是否需要回切变更；资源不足，可以考虑应急扩容；应用性能问题，可以考虑调整应用参数、日志参数；

数据库繁忙，可以考虑通过数据库快照分析，优化SQL；应用功能设计有误，可以考虑紧急关闭功能菜单；另外，需要补充的是，在故障应急前，在有条件的情况需要保存当前系统场景，比如在杀进程前，可以先抓个CORE文件或数据库快照文件。

3、快速定位故障原因

是否为偶发性、是否可重现

故障现象是否可以重现，对于快速解决问题很重要，能重现说明总会有办法或工具帮助我们定位到问题原因，而且能重现的故障往往可能是服务异常、变更等工作导致的问题。

但是，如果故障是偶发性的，是有极小概率出现的，则比较难排查，这依赖于系统是否有足够的故障期间的现场信息来决定是否可以定位到总的原因。

是否进行过相关变更

大部份故障是由于变更导致，确定故障现象后，如果有应的变更，有助于从变更角度出现分析是否是变更引起，进而快速定位故障并准备好回切等应急方案。

是否可缩小范围

一方面应用系统提倡解耦，一支交易会流经不同的应用系统及模块；另一方面，故障可能由于应用、系统软件、硬件、网络等环节的问题。在排查故障原因时应该避免全面性的排查，建议先把问题范围缩小到一定程序后再开始协调关联团队排查。

关联方配合分析问题

与第3点避免同时各关联团队同时无头绪的排查的同时，对于牵头方在缩小范围后需要开放的态度去请求关联方配合定位，而对于关联方则需要有积极配合的工作态度。

是否有足够的日志

定位故障原因，最常用的方法就是分析应用日志，对运维人员不仅需要知道业务功能对应哪个服务进程，还要知道这个服务进程对应的哪些应用日志，并具备一些简单的应用日志异常错误的判断能力。

完善监控

1、从监控可视化上完善

完善的监控策略需要有统一的可视化操作界面，在制定完善的监控策略后，故障处理人员需要能够快速的看到相应的运行数据，比如：能够看到一段时间的趋势、故障期间的数据表现、性能分析的情况等等数据，且这些数据可以提前制定好策略直接推出分析结果给故障处理人员，这样就大大提高了故障的处理效率。

2、从监控面上完善

监控最基本的工作就是实现对负载均衡设备、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等IT资源的全面监控管理。在应用软件类的监控工作中，不仅需要有服务进程、端口等监控，还需要有业务、交易层的监控。

全面性的应用监控可以让故障提前预警，并保存了影响应用运行环境的数据，以缩短故障处理时间。

3、从监控告警上完善

完善的监控策略需要有清晰的监控告警提示，值班人员要以根据监控告警即可作出简单的问题定位与应急处理方案。

4、从监控分析上完善

完善的监控策略不仅需要有实时的数据告警，也要有汇总数据的分析告警,实时数据分析的告警的重要性不用多说，对于汇总分析的数据则能发现潜在风险，同时也为分析疑难杂症提供帮忙。

5、从监控主动性上完善

监控不仅仅是报警，它还可以做得更多，只要我们想办法赋予它主动解决事件的规则，它便有为管理员处理故障的能力。

在数字化转型“深水区”，业务、技术体系和平台架构的日益复杂化和多元化，催生了智能化的运维服务需求。这一点从网强适应市场的不断变迁中可以得到印证。 

当下人员的一大问题，就是对于大量的告警难以进行精准的通知，以及无法在大批量的告警中快速的定位到问题的所在，再加上时不时出现的告警风暴，加大了告警处理的难度，这就需要一款完善的告警管理平台来针对告警的统一化管理。

睿象云智能告警平台Cloud Alert（简称CA）快速接入各类事件，通过人工智能算法自动发现、诊断、修复IT系统运行事故，并能帮助企业形成最佳事件管理流程，让业务运行更加安全可靠。

CA中包含着如下几大功能：

应用集成：将多平台告警进行统一化管理

分派策略：将指定告警精准化分派给相应人员

通知策略：包含电话、、APP、微信、邮件等多样化通知方式

压缩规则：算法智能降噪与自定义压缩，减少告警的重复性，避免告警风暴

排班管理：满足企业内部成员排班需求

团队管理：针对成员的管理和分组的设定

智能降噪：高聚合智能降噪和仿阅读智能降噪，帮助用户在事后分析告警
新奇事件：快速定位今日与本周的告警事件，以及对事件的分析

授权管理：针对已购买授权的管理

告警的主要流程如下：

上文就是小编为大家整理的智能告警平台中的新奇事件发现功能。

国内(北京、上海、广州、深圳、成都、重庆、杭州、西安、武汉、苏州、郑州、南京、天津、长沙、东莞、宁波、佛山、合肥、青岛)睿象云智能运维平台软件分析、比较及推荐。