企业处理事件风暴的最佳两种管理方法（面对企业突发事件,企业该如何应对与处置）

企业处理事件风暴的最佳两种管理方法（面对企业突发事件,企业该如何应对与处置）

Moogsoft 的员工 Steve Burton 曾分享过一个非常极端但不少见的事例：有个服务提供商 4 万台服务器每小时生成超过 60 万个事件，而且其中有 4.7 万张帮助工单，每月有 2000 次以上的二级升级。也就是说，每天都有 66 次升级，不过这还不是最糟糕的。最糟的是，这 4.7 万张帮助工单须由几百号人进行手动分析、排列优先级以及分类。

现阶段事件管理现状

目前，IT运营中的事件管理 ( Event management ) 是手动的、劳动密集型的（因此成本高昂）活动，难以扩展。企业每年要在事件风暴管理上花掉 7000 万 rmb 以上，以期能在生产业务受到冲击之前发现异常现象和意外事件。

事件风暴及传统解决办法

下图为事件简图，展示了典型的一级或企业监控团队可能遇到的情况。此图展示了多种事件源工具，并包含在同一天内由各种事件源工具引起的事件。

大多数企业会用一级运营团队手动逐个分析上面 93 个事件，并为重要的或反常的事件创建工单。

该方法需面临的挑战：

运营团队需要花超过 30 分钟发现异常因不同运营团队所分析的事件源可能不同，故运营团队缺乏态势感知和关联信息工单与事件比值较高工单重复率较高工单检查团队人力消耗较大

事件聚合

例如，通过事件风暴示例可见，事件聚合可用于减少这 93 个不同的事件，并将其分类为 15 个单独事件。

这样就不再需要一级运营团队分析 93 个不同告警，只需分析 15 个事件，工作量降低了84%。

事件聚合的优点：

在一些事件源较多的应用环境下非常好用（例如：事件源 < 5 且主机数 < 100 ）缩短运营商发现问题所需的时间降低工单与事件的比值

事件聚合遇到的挑战：

运营团队仍然缺乏对事件源的态势感知，因此仍可能出现重复工单和重复的故障排查对于千变万化的高度动态环境，事件聚合中使用的时间窗（如一小时）可能太长。在包含大量糟糕事件源的较大应用环境中（例如，事件源 5 且主机数 100 ），仍然存在严重的生产力消耗。

事件关联

在同一事件风暴示例中可以看出，通过事件关联，可将这 93 个不同事件分组为 2 个单独事件：

这样就不再需要一级运营团队逐个分析 93 个不同警告，仅需分析两个事件，工作量减少了 98%。

事件关联的优点：

非常适用于包含大量事件源的应用环境（例如：事件源 5 且主机数 100 ）运营团队对于事件源有完全的态势感知，因此重复工单数能降至最少缩短运营团队发现问题所需时间降低工单与事件的比值降低重复工单的出现频率减少工单检查团队的生产力消耗

事件关联中的挑战：

不适用包含少量嘈杂事件源的小应用环境（例如：事件源 < 5 且主机数 < 100 ）整合多重事件源机器学习算法可能需要根据具体环境进行协调优化

现在你应该明白，如今的事件管理对于企业和服务供应商来说仍然存在很大的问题，每年几乎都要耗费他们几千万 rmb 的劳务费用。尽管 IT 运营团队能使用软件进行事件聚合和关联，但是两种方式也都各有利弊。

对你来说最管用的方法是什么呢？