关于告警降噪的思考,让资深安全分析师吹爆的6条告警降噪策略

知梧 1609 2022-09-23

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。

本文向你介绍关于关于告警降噪的思考,让资深安全分析师吹爆的6条告警降噪策略。

目前常见的告警系统,只要是对用户造成困扰的是告警过多,通常每天超过1000条,还好的话每天超过200条,如此庞大的告警极易造成运维人员疲于应付、麻木不仁,而真正出了大事的告警常常被忽视,因此告警降噪成为目前最主要的告警需求之一。

若要进一步将拓扑上类似告警融合在一起,则需要系统拓扑关系来支持,同时还会演化出一种基于CMDB的告警压缩方法。

告警过滤在应用场景中,许多人都想通过最简单、最直接的手段解决这一难题,但针对数据不同步或海量并发请求等某些复杂场景,却缺乏充分的手段去实现。 如果只依靠传统的基于关键字和规则进行压缩的话,效率很低而且也不能满足实时性要求。而利用分布式流计算计算框架可以大大提高计算速度并提高系统性能。 所以在实际运用的过程当中我们可以考虑、利用各种技术来达到对大量告警信息的高效快捷的处理。

比如采用深度学习等人工智能算法和数据挖掘,机器学习等数据分析技术把传统人工方式不能识别异常状态的报警变成可以理解和精确判断是否有异常的报警,实现了实时监控预警的功能,也有助于企业降低不必要的工作负担,提高效率。

告警过滤当前主要使用的技术手段有:

(1)智能分析引擎——包括语义分析器与行为分析平台

(2)特征挖掘——基于历史历史数据或者事件日志产生预测模型来抽取关键属性

(3)知识图谱的构建——知识库与数据库的建立

(4)推荐机制:对某类告警会自动推送对应类告警服务,比如提醒告警服务,通知告警服务等

(5)消息队列管理:对所有告警关联消息进行记录,并将其变为分享文档、查询方便

(6)个性化定制:根据每种业务模式并结合其特点制定专属个性化服务方案;

(7)可视化界面:将各个功能模块运行状况和操作流程直观地显示出来,以便于顾客对具体细节进行理解。

让资深安全分析师吹爆的6条告警降噪策略

如果把“信噪比”引入安全运营和应急响应中来,真实告警就好比有效信号,误报就是实打实的噪音了。这种噪音不仅让安全人员头疼,还会给企业带来隐性的财产损失。

根据Ponemon Institute的调查显示,安全团队平均每天要收到10000多个报警,27%的企业甚至每天收到超过100万个告警。而响应这些告警,对组织的财务资源、人力资源以及时间成本会形成严重损耗,企业造成的成本浪费平均每年可达127万美元。

更可怕的是,因为对告警噪音产生疲劳,安全人员会选择忽视或不能发现真正的威胁,让企业直接踩雷。

2013年,美国仅次于沃尔玛的第二大零售百货集团Target发生数据泄露,4000多万张信用卡信息以及7000万条包括姓名、地址、Email、电话等用户个人信息被盗。为此,Target集团的CIO与CEO相继引咎辞职,公司遭索赔2.02亿美元。你可能想不到的是,Target实际非常重视安全,并且组建了一个300多人的安全团队。之所以出现这次泄露,涉及到一个非常低级的错误——“告警噪音”。

根据报道,Target集团的安全设备其实检测到了恶意软件的安装过程,入侵者有过多次版本更新,设备也收到过多次告警,且有印度分公司安全监控人员上报至企业总部SOC。总部安全团队“经过评估后,确定不需要立即跟进”,随即关闭了设备的在线阻断功能,还忽略了终端防护软件同时触发的告警。该事件事发后调查发现,这次不同设备告警信息中包含的相同服务器地址,就是数据泄露事件中的对端服务器地址。

动图封面

对企业来说,若安全设备每天发出数万甚至百万计的告警,且绝大部分都是误报话,将会是一种破坏性极大的干扰。企业想要做好应对,快速的方法就是配备足够的安全专业人才。如果没有条件,调整安全告警策略也是非常有效的降噪方法。这里,我们从提升告警质量的方法出发,分享几个优化策略,帮助企业应用在自建系统中。

1、通过攻击成功技术判定,只关注真实告警

攻击告警数量每天上万甚至上百万,但很多其实不需要一一查看。企业真正需要关注的告警,其实就一两条。要做到这一点,前提是企业能够识别出真正重要的告警。技术上,可以通过攻击成功判定来完成。2017年,微步在线旗下威胁感知平台TDP在国内首次实现攻击成功判定功能。通过对攻击的请求包与返回包之间存在的流量、目标系统、反馈结果等关联规则自动进行攻击成功判定,最终发布告警,无需人工排查大量日志,误报率低于0.03%。

2、保证告警丰富度

单个事件可能看起来人畜无害,但在包括其他事件的上下文中,安全人员就能很快看出端倪,判断出告警是否重要了。具体执行时,企业可以调整监控方式,针对那些基于相关事件的失陷指标产生的可操作型告警,设置更有价值的细节监控方案,持续生产有意义的告警。

动图封面

3、结合多维度数据,建立智能"降噪"系统

识别单个特征进行报警,很容易引起告警噪音,所以需要利用多维度数据进行数据关联。企业可以先建立正常的"白噪音"基本模型,确定哪些是正常的,将正常的“白噪音”排除掉。通过这种方法基本上就能排除80%的误报,且常见的业务操作均可以通过这种方式排除。微步在线的产品TDP就利用了该方法,可过滤大量其他设备无法规避的业务操作引擎的误报,比如业务常用的SQL语句在这种方法下,会和攻击者的SQL 注入攻击区分开。

4、同类告警归并

查看大量相同重复的告警,会极大浪费运维人员的时间和精力。如果将同类告警进行聚合展示,就无需安全运营人员花费时间,一条一条去翻看告警。大量的告警聚合,能够保证安全运营人员将有限的时间聚焦在重要的报警上。以微步在线的TDP为例,我们可以一目了然看到当前需要处理的全部类型报警:

image.png

5、以事件而不是告警的维度来报警

大量单条的告警,缺少上下文,没有背景信息,会让人不知从哪里来,要去哪里。而安全运营人员关注的本质其实不是告警,而是入侵者,是入侵者的行为,以及入侵者行为产生的事件。告警是最小单元,但是抽象成事件才是可读的。事件才是丰盈的,有骨肉的完整报警。还是以下图TDP为例,你可以看到,TDP将所有的攻击告警以时间线的方式抽象成事件:

image.png

6、妙用情报的能力

情报是天生的降噪机器,利用情报结合报警,能建立大幅的报警捕获和降噪能力。例如,如果一个IP在情报数据中攻击过别的企业,那么这个IP在进入我们监控范围内,所有行为就都已经被监控起来,它的所有行为都会被升级对待。

多年以前,我们通过计算生成的报警数量来衡量安全技术的有效性,因为更多的警报就等于更好的安全性。甲方通过更多的告警数据支撑安全的合规性,快速了解外部威胁的形势,供应商与时俱进产生更多的告警。如今,我们好像已经做到了,但新的问题又出现了。我们需要应对告警噪音,发现真正有价值的告警,但我们的目标和之前一样,为了安全。

上述就是小编为大家整理的关于告警降噪的思考,让资深安全分析师吹爆的6条告警降噪策略相关内容。

国内(北京、上海、广州、深圳、成都、重庆、杭州、西安、武汉、苏州、郑州、南京、天津、长沙、东莞、宁波、佛山、合肥、青岛)睿象云软件分析、比较及推荐。


上一篇:Node.js 4.0.0,灵雀云和 的整合测试(node.js有什么用)
下一篇:企业运营对 DevOps 的「傲慢与偏见」(对企业运营的理解)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~