从电力调度自动化说起

从电力调度自动化说起

昨天和几个电力调度自动化的专家做技术交流，谈到我们的“运维知识自动化”系统能否在智能化运维上对他们有所帮助。他们有感而发，谈了几个例子。回到家思考良久，感到有很大的启发。

第一个例子是他们每年参加世界电力调度算法大赛，最终都很难冲进前十名，总结起来觉得是他们的算法似乎落后了一代。不管如何突破，他们毫无头绪。从直觉上，他们感觉目前调度自动化的研发队伍老化严重，专家们虽然已经把电网及相关算法研究的十分透彻了，但是思想固化的问题十分严重，影响了算法在技术上的突破。

第二个例子是他们这两年感觉到大数据、人工智能的发展肯定能给电网调度带来新的突破，于是找了一家知名高校的团队，合作研发相关的算法。经过半年的合作，他们总结出了两个字：“失望”。当时我觉得十分不解，算法优化应该是高校的优势，哪怕做的不够理想，“失望”这两个字也有点太严重了。最后讨论下来发现了一个最大的问题，那就是高校的研究人员对算法十分精通，但是他们无法理解电网业务，也没有特别大的兴趣去学习电网相关的业务和理论。而他们的人也没办法将电网业务建模后交给高校的研究人员。因此所谓的算法都无法针对电网调度的业务，做的很浅，效果就可想而知了。

第三个例子是通过那次和高校的失败的合作后，他们也做了深入的探讨和反思，发现高校的研究人员的算法都是比较适合于一个混沌系统的，在混沌无知的系统中通过算法去找出规律。而实际上电网并不是一个混沌系统，虽然电网系统十分复杂，但是电网是按照某个规律和目标去设计建设的，因此虽然复杂度十分高，但是内在的规律是符合电网的相关物理学理论的，在95%以上的时间里，电网都是稳态运行的，剩下的5%才需要优化与应急处置。因此以往的理论书籍、专家知识库可以很好的指导他们进行运维、优化、调度、应急处置等各种工作，而对于电网业务了解十分粗浅的算法专家做出了的系统效果就差强人意了。经过反思他们认为，不会再纠结于用人工智能的算法去替代人工调度，下一步会把新一代电网自动化调度的重点放在无人驾驶技术上。以往调度人员遇到一些非稳态的问题的时候，需要通过经验与知识库去查找相关的解决方案，然后进行相关的规程操作。随着电网规模的扩大，复杂度的增加，人工分析和操作的压力越来越大，如果能把一本本的规程变成一个自动化的系统，那么电网调度自动化驾驶应该是能够实现的。

其实他们所说的这几个小故事，和我们在做DBAIOPS的这几年所遇到的事情何其相似。2017年，我们开始开发D-SMART的时候，和他们对电网自动化的理想是十分一致的。那就是大数据分析与人工智能开启了一条全新的运维自动化道路，以往依靠专家才能解决的问题，甚至专家都很难解决的问题，可以很轻松的通过人工智能来解决。在2017年基石数据成立大会上，我做了一个演讲，现在想起来，那个演讲的理想似乎和昨天的电网调度专家们是一样的。

当时我的演讲题目是《基于机器学习的数据库状态巡检平台》。

上面的这个框架是我们最初构想的D-SMART的数据流图，不过这张图到目前为止还没有完成。目前D-SMART已经从2017年底的1.0版本迭代到现在的2.0版本了，中间经历了1.2、1.5、1.6、1.8、1.9.1、1.9.3、1.9.5、1.9.6这8个关键版本的迭代。其核心算法和技术架构都产生了巨大的变化，不过上面这个图中的数据处理流程从1.9.1之后就完全消失了。完全基于机器学习的状态预测模块在目前的版本里也已经停止使用了。这是因为通过机器学习或者深度学习构建的数据库状态预测模型和异常分析模型在实战中最好的效果也仅仅是逼近于专家模型的效果。与其花大力气，消耗大量的系统资源去做智能预测，还不如放弃这个鸡肋。

这些年里，我一直在思考，为什么我们的智能算法的效果远远不如一个专家规则引擎。今天的交流给了我另外一种答案，实际上信息系统，哪怕是最为复杂的数据库系统也是一种被按照某种既定功能要求设计的稳态系统，而不是混沌系统，这一点实际上数据库系统和电网系统的内在规律十分相似。完全放弃数据库的基本原理、放弃这么多年积累下来的专家经验，完全依靠数据和算法，以混沌系统的思路去构建所谓的DBAIOPS系统，似乎并不是一条十分正确的道路。

昨天的交流给予我们在AIOPS上的思考来自三个方面，首先是IT运维要做的更好，要有突破，必须引入新的思维，新的算法。我们这些老一代的IT人很可能思维已经固化了，已经很难有所突破了，一定要引入新技术，新算法，特别是新鲜血液，才能在这个领域有所突破。

第二个启示是如果不懂IT运维，没有IT运维的业务和技术专家参与，那么算法能力再强大也很难在这个领域有所作为。这一点是目前做AIOPS的客户和厂家不太能够接受的。我遇到过很多想做AIOPS的客户，他们都认为高级的算法才是AIOPS的未来，AIOPS可以解决运维专家不足的问题，最终替代运维专家。所以他们在做AIOPS项目的时候，首选和高校合作或者选择有高校技术背景的企业进行合作。不知道他们看到了电力调度自动化的那个合作案例，是否会有所思考。算法固然重要，但是如果不考虑IT系统的规律，把IT系统认为是一个完全混沌的系统，其效果一定就好吗？

第三个启示是“知识自动化”的道路是智能化运维赛道上的一个正确的方向，无论分析算法如何提升，完全替代人还为时尚早，因此基于“知识自动化”的自动化驾驶应该是智能化运维领域中的一条很好的赛道。不管智能化算法能够达到什么样的高度，专家知识的提炼与自动化工作是我们目前可以认真去做的。完全放弃这几十年积累的专家经验，盲目去追求新赛道，是有点暴殄天物了。