大数据中心智能运维平台(数据中心智能化运维)

来源网友投稿 767 2023-02-08

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。
本篇文章给大家谈谈大数据中心智能运维平台,以及数据中心智能化运维对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 今天给各位分享大数据中心智能运维平台的知识,其中也会对数据中心智能化运维进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

智能运维平台系统是什么

智能运维平台,又称AIOps,是将AI赋能于IT传统运维,通过对日志、指标、Trace等数据的分析,协助运维工程师更快速精准地发现故障、定位故障,并排除故障,提高运维效率、降低运维成本。

一套完整的智能运维平台系统,通常包括:

(1)数字运维中台:提供数据治理服务、流批一体化服务和AI算法平台服务。

(2)统一监控中心:将监控对象与运维数据关联,实现对象视角的全面可观测性方案

(3)告警辨析中心:智能化集中告警,构建闭环告警管理

(4)指标解析中心:集中管理监控指标,AI算法智能化检测分析

(5)日志精析中心/日智速析专家:海量数据处理,串联及多维分析,实时聚类检测

(6)运营决策中心:多源数据接入,多设备统一管理,自定义观测场景

智能运维平台系统的部署,可以根据现有情况分步骤进行。先从急需的场景入手,再辅以运维数据的治理,即可发挥其作用,让运维工作提升一个档次

什么是AIOps智能运维?

智能运维AIOps平台,往往是通过大数据、机器学习和可视化的方式让IT运维工作变得更高效。企业基础设施与运维负责人应该尽早启动AIOps平台部署工作,优化当前的性能分析,并在未来两年至五年内扩展至IT服务管理和自动化领域。

AIOps平台是将大数据与机器学习功能相结合的软件系统,主要对IT系统不断产生的数据量、类型和速度进行拓展性的采集和分析,以支撑IT运维的主要功能。该平台能够同时使用多个数据源、数据采集方法、数据分析及演示技术。

AIOps可以应用到广泛的IT运维流程及场景中,包括性能分析、异常检测、事件关联分析、IT服务管理和自动化。

核心功能包括:

从各种数据源中提取数据

对提取的数据进行实时分析

对存储的数据进行历史分析

提供数据访问接口

存储采集数据

使用机器学习技术

根据分析结果启动操作

AIOps在企业中日益占据主导地位,而一些成熟的组织已正在利用该技术为企业领导者提供决策支撑。

智能运维服务都有哪些功能以及效果呢?

智能运维是一种全新的数字化运维能力,且是企业数字化转型的必备能力。智能运维的本质是提升运维数据的认知能力,它在提升运维数据治理能力、优化企业业务数字化风险、降低运维人力成本和提升运维在业务侧的影响力方面都有本质的提升。

智能运维,又称AIOps(Artficial Intelligence for Operations),是一种将大数据、人工智能或机器学习技术赋能传统IT运维管理的平台(技术)。

比如以我们公司的夏洛克AIOps智慧运营平台为例。它能以全局运营视角解读IT运维,在AI算法平台的支撑下实现包括精准告警、异常检测、根因定位和容量分析等场景,助力企业数字化业务高效、稳定和顺畅运行。

运维数据治理。通过高性能实时处理的数据平台广泛采集、处理和分析数字化业务运行过程中的多样化运维数据,包括告警、指标、日志、配置以及运维工单等类别,不仅提升了运维大数据的治理能力,优化了数据质量,而且为进一步激活运维数据的价值打下了良好基础;

业务数字化风险。使运维人员不仅提升了历史运维数据的分析能力并且能够对实时数据进行异常检测和问题预判,有效降低数字化业务的运行风险,提升可用性、稳定性;

运维人力成本。使真正意义上的跨域根因定位成为可能,降低对专业运维人员经验技能的依赖,迅速缩短故障排查时间并有效降低人力成本;

业务侧影响力。以业务视角利用多元化数据提高运营分析和决策能力,比如端到端的分析业务交易状态,提供给业务、客服部门及时反馈和决策支持依据,充分增强业务影响力;

智能运维发展正如火如荼,Gartner预见其为下一代运维,认为到2022年将有近50%的企业用户部署智能运维。虽然目前不少企业已经在积极投入建设,也还有一些企业处在迷茫阶段,尽早布局才能在数字化时代不会被淘汰。

大数据时代数据中心运维管理

立足数据中心运维管理大数据中心智能运维平台的现状大数据中心智能运维平台,顺应时代发展的潮流,充分利用信息技术的机遇,利用现有资源对数据中心的运维管理加强完善和创新,为行业的发展,国家的进步贡献力量。


1.大数据时代数据中心运维管理的现状


大数据时代作为时代发展的机遇出现在大众视野,但是也是作为挑战逐步渗透在行业的数据中心运维管理中。以计算机技术为依托的数据中心运维管理的显著特点就是大规模的数据流量,正在不断与原有的数据中心架构产生冲突。


目前,大数据时代的数据中心运维管理的先进意识已经深入人心,但是实际项目操作过程中会有众多的问题出现。因为在磨合期,所以现有设备不能满足大数据时代的数据中心管理要求;运维管理人员的没有经过大数据时代新的运维管理思路的熏陶,技术水平与之不匹配;还有就是数据中心的运维管理制度不都完善,相应的管理水平不高。


2.解决数据中心运维管理困境的策略


针对目前数据中心运维管理的困境,本文提出了相应的解决策略,以供业界参考。


2.1 提升运维管理人员的整体能力


基于目前数据中心运维管理工作人员的实际能力,通过采取以下积极的措施来提升运维管理工作人员的综合能力水平。


2.1.1 大数据背景下,强化数据中心运维管理人员的技术应用水平


通过多维度的检验途径,比如定期检查该技术的理论与实践水平确定工作人员的当前能力,在制定符合目前技术短板的相关培训,从而保证运维管理工作的顺利进行。


2.1.2 加强管理方面的知识渗透


在加强数据中心运维管理人员的技术应用水平的前提下,可以加强管理学知识的渗透,为技术团队的整体语言表达能力的提升以及为管理层储备后续力量,既懂技术又懂管理的新世纪人才,有助于数据中心运维管理工作更加高质量的完成。


2.1.3 加强工作人员执行力,更高效的完成工作


在数据中心运维管理的众多评价标准中,执行力是影响一个团队整体运作能力很重要的一个指标,良好的执行力可以保证时间段内的工作目标提前完成或者超量完成。


2.2 强化业务管理工作和业务培训工作


现如今,科学技术的更新速度往往超出人们的接受速度,在数据中心运维管理这个领域也同样适用。所以使得运维管理人员刚刚熟练掌握新的运维既能并熟练应用,新的技术又刷新了行业应用领域。所以设立专门的培训机构,强化管理人员终身学习的意识,紧跟时代发展的脚步。


2.2.1 制定合理的业务培训和业务管理培训计划


科学合理的方案总能给与人们正确的指导,并保证在规定期限内达到既定目标。运维管理培训和业务培训的内容要与时俱进,不断为管理人员灌输新的知识,为运维管理的工作融入新鲜的血液。


2.2.2 合理安排培训时间


运维工作人员在企业内是员工,男性员工在家庭里是儿子,是丈夫,是爸爸,所以要协调好培训的时间,保证员工能充分解决员工之外的各种事情,全身心的投入工作。


2.2.3 使业务管理和业务培训的形式呈现多元化


公司管理层应加强与行业内部个组织间的联系,比如同专业的大学、同行业资深专家、专业讲座等等。通过多元形式的学习加深对行业发展的了解,并积极促进管理人员的专业素养。


2.2.4 定期进行培训效果的考核


在定期进行学习之余,为检验学习效果是否达到预期目标,应适时进行检验,进一步促进运维工作人员的学习质量的提升,提升其主观学习的动力。


总之,强化对运维工作人员的业务培训,能够有效地对运维工作者的维修技术进行与时俱进的培训,能够有利于运维管理工作人员进行数据中心运维管理工作的开展,最终有利于信息技术飞速发展下的运维工作的稳定进行。


2.3 加强了解整体行业环境的意识


有些企业的运维管理的硬件设施和软件配备欠缺,造成整体的管理水平低,是因为企业没有采取相应的举措保障。以下将详细讲述如何提升整体行业环境的了解。



(2)定期组织团队中的成员进行行业发展前景的探讨,在探讨交流的过程中了解当下运维管理工作的总趋势,从而能够为运维工作的有效进行提供有价值的参考意见。



总之,强化了解和分析业务环境的意识,能够有利于运维管理工作人员有行业的危机意识和行业的发展意识以及个人职业规划意识的提升,最终有利于大数据时代数据中心运维管理工作的顺利开展。


3.大数据时代下,技术层面面临的挑战


3.1动力环境监控系统概述


通过应用数据采集系统,计算机和网络技术,逐步完成数据中心运维管理动力电源供电设备的运行和机房的监控的平台就是数据中心动力环境监控系统。


3.2 动力环境监控数据的特点。


通过采集数据中心的关键指标数据,针对实际运行情况实现预警功能、远程功能以及运行监测功能。动力环境监控数据具有其本身特点。


3.2.1 数据结构化、格式化程度高


因系统采集到的实时监控数据大都存储于数据库中,因而动环监控数据结构化、格式化程度高,这也为数据挖掘提供了便利。


3.2.2 实时更新


动力环境监控系统运行的最底保证便是数据的准确性和实时更新,其数据采集的更新时间间隔为每秒。


3.2.3 时序性


动力环境监控系统实时记录的环境温度、环境湿度等数据都是随时间更替而进行采集的。


3.3 数据挖掘提高告警信息准确性


动力监控系统是以计算机为载体,以信息技术为依托的技术,所以其产生的大规模数据也是大数据时代一个突出的特点。就目前而言大规模的数量利用率较低,即使专业水准较高的管理人员也会深感难度高、工作量大,与现有的技术水平不能完好对接。


数据挖掘技术的出现解决了目前的难题。数据挖掘中关联分析方法解决了数据中心运维管理中不明原因的重复警报,为运维管理的工作有序进行提供了基础,并为专业水平较低的运维人员提升了工作效率。


3.3 运维经验知识化的工作模式需要改进


据以往的运维工作人员的叙述,过度依赖专家给与的指导经验,成为行业内部的不良风气。首先运维专家的培养周期较长,短时间没有任何效益输出;其次专家的意见偶尔会带有强烈的主管色彩,但是对于实际操作过程并不适用,最终导致工作的延误;最后就是过度依赖专家,若运维专家不在职装天下将会对运维管理工作造成重创,不具有可持续性。


所以建立关于数据中心运维管理的内部数据和外部数据,为现有的运维人员过度依赖专家的不良习惯提出解决方案。内部数据主要是指内部运维经验;外部数据是指来源于互联网的运维知识。对于收集到的内外部数据,利用文本挖掘、聚类、分类预测等方法对信息进行加工展现,转化成知识库中的知识,并实现对信息的快速、自动化检索。


3.4 资源调度成为容量管理的关键


在大数据时代下,数据中心存储容量指标是指机位空间指标等,尤其是计算资源指标,是其组成的关键部分。需要最新的数据中心运维管理平台实现监测服务器、使用网络以及存储资源等功能,根据实际情况进行管理策略的变动和资源的优化配置。


云计算技术已成为数据中心运维管理的核心,并打破传统的数据运维管理信息系统结构,建立一个全新的集计算、存储、和网络三维一体的虚拟资源库,通过实际的操作,实现现有资源的动态优化配置。


虚拟化技术可以保证存储环节中大规模数据的安全性,在逐步实现数据资源的重复使用、关联以及动态管理等动能的同时,也为运维管理人员提出了巨大的挑战。故此,通过科学合理的分析容量数据,构建完善的资源调度制度,实现实现新一代数据中心资源在应用间的动态分配,将成为大数据时代下数据中心运维管理的一大挑战。


4.结束语


为顺应大数据时代的潮流,必须进行数据中心运维管理的深度优化,为数据中心的整体发展提供新鲜的 科技 动力。通过提升运维管理人员各方面的能力还有利用先进的动力环境监控系统技术,为数据中心的运维管理提供强大的人力支持和技术支持,助力大数据时代背景下,数据中心运维管理的长足发展。


参考文献

[1]朱玉立,任义延,高甲子等,浅谈大数据时代下的数据中心运维管理[J].信息系.统工程,2015.

[2]解林超,石佳,王仲锋等。大数据时代对传统数据中心的影响及思考[J].中国新通信,2014.

[3]周焘。大数据时代的档案大编研[J].陕西档案,2014.

[4]陈艺高,动环大数据,提升运维效能[J].通信电源技术,2014.

[5]张隽轩,张文利,黄毅。数据中心运维系统应用ITIL管理体系分析[J].智能建筑与城市信息,2015.

[6]宋维佳,马皓,肖臻,张晓军,张蓓.虚拟化数据中心资源调度研究[J].广西大学学报大数据中心智能运维平台:自然科学版,2011,36(01)大数据中心智能运维平台:330-334.

践行AI战略:华为引领数据中心网络迈入人工智能时代

AI正在成为企业助力决策、提升客户体验、重塑商业模式与生态系统、乃至整个数字化转型的关键驱动力。

但在崭新的AI时代,数据中心网络性能也正在成为AI算力以及整个AI商用进程发展的关键瓶颈,正面临诸多挑战。

为此,华为以“网络新引擎 AI赢未来”为主题发布了业界首款面向AI时代数据中心交换机CloudEngine 16800,将人工智能技术创新性的应用到数据中心交换机,引领数据中心网络迈入AI时代。

AI时代数据中心网络面临三大挑战

当前,数字化转型的持续推进,正在提速驱动数据量暴增;同时,语音/视频等非结构化数据占比持续提高,庞大的数据量和处理难度已远超人类的处理能力,需要基于机器运算深度学习的AI算法来完成海量无效数据的筛选和有用信息的自动重组,从而获得高效的决策建议和智慧化的行为指引。

根据华为GIV 2025(Global Industry Vision)的预测,企业对AI的采用率将从2015年的16%增加到2025年86%,越来越多的企业将利用AI助力决策、重塑商业模式与生态系统、重建客户体验。

作为人工智能的“孵化工厂”,数据中心网络正成为AI等新型基础设施的核心。但与此同时,随着AI时代的到来,AI人工智能的算力也受到数据中心网络性能的影响,正在成为AI商用进程的一大瓶颈。

华为网络产品线总裁胡克文指出,AI时代的数据中心网络将面临以下三大挑战:

挑战1.AI算力。高性能数据中心集群对网络丢包异常敏感,未来的网络应该做到零丢包。但传统的以太网即使千分之一的丢包率,都将导致数据中心的AI算力只能发挥50%。

挑战2.大带宽。未来5年,数字洪水猛增近20倍,现有100GE的网络无法支撑。预计全球年新增数据量将从2018年的10ZB猛增到2025年180ZB(即1800亿TB),现有100GE为主的数据中心网络已无法支撑数据洪水的挑战。

挑战3.要面向自动驾驶网络的能力。随着数据中心服务器规模的增加,以及计算网络、存储网络和数据网络三网融合,传统人工运维手段已难以为继,亟需引入创新的技术提升智能化运维的能力,如何用新的技术去使能、把网络问题排查出来成为业界都在思考的问题。

华为定义AI时代数据中心交换机三大特征

从行业大势来看,随着以人工智能为引擎的第四次技术革命正将我们带入一个万物感知、万物互联、万物智能的智能世界,数据中心网络也必须从云时代向AI时代演进。在华为看来,数据中心需要一个自动驾驶的高性能网络来提升AI算力,帮助客户加速AI业务的运行。

那么,AI时代的数据中心网络究竟该如何建设呢?胡克文指出,“华为定义了AI时代数据中心交换机的三大特征:内嵌AI芯片、单槽48 x 400GE高密端口、能够向自动驾驶网络演进的能力。”

特征1.业界首款内嵌AI芯片数据中心交换机,100%发挥AI算力

从应用侧来看,刷脸支付的背后是上亿次图像信息的智能识别,深度 健康 诊断需要基于数千个算法模型进行分析,快捷网购体验离不开数百台服务器的智能计算。也就是说,新商业物种的诞生,产业的跨越式发展以及用户体验得以改变,强烈地依赖于人脸识别、辅助诊断、智能推荐等AI应用的发展。

但由于AI算力受到数据中心网络性能的影响,正在成为AI商用进程的关键瓶颈。为了最大化AI算力,存储介质演进到闪存盘,时延降低了不止100倍,计算领域通过采用GPU甚至专用的AI芯片将处理数据的能力提升了100倍以上。

CloudEngine 16800是业界首款搭载高性能AI芯片的数据中心交换机,承载独创的iLossLess智能无损交换算法,实现流量模型自适应自优化,从而在零丢包基础上获得更低时延和更高吞吐的网络性能,克服传统以太网丢包导致的算力损失,将AI算力从50%提升到100%,数据存储IOPS(Input/Output Operations Per Second)性能提升30%。

特征2.业界最高密度单槽位48 x 400GE,满足AI时代5倍流量增长需求

数据中心是互联网业务流量汇聚点,企业AI等新型业务驱动了数据中服务器从10G到25G甚至100G的切换,这就必然要求交换机支持400G接口,400GE接口标准化工作已经于2015年启动,目前针对数据中心应用已经完成标准化,400G时代已经来临。

集群的规模是数据中心架构演进的动力,经典的无阻塞CLOS理论支撑了数据中心服务器规模从千台、万台到今天10万台规模的发展,增大核心交换机容量是数据中心规模扩大的最常见手段。以一个1000T流量规模的数据中心组网为例,采用400GE技术,核心汇聚交换机需要5K个接口,相对100GE技术减少75%。

为此,CloudEngine 16800全面升级了硬件交换平台,在正交架构基础上,突破超高速信号传输、超强散热、高效供电等多项技术难题,不仅支持10G→40G→100G→400G端口平滑演进能力,还使得单槽位可提供业界最高密度48端口400GE线卡,单机提供业界最大的768端口400GE交换容量,交换能力高达业界平均的5倍,满足AI时代流量倍增需求。同时,CloudEngine 16800在PCB板材、工艺、散热,供电等多方面都进行了革命性的技术改进和创新,使得单比特功耗下降50%。

特征3.使能自动驾驶网络,秒级故障识别、分钟级故障自动定位

当数据中心为人工智能提供了充分的技术支撑去创新时,人工智能也给数据中心带来巨大利益,如借助telemetry等技术将异常信息送到集中的智能运维平台进行大数据分析,这极大提升了网络的运行和运维效率,降低运维难度和人力成本。但是当前计算和存储正在融合,数据中心服务器集群规模越来越大,分析的流量成千倍的增长,信息上报或者获取频度从分钟级到毫秒级,再加上信息的冗余,这些都使得智能运维平台的规模剧增,智能运维平台对性能压力不堪重负降低了处理的效率。如何减轻智能运维平台的压力,在最靠近服务器,最靠近数据的网络设备具有智能分析和决策功能,成为提升运维效率的关键。

CloudEngine 16800基于内置的AI芯片,可大幅度提升“网络边缘”即设备级的智能化水平,使得交换机具备本地推理和实时快速决策的能力;通过本地智能结合集中的FabricInsight网络分析器,构建分布式AI运维架构,可实现秒级故障识别和分钟级故障自动定位,使能“自动驾驶网络”加速到来。该架构还可大幅提升运维系统的灵活性和可部署性。

引领数据中心网络从云时代迈入AI时代

自2012年进入数据中心网络市场以来,目前华为已服务于全球6400+个用户,广泛部署在中国、欧洲、亚太、中东、非洲、拉美等全球各地,帮助互联网、金融、政府、制造、能源、大企业等多个行业的客户实现了数字化转型。

2017年华为进入Gartner数据中心网络挑战者象限;2018年进入Forrester数据中心SDN网络硬件平台领导者;2013-2018年,全球数据中心交换机厂商中,华为连续六年复合增长率第一,发展势头强劲。

早在2012年,华为就以“云引擎,承未来”为主题,发布了CloudEngine 12800数据中心核心交换机,七年以来这款面向云时代的交换机很好的支撑了数据中心业务弹性伸缩、自动化部署等核心诉求。

而随着本次华为率先将AI技术引入数据中心交换机、并推出面向AI时代的数据中心交换机CloudEngine 16800,华为也在引领数据中心网络从云时代迈入AI时代。

2018年,华为轮值董事长徐直军宣布:将人工智能定位为新的通用技术,并发布了人工智能发展战略,全面将人工智能技术引入到智能终端、云和网络等各个领域。而本次华为发布的业界首款面向AI时代数据中心交换机CloudEngine 16800,也是华为在网络领域持续践行AI战略的集中体现。

而作为华为AI发展战略以及全栈全场景AI解决方案的一个重要组成部分,CloudEngine 16800不仅是业界首款面向AI时代的数据中心交换机,还将重新定义数据中心网络的代际切换,助力客户使能和加速AI商用进程,引领数据中心真正进入AI时代。

关于大数据中心智能运维平台和数据中心智能化运维的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 大数据中心智能运维平台的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于数据中心智能化运维、大数据中心智能运维平台的信息别忘了在本站进行查找喔。
上一篇:智能家居是什么,关于智能家居的基础知识
下一篇:运维事件与问题管理(运维人员 需要解决的矛盾)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~