vlambda博客
学习文章列表

在线教育行业从0到1的 AIOps 之路

在线教育行业从0到1的 AIOps 之路

今天我基于我们公司具体案例来跟大家做一些分享,在提出AIOps概念,到我们做,目前是经历了不到半年的时间,在这个过程当中,我们也做了很多的比较、实践,希望今天的分享可以给各位带来你们更多的参考或者是借鉴的意义。

今天我会讲三个部分的主题:

  • 一是背景和痛点;

  • 二是架构和规划;

  • 三是台站和机遇。

一、背景和痛点

在线教育行业从0到1的 AIOps 之路
现在运维的问题不是因为没有很好的监控手段,不是因为我们没有很多的监控数据,而是因为我们的这些数据非常的多。数据本身是有很多的维度,维度非常的复杂,也没有做到很好的关联。那我们在做大的生产环境就会有很多的障碍,你会查很多的系统,最终查到问题出在哪里,这是每个运维都会碰到相似的情况。

这个时候就要引出今天的主题—AIOps,是经历三个阶段。

  • 第一阶段是2013年提出的ITOA,是提供服务和各种技术手段收集存储和展示IT的数据。这个部分主要是以人作为出发点来分析;

  • 第二阶段是2016年的时候,提出来AIOps,这个AI不是现在的AI,是基于大数据结合算法来做的AIOps;

  • 第三阶段是2017年提的AIOps,就是现在的时态,就是智能运维的时代。智能运维也是在2017年真正明确大数据、机器学习两大平台。

在线教育行业从0到1的 AIOps 之路

这边的图就说明它的成熟,我们可以看到机器学习成熟度比AIOps的成熟度高的,某种角度来说,AIOps现在还不是很成熟,这跟AI技术发展也是很有关系的。昨天我参加了一个学习班,有一个非常资深的北大博士生导师就这么讲了,AI技术现在已经有十多几十年的停滞,现状是这样。

现在还没有突破达到新的AI高度。但为什么又要研究?因为这是我们的方向。它能给我们带来什么呢?AIOps是释放运维人员的人力,把我们从复杂、冗余的告警、监控、日志等各种繁琐当中解放出来。

AIOps的核心两大主题我刚刚讲了:一是大数据;二是机器学习。由这两个核心组建构成了AIOps的平台。AIOps它可以带来什么好处呢?可以提高自动化水平、提高服务管理水平、提高监控水平。

它这么好,它是不是完美的?它在干什么?其实它不能干嘛,也不能替代DIOps,只能作为它的补充。我这里不想讲大数据框架,而是数据处理范畴有实施数据和离线数据及各种数据的聚合,在很多的场景中,数据就是我们的AIOps做的第一步,第一件要做的事情就是数据。

这个数据也做了很多的调研,大家都知道大数据平台,要做离线处理也可以有一些技术。在调研的时候,我们就发现大数据对于AIOps非常重要,你要用这个技术,要搭整套大数据稳定,这是非常痛苦的,还要做其他的插件、中间件,非常的累。有没有办法呢?后面我会讲一些办法。

下面我们讲痛点。

先讲一个指标的痛点,每个运维人员都会碰到,就是突发性系统指标突增。我们晚上都会碰到跑批的任务,研发人员可能认为很正常,同样的报警放在白天肯定是有问题的,现在各种报警,产生的报警噪音是非常大。还有无法预测的业务增量,我原来在小红书体会更深,做电商,每天或者是每周都有自己的波谷,特别是大促的时候,这个量就是百倍的增长。

在线教育行业从0到1的 AIOps 之路

这种报警怎么报?拍脑袋吗?拍脑袋的时代已经过去了。接下来,我们就真的只有依靠AIOps去找,产生我们的机械系统,可以通过不断的学习,对于学习到正常情况剥离,认为它不是有问题,这样就减少漏报和误报的问题。

在线教育行业从0到1的 AIOps 之路
运营类,我们是在线教育的公司,核心是音视频。上面这张图是花得不能再看了,上课的时候如果出现这种屏,没有任何一个用户可以忍受。下面这个表达的意思是老师坐在这儿,他如果走开了,或者是学生上了一半,小朋友非常淘气跑开了,你怎么定位这堂课的教学质量是好的?老师的等级定位是正确的,学生学到的教学质量分是多少个?这是定不了的。

目前情况下,很多时候都是拍脑袋、打标签。最简单的是,老师上完课之后,老师给孩子打一个分,家长就会看到,家长也会给老师打。这个是人为参与过程当中不完全能表达教学质量的核心问题,很多时候可能是漏打或者是不想打。

二、架构和规划

我稍微的延伸一下,在这个架构的部分做的出发点是要把数据做一些关联性的分析。怎么做关联性分析?这是我碰到最大的障碍。我们有什么样的数据?监控数据、指标类数据、全链路跟踪数据、事件数据、中间件消费的数据、部分业务数据、日志数据……

我的天啊,这么多数据都是不同维度的。那么,这些数据怎么做关联?这就是AIOps的核心价值,它可以把这些东西通过机器学习的方法来学习模型,再把这些数据关联起来,最终我们会实现什么呢?可以实现:异常检测、异常定位、跟因分析、异常预测,这是它的路径。

AIOps在目前来说涉及到的四个领域,每个领域都有不同的产品和框架、算法。在这里面,我们会通过Agent,在容器和数据机上收集各种数据上来。MessageQ就是做消息缓冲层,我们选择的是卡夫卡,还可以选择MQ,这些都可以。

我想介绍一下,我们选择是实时处理的框架Flink,不知道谁用过这个产品?这个还是相对比较新的实时处理的框架,我比较了一些系统之后,我发现它是非常好用的,速度非常快,不需要很大的生态支撑实时处理框架,所以,我们引用了Flink做一部分的ETR(数据清洗、转换、传输)的工作。

还有告警的平台。之后就是机器学习的部分,机器学习还是探索阶段,切入机器学习的点不是把开元学习的框架拿来用,而是要做四条路径需要有什么算法,需要怎么解决海量KPI的学习。还有数据仓库,我们现在的数据库也是比较新的,为什么选择它?我们对比了一些数据库之后,它是处理速度最快的,20几亿条的数据做全文检索,两个关键指标去查询,都是1秒之内出结果。

也就是一个月的数据,我1秒钟之内,就可以根据需求查出来,这对于数据仓库来说非常有意义,而且压缩比也是不错的,如果放到其他的平台,你的资源开销是非常大的,但是,在这里面是不需要的。

在线教育行业从0到1的 AIOps 之路

再讲CMDB,它是最基础的工具集,因为这里面有基础数据和标签数据。基础数据收集就是Agent;流式计算处理是Flink;还有基线处理;报警系统的仓库刚刚说过了。

我前面说了AIOps的四条路径:

1.异常检测。 怎么做异常检测?
1)基于无监督的异常检测筛选,筛选了之后会拿到一堆筛选出来的结果,运维人员打标,说这个检测出来的就是有问题,这个波谷是正常的,要先打标。 因为任何机器学习和AIOps,都是要基于这个过程做一些最最初级的教学,告诉它什么是对的,什么是错的。
2)打标完了之后,就是基于有监督的异常检测,然后我们来自动的做算法和参数的调整。
3)把海量KPI做分类。 当然,后面我会讲一些分类算法。 分类之后,再给它特定的检测算法。 这样的话,我就可以从多个层次有落地的心态,否则没有办法落地。
2.异常定位
我检测完了,就需要定位,这是非常实际的问题。 如何在AIOps定位? 就是要构建一个非完善的故障数。 当然,后面会有一个算法是“孤立森林”,但是,我今天不会特别深入算法本身,而是告诉大家一个路径或者是该怎么样去解决这些问题。
当你构建了非完善的故障数之后,我们就分析它的关联关系,裁减掉“无关联关系”的分支,最终,我们可以出现一些结果集,这个是异常的定位。
3.跟因分析。
跟因分析怎么做? 我们要找到原因。 我不希望出了一个问题,所有的报警全都来了,那我就头痛死了,我都不知道问题出在哪,告警聚合是要做的。 还有关联指标波动聚类。 虽然它会把相同指标聚在一起,虽然不是直接强的关系,但是可以聚类。
聚类完了之后,是要粗粒度的定位它的问题,再是粗粒度的界定,到底是服务器的问题,还是用户的问题。 定界完了之后,最终找到故障传播关系,也是跟因分析最最重要,也是出结果的东西。
4.故障预测
我们目前还没有做好,因为预测本身来说,它还需要很多的训练模型,包括跟现实状况比较,再让它成熟更成熟。 所以,这里面会分为三个方面: 做故障预测。 我出现问题了,可能是切流量,自动切。
但是,没有AIOps就是人为了,让它高可用了。 但是,碰到混合云怎么办? 高可用不可能同时用在线上和线下,当然强用也没有问题。 首先是故障切换,再是性能瓶颈的预测,预测到了性能平静之后,就给开发人员说有性能瓶颈改代码,如果改不了就定向的扩容了。
在线教育行业从0到1的 AIOps 之路
这是讲的 AIOps 四个大路径,可能是比较抽象的。 这是我写的智能基线处理的架构,之前花了很多的分析是在做数据预处理的过程,包括把各种数据清晰转换。 规划是聚类的算法,就是去毛刺,你会看到后面的图,基线系统的时候去掉毛刺,很多地方就是光滑的,否则一直是很毛刺的地方。
异常判定是通过机器学习的部分做切口输出“孤立森林”是基于竖的算法。 异常判定,判定出有问题,最终做推荐。 我可以预想到的是,这对于我很有用,因为我在各种系统都会碰到这个问题,如果是智能就更好了。 现在无法是两种,我拍脑袋定一个百分比,或者是跟前一分钟的正负,这样也可以来处理。

在线教育行业从0到1的 AIOps 之路

这是我们异常检测灵敏度自适图,这是两个业务,红色部分是智能基线系统做出的结果,会标注红线是很平缓的,但是,中间会出现毛刺,但是,这个毛刺不太影响业务。 碰到这种情况,我们就可以摸平。 突发性来一下报警,就不会收到你的报警信息,它的灵敏度就不会那么高,会减少大量无用的报警信息。
我们每年都有做活动,一做活动就产生冲高流量,环比、同比都会报警,百分之百,因为很高,目测就比平常的波动高很多。 在下跌过程当中也会报警。 这种报警怎么办? 如果通过智能基线系统,会学习之前的数据预处理之后,它会把这个部分认为合理正常的。 因为它学习了,这个时间段出高峰就是业务高峰来了,是正常的,它就减少误报的干扰。

在线教育行业从0到1的 AIOps 之路

这个是抖动。 在线教育看到花的图片肯定是忍受不了的,这种花是怎么造成的,就是丢帧。 这种情况有的时候要做部分的处理掉单分钟的抖动,出现多少丢帧就能出现抖动的情况,这个还是要机器学习,现在还是拍脑袋的事情。 你现在反映给业务,说很正常,抖一下就好了。
所以,智能机器人系统也是基于历史数据学习,自动过滤掉单分钟的抖动。 在出现一定持续时间后,它才会触发报警,减少报警之后就不会产生“狼来了效应”,“狼来了效应”很可怕,不是大家监控的数据不够,而是太多了,不想看了。

三、挑战和机遇

挑战和机遇,跟前面的智能基线系统是差不多的,但是,这里面多了特征工程,可能更多是接近AI的部分,我就不展开多讲了。大概提一下,会加两部分的能力,就是统计特征和个性化配置。
在线教育行业从0到1的 AIOps 之路

最后想强调一下,我们做AIOps最大的挑战就是做关联分析,这是最大的挑战。 这里我特别理出来是应用、业务指标和业务域的关联,怎么做关联,这也是AIOps最核心的事情。 我们有一些步骤和阶段,从CMDB做标签、时间序列关联性、从已有的事故报警规则关系的深度学习和挖掘,这就是几个阶段怎么做关联。
这个部分是跟AIOps关系不是十分紧密的部分,我们做在线教育的,可能最直接的考虑到一个问题,就是别人问你“教学质量怎么样、怎么保证教学质量? ”这个问题是非常现实的。
在线教育行业从0到1的 AIOps 之路
我们从这里看,我们训练原数据存储,原数据我们有各种方法拿到,比如云识别,把语音落成文字; 人脸识别,看看老师是不是坐在摄像头范围之内,没有离开; 说话的时长,学生有没有很正常的问答,这也是一个教学质量的范围。
包括鼓励词、情绪,现在面部识别也可以抓到情绪,这都是很片面的东西,这些片面的东西就是为在线教育结合AI的部分,保证你的教学质量。 通过训练模型、及其学习平台,最终给出一些结果预测,比如说这个老师的教育水平如何、这节课如何,这是有结果说话的。
我不是招一个老师就评多少级,就拿多少工资,这个不一定,你教得好,学生的真正水平达到什么程度,这都是很现实的业务问题,这是展开的部分,跟Ops没有太大的关系,跟AI有关系。
之前跟IBM聊过,大家知道科大讯飞对中国的语音识别做得不错,中文的方言,比如说四川话、上海话、广东话,这些不错。 但是,我们在语言的范畴之类,英语也有方言,美语、英语,还有一个搞笑的事情,家长到某平台上学,他不问这个老师是哪里的。
为什么不问呢? 因为老师本身是有美语和英语之分,你可能找到的老师是纯正的菲佣英语,也有可能是学到黑人英语,怎么办? 那家长吓死了。 现在老师要求非常高,要学英式英语,不要美语。 现在有英语识别非常好的,这方面也在做。
IBM还做了一件事情,现在做了图像识别是基于时间切片,一帧帧的识别,现在它可以通过事件学习。 打个比方,之前腾讯云找IBM,说我想劫某某明星的所有投三分球的视频集锦,之前只能人工做,100小时就100小时剪切出来,但是,现在3秒钟之内就做好了。 基于事件,把投篮这一秒的画面作为事件处理,这就是机器学习的美丽,这是展开了,跟AIOps的关系不是特别。

说明:以上为钱宏伟老师在 GOPS 2019 · 深圳站的分享。

GOPS 2019 ·上海站同样精彩,更多 AIOps 精彩案例等你来撩~11月1-2日,上海,GOPS,我们等你!

在线教育行业从0到1的 AIOps 之路

扫描上方二维码,查看完整日程 ▲

点击阅读原文,更多精彩