(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 108197011 A(43)申请公布日 2018.06.22
(21)申请号 201810083283.9(22)申请日 2018.01.29
(71)申请人 上海洞识信息科技有限公司
地址 201822 上海市嘉定区嘉戬公路328号
7幢7层J1956室(72)发明人 刘斌 孙激 高闯 (51)Int.Cl.
G06F 11/32(2006.01)G06F 11/30(2006.01)
权利要求书1页 说明书4页 附图4页
CN 108197011 A(54)发明名称
一种基于人工智能大数据平台的单指标预测和预警方法(57)摘要
本发明公开了一种基于人工智能大数据平台的单指标预测和预警方法，包括：(1)基于人工智能大数据平台的单指标预测；(2)基于人工智能大数据平台的单指标告警；基于历史的上下界预测指标值的范围区间，一旦在一段时间内连续多次打破历史的上下界阈值范围，即在这段时间内存在异常，进行告警。本发明通过基于历史的指标数据进行智能分析，通过人工智能大数据平台对指标的实时监控的指标数据，依据相应的预警策略，可以实时判断指标异常趋势，提前于监控系统发现潜在的风险，实现生产系统的预警，从而为运维专家留有足够的时间去排除系统故障，尽量避免生产系统风险。
CN 108197011 A
权 利 要 求 书
1/1页
1.一种基于人工智能大数据平台的单指标预测和预警方法，其特征在于，包括：(1)基于人工智能大数据平台的单指标预测，包括以下步骤：a.基于人工智能大数据平台在数据中心采集的KPI指标数据，首先对数据进行清洗，将数据对齐、补全操作；
b.然后根据指标数据历史特征，将指标数据大致分为六类：周期性平缓型数据、周期性震荡型数据、业务特征型数据如JVM、静止扰动型数据、城墙型离散数据、非规律性数据；
c.依据不同的数据类型再做相应的数据预处理，包括ARIMA/RNN时间序列预测、计算历史相对误差、基于历史的上下界预测；
(2)基于人工智能大数据平台的单指标告警；基于历史的上下界预测指标值的范围区间，一旦在一段时间内连续多次打破历史的上下界阈值范围，即在这段时间内存在异常，进行告警。
2.根据权利要求1所述的基于人工智能大数据平台的单指标预测和预警方法，其特征在于，对于周期性平缓型和周期性震荡型这类周期性明显的数据，做如下处理：
1)先将序列划分为工作日序列和非工作日序列；2)对于数据有短时震荡的特征，对数据进行HP滤波处理是数据变得平缓，将处于上边界的点和下边界的点分开，并且对于空缺点使用线性补全；
3)再将工作日中各个时间点数据抽出为单独的时间序列，同时将休息日中的各个时间点的数据也抽出得到单独的时间序列；
4)将处理得到各个时间点的上边界和下边界序列运用ARIMA/RNN模型进行预测；5)根据预测出的上边界和下边界恢复出KPI的预测值。
3.根据权利要求1所述的基于人工智能大数据平台的单指标预测和预警方法，其特征在于，对于业务特征型数据，在对于此类型数据主要做如下处理：
1)先对数据进行hp滤波处理，将数据平滑化；
2)使用时间序列的标准差判断数据处理震荡状态还是稳步上升状态；3)对于震荡状态，使用滚动RNN/ARIMA进行预测；4)对于稳步上升状态，使用线性回归处理。
4.根据权利要求1-3任一所述的基于人工智能大数据平台的单指标预测和预警方法，其特征在于，对于静止扰动型和城墙型离散特征数据，主要根据其历史的四周的数据先进行hp滤波平滑化处理，确定数据的波峰和波谷，取出波峰数据的top5％作为数据的上边界阈值，波谷数据的bottom5％作为下边界阈值。
5.根据权利要求1-3任一所述的基于人工智能大数据平台的单指标预测和预警方法，其特征在于，对于静止扰动型和城墙型离散特征数据，先计算其历史数据的均值和标准差，利用均值和标准差确定数据的历史波动范围特征，从而确定指标数据的上下界阈值。
6.根据权利要求1任一所述的基于人工智能大数据平台的单指标预测和预警方法，其特征在于，步骤(2)设定一个时间窗口大小为M，连续N次打破历史的相对误差范围，就相应的对该时间窗口进行告警。
2
CN 108197011 A
说 明 书
1/4页
一种基于人工智能大数据平台的单指标预测和预警方法
技术领域
[0001]本发明涉及人工智能技术领域，具体是一种基于人工智能大数据平台的单指标预测和预警方法。
背景技术
[0002]目前传统的监控告警具有以下缺点：反应不迅速。监控阈值固定，无变化；时效性差。告警时往系统性能已经严重恶化，或者已经影响对外服务；辨识率差。系统发生告警时，往往会产生消息风暴，而传统的ITOM工具很难实现告警事件关联；没有价值。传统的数据中心运维仅仅着眼于ITOM收集的主机性能数据，对于主机性能数据与业务系统性能之间的数据关联，传统ITOM无法实现数据价值挖掘；缺乏技术支持。告警产生以后，在运维专家到达现场之前，往往无法正常开始抢修工作，缺少运维专家知识库的指引。[0003]在数据中心的指标监控中，迫切地需要能够补足短时预测及长时趋势分析的短板，掌握运维的主动权，提前于监控系统发现潜在的风险，实现生产系统的预警，而不仅仅只是报警，从而为排除系统故障赢得更多的时间。因此，本发明提供一种基于人工智能大数据平台的单指标预测和预警方法。
发明内容
[0004]本发明的目的在于提供一种基于人工智能大数据平台的单指标预测和预警方法，以解决上述背景技术中提出的问题。[0005]为实现上述目的，本发明提供如下技术方案：
[0006]一种基于人工智能大数据平台的单指标预测和预警方法，包括：[0007](1)基于人工智能大数据平台的单指标预测，包括以下步骤：[0008]a.基于人工智能大数据平台在数据中心采集的KPI指标数据，首先对数据进行清洗，将数据对齐、补全操作；[0009]b.然后根据指标数据历史特征，将指标数据大致分为六类：周期性平缓型数据、周期性震荡型数据、业务特征型数据如JVM、静止扰动型数据、城墙型离散数据、非规律性数据；
[0010]c.依据不同的数据类型再做相应的数据预处理，包括ARIMA/RNN时间序列预测、计算历史相对误差、基于历史的上下界预测；[0011](2)基于人工智能大数据平台的单指标告警；基于历史的上下界预测指标值的范围区间，一旦在一段时间内连续多次打破历史的上下界阈值范围，即在这段时间内存在异常，进行告警。
[0012]作为本发明进一步的方案：对于周期性平缓型和周期性震荡型这类周期性明显的数据，做如下处理：
[0013]1)先将序列划分为工作日序列和非工作日序列；[0014]2)对于数据有短时震荡的特征，对数据进行HP滤波处理是数据变得平缓，将处于
3
CN 108197011 A
说 明 书
2/4页
上边界的点和下边界的点分开，并且对于空缺点使用线性补全；[0015]3)再将工作日中各个时间点数据抽出为单独的时间序列，同时将休息日中的各个时间点的数据也抽出得到单独的时间序列；
[0016]4)将处理得到各个时间点的上边界和下边界序列运用ARIMA/RNN模型进行预测；[0017]5)根据预测出的上边界和下边界恢复出KPI的预测值。[0018]作为本发明进一步的方案：对于业务特征型数据，在对于此类型数据主要做如下处理：
[0019]1)先对数据进行hp滤波处理，将数据平滑化；
[0020]2)使用时间序列的标准差判断数据处理震荡状态还是稳步上升状态；[0021]3)对于震荡状态，使用滚动RNN/ARIMA进行预测；[0022]4)对于稳步上升状态，使用线性回归处理。[0023]作为本发明进一步的方案：对于静止扰动型和城墙型离散特征数据，主要根据其历史的四周的数据先进行hp滤波平滑化处理，确定数据的波峰和波谷，取出波峰数据的top5％作为数据的上边界阈值，波谷数据的bottom5％作为下边界阈值。[0024]作为本发明进一步的方案：对于静止扰动型和城墙型离散特征数据，先计算其历史数据的均值和标准差，利用均值和标准差确定数据的历史波动范围特征，从而确定指标数据的上下界阈值。
[0025]作为本发明进一步的方案：步骤(2)设定一个时间窗口大小为M，连续N次打破历史的相对误差范围，就相应的对该时间窗口进行告警。[0026]与现有技术相比，本发明的有益效果是：
[0027]本发明通过基于历史的指标数据进行智能分析，可以更加方便地把控指标数据的发展趋势，及时有效地避免生产系统的进一步恶化，使生产系统的潜在风险早于传统运维得到快速高效的处理。通过对数据中心的数据进行分类，根据不同数据类型选择不同的数据处理方法，可以有效的把握数据特征，对指标数据未来的趋势进行有效合理的预测。根据不同的业务场景设置相应的指标告警策略，从而可以灵活的与不同的业务场景需求相适应。通过人工智能大数据平台对指标的实时监控的指标数据，依据相应的预警策略，可以实时判断指标异常趋势，提前于监控系统发现潜在的风险，实现生产系统的预警，从而为运维专家留有足够的时间去排除系统故障，尽量避免生产系统风险。附图说明
[0028]图1为单指标KPI异常分析整体架构图。[0029]图2为本发明的流程图。
[0030]图3为业务特征型数据曲线图。[0031]图4为jvm数据曲线图。
[0032]图5为静止扰动型数据曲线图。[0033]图6为城墙型离散特征数据曲线图。
[0034]图7为人工智能大数据平台的告警规则示意图。[0035]图8为单指表预警上下边界图。
4
CN 108197011 A
说 明 书
3/4页
具体实施方式
[0036]下面结合具体实施方式对本专利的技术方案作进一步详细地说明。[0037]请参阅图1-8，一种基于人工智能大数据平台的单指标预测和预警方法，包括：[0038]单指标KPI异常分析方法，包括以下步骤：请求JDBC服务从hive获取数据；对数据进行清洗；对数据进行HP滤波；调用单指标算法对指标数据进行训练；将训练结果持久化到mysql；Spring-boot在web端将计算结果展示。其具体包括以下步骤：[0039](1)基于人工智能大数据平台的单指标预测，包括以下步骤：[0040]a.基于人工智能大数据平台在数据中心采集的KPI指标数据，首先对数据进行清洗，将数据对齐、补全等操作；[0041]b.然后根据指标数据历史特征，将指标数据大致分为六类：周期性平缓型数据、周期性震荡型数据、业务特征型数据如JVM、静止扰动型数据、城墙型离散数据、非规律性数据等；
[0042]c.依据不同的数据类型再做相应的数据预处理；
[0043]对于周期性平缓型和周期性震荡型这类周期性明显的数据，如CPU指标数据，其数据具有工作日、休息日以天为周期的模式，常常以每一天为一个小周期，每一周为一个大周期；且各个星期当中工作日遵循相类似的模式，休息日遵循相类似的模式；前者数据震荡不明显，较为平缓，后者有短时间内震荡幅度较大的特征；因此，在处理此类型数据可以做如下处理：
[0044]1)先将序列划分为工作日序列和非工作日序列；[0045]2)对于数据有短时震荡的特征，对数据进行HP滤波处理是数据变得平缓，将处于上边界的点和下边界的点分开，并且对于空缺点使用线性补全；[0046]3)再将工作日中各个时间点数据抽出为单独的时间序列，同时将休息日中的各个时间点的数据也抽出得到单独的时间序列；
[0047]4)将处理得到各个时间点的上边界和下边界序列运用ARIMA/RNN模型进行预测；[0048]5)根据预测出的上边界和下边界恢复出KPI的预测值；[0049]对于业务特征型数据如JVM这类指标数据，具有一些固定的特征：先稳步增加至一个『天花板』，再由系统清至较低的位置；这类数据在进行hp滤波处理后发现，在jvm数据稳步上升阶段保持着一定的斜率如图4所示，因此，在对于此类型数据主要做如下处理：[0050]1)先对数据进行hp滤波处理，将数据平滑化；[0051]2)使用时间序列的标准差判断数据处理『震荡』状态还是『稳步上升状态』『；震荡』状态的标准差相对变化比较大，而『稳步上升』状态的标准差变化较小；[0052]3)对于『震荡』状态，使用滚动RNN/ARIMA进行预测；[0053]4)对于『稳步上升』状态，使用线性回归处理；[0054]可预测下一个点的值，加减n倍历史标准差可以得到上下边界，以此类推，连续滚动预测一天的数据，即可得到一天的上下边界序列；[0055]对于静止扰动型和城墙型离散特征数据，这类数据长时间保持在相同一个值不动，偶尔会出现小的扰动；因此对于此类型数据，主要根据其历史的四周的数据先进行hp滤波平滑化处理，确定数据的波峰和波谷，取出波峰数据的top5％作为数据的上边界阈值，波
5
CN 108197011 A
说 明 书
4/4页
谷数据的bottom5％作为下边界阈值；或者，对于此类型数据先计算其历史数据的均值和标准差，利用均值和标准差确定数据的历史波动范围特征，从而确定指标数据的上下界阈值；[0056](2)基于人工智能大数据平台的单指标告警；基于历史的上下界预测指标值的范围区间，一旦在一段时间内连续多次打破历史的上下界阈值范围，即超过制定规则，那么在这段时间内就存在异常，需要进行告警，这里可以根据业务场景需要，设定一个时间窗口大小为M，连续N次打破历史的相对误差范围，就相应的对该时间窗口进行告警。[0057]基于人工智能大数据平台下的单指标预测，可以对每个KPI指标学习其历史的行为，当KPI偏离其历史的行为时，即认为是异常，从而改变了传统监控阀值固定，无法进行动态设定的运维痛点，改变了传统监控告警时，系统性能已严重恶化的运维现状。[0058]本发明通过基于历史的指标数据进行智能分析，可以更加方便地把控指标数据的发展趋势，及时有效地避免生产系统的进一步恶化，使生产系统的潜在风险早于传统运维得到快速高效的处理。通过对数据中心的数据进行分类，根据不同数据类型选择不同的数据处理方法，可以有效的把握数据特征，对指标数据未来的趋势进行有效合理的预测。根据不同的业务场景设置相应的指标告警策略，从而可以灵活的与不同的业务场景需求相适应。通过人工智能大数据平台对指标的实时监控的指标数据，依据相应的预警策略，可以实时判断指标异常趋势，提前于监控系统发现潜在的风险，实现生产系统的预警，从而为运维专家留有足够的时间去排除系统故障，尽量避免生产系统风险。
[0059]在本基于人工智能大数据平台的单指标预测和预警方法的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”及“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0060]上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下做出各种变化。
6
CN 108197011 A
说 明 书 附 图
1/4页
图1
图2
7
CN 108197011 A
说 明 书 附 图
2/4页
图3
图4
8
CN 108197011 A
说 明 书 附 图
3/4页
图5
图6
9
CN 108197011 A
说 明 书 附 图
4/4页
图7
图8
10
