蓝色phpcms律师网站模板phpcms律师,自助打印微信小程序免费制作平台,教育培训网,主题网站设计简介#xff1a; 本文除了介绍RobustPeriod的核心技术亮点#xff0c;还将重点解释如何将它构筑成服务来解决阿里云的业务痛点。 近日#xff0c;由阿里云计算平台和阿里云达摩院合作的时序多周期检测相关论文RobustPeriod: Robust Time-Frequency Mining for Multiple Peri… 简介 本文除了介绍RobustPeriod的核心技术亮点还将重点解释如何将它构筑成服务来解决阿里云的业务痛点。 近日由阿里云计算平台和阿里云达摩院合作的时序多周期检测相关论文RobustPeriod: Robust Time-Frequency Mining for Multiple Periodicity Detection被SIGMOD 2021 (Research Track)接收[1]。这也是阿里巴巴首次以第一单位在SIGMOD 的Research Track发表的论文。 ACM SIGMOD国际数据管理会议ACM SIGMOD International Conference on Management of Data由美国计算机协会ACM数据管理专业委员会SIGMOD发起是数据库领域具有最高学术地位的国际性学术会议其论文录取难度极高SIGMOD位列数据库方向的三大顶级会议之首 (其次是VLDB及ICDE)被中国计算机学会CCF推荐为A类会议。本年度的SIGMOD会议将于2021年6月20日至2021年6月25日在中国西安召开。 本次工作是前沿算法与阿里云实际业务场景紧密结合落地的典型案例。论文提出的RobustPeriod是一套具有鲁棒性的时间序列多周期检测通用框架它不仅在理论上具备创新性同时基于它构筑的时间序列异常检测和预测服务支撑了阿里云大数据计算平台的多个业务场景。本文除了介绍RobustPeriod的核心技术亮点还将重点解释如何将它构筑成服务来解决阿里云的业务痛点。 一、业务需求和难点 论文的灵感来源于阿里云大数据计算平台真实的业务场景需求。在大数据平台运维和运营的场景中有很多需要监控的指标例如机器的CPU、内存和存储使用率批处理作业的运行时间流式作业的吞吐量等。这些指标都属于时间序列同时这些时间序列中可能存在一些重复出现的模式即周期性。甚至在一条时间序列中可能存在多种周期性例如某个作业的TPS曲线可能既存在天周期即每天的凌晨都是流量高峰同时又存在周周期即工作日相对流量较高周末流量偏低。如果我们能够自动且精准地识别出每个指标中存在的各个周期那么就能更高效地对这些指标进行异常监控及时发现偏离周期性的异常点甚至可以准确地对这些指标的未来每个时刻的走势进行预测从而提前进行资源规划。因此异常检测和预测是周期检测的两个典型应用。此外由于周期也是时间序列的典型特征之一该周期的检测和识别也能广泛应用于时间序列之间关系的建模。 图1. 大数据平台运维场景部分监控指标示例注图中红色部分表示数据缺失 然而对云监控指标进行周期检测并非易事。图1展示了一部分指标的示例我们发现这类指标具有如下特点 1由于时序数据的复杂性周期检测受到时序数据中除周期成分外的其他的成分的干扰包括了趋势的变化如缓缓增长或下降的趋势噪音和异常点甚至由于业务特性或采集问题可能出现大段的数据缺失。图1最左上角还展示了类似『稀疏型』的周期性数据。 2天周期、周周期、年周期可能交织存在且存在一些特例如很多数据集中都有长周末正常周末2天额外1天的现象。 3由于涉及的业务场景繁多不同曲线的业务背景、模式、粒度等都存在较大差异。难以人工设定一些先验的周期信息。 4双十一、618等大促小长假等特殊情况都会对周期的判别造成干扰。 5随着业务的发展周期性并非一成不变而是具有一定动态性。 上述特点给周期的识别带来了很大的挑战。我们需要一套高效鲁棒的通用算法框架能够自动识别出任意一条时间序列中存在的周期数量并且准确计算每个周期的长度。 二、RobustPeriod周期检测框架介绍 现有的周期检测算法主要集中在基于周期图(Periodogram)的频域算法和基于自相关函数(ACF)的时域算法两个方向。然而这些算法要么无法很好处理长周期要么容易受到趋势、噪音和异常值的影响或者依赖先验的基准周期长度信息抑或是无法处理多周期的情况因此这些算法都无法很好地应对上面所提到的诸多挑战。 基于此我们提出了RobustPeriod一套具有鲁棒性的时间序列多周期检测通用框架。其基本流程如下图所示主要包含三个关键步骤 图2. RobustPeriod周期检测算法框架流程 1预处理阶段Pre-processing 我们使用线性差值法对缺失值进行填充以应对大段数据缺失的场景。同时使用HP滤波Hodrick–Prescott trend filtering对时间序列中的趋势项进行提取并剔除。 2多重周期的分解Decoupling Multiple Periodicities) 为了解决多重周期交织在同一个时间序列中的问题我们首先使用最大重复离散小波转换(Maximal overlap discrete wavelet transform, MODWT)分离出不同层次的周期性。MODWT具备的良好特性使得它可以应对任意长度的时间序列同时可以很好地处理不平稳的时间序列和非高斯噪音。基于分解出的不同层次的周期成分和它们对应的小波方差(wavelet variance), 我们可以对这些周期成分进行强弱排序并优先输出更显著的周期成分。 3单周期检测(Robust Single Periodicity Detection) 在完成了多重周期的分解后接下来的问题就变成了如何准确地对单重周期进行检测。在这个阶段我们设计了一套称为Huber-ACF-Med的流程它包含两个子步骤。首先是利用基于Huber-Periodogram的Fisher’s Test生成每个层次的周期长度候选项然后再利用ACF对这些候选项进行验证优化最终得到这条时间序列所包含的所有周期长度。 在我们的论文中我们不仅从理论上对RobustPeriod的合理性进行了论证同时在模拟数据集、公开数据集和阿里云计算平台的真实数据集中对我们的算法进行了充分的验证利用消融分析验证了每一个步骤的重要性并和其他的前沿经典算法如SiegelAUTOPERIODWavelet-Fisher进行了对比。结果显示无论是在单周期还是多周期场景的检测中我们的算法都取得了最优的效果。特别是在有趋势噪音和异常值的真实数据集中我们的算法具有明显优势。 三、基于RobustPeriod构筑的TData/IAD时序异常检测和预测服务 前文提到异常检测和预测是周期检测的两个典型应用为了让RobustPeriod能在实际业务场景中发挥效用我们将它整合到了阿里云大数据智能运维TData平台和达摩院决策智能IAD (Intelligent Anomaly Detection)平台并且在它的基础上构筑出了时序异常检测和时序预测这两项通用在线服务。 1TData, IAD平台的时序异常检测 图3展示了时序异常检测服务的算法框架主要包括周期检测、周期分解RobustSTL/RobustTrend, 和统计检验三大模块[2-9]。RobustPeriod作为核心前置模块决定了后续的算法分析链路影响了最终检测的准确性。当RobustPeriod识别出某条时间序列的周期性后我们基于各层次周期成分的长度利用RobustSTL和RobustTrend分解算法准确分离出趋势项、周期项和残差项进而更加准确地识别出曲线是否有偏移原有模式的异常点满足用户不同场景、不同类型的异常检测需求。对于TData的用户来说只需将指标接入并选择关注的异常类型不需要具备任何机器学习基础也不需要提供曲线的任何先验信息或标注即可得到准确的检测结果。 图3. TData时序异常检测算法框架 2TData, IAD平台的时序预测 图4展示了时序预测服务的算法框架主要包括周期检测、预测和评估三大模块。预测模块作为RobustPeriod的下游我们同样基于周期检测的结果采用了分而治之的思想。对于具有周期性的曲线使用了TBATS模型(Exponential smoothing state space model with Box-Cox transformation, ARMA errors, Trend and Seasonal components)进行预测因为它可以高效处理复杂的周期成分。而对于那些被判别为不具备周期性的曲线我们则直接利用经典的ARIMA模型进行预测。 图4. TData时序预测算法框架 此外TData/IAD时序异常检测和时序预测服务的算法均搭建在阿里云之上充分利用了云服务带来的性能优势和稳定性即使面对海量的指标分析流程也能在秒级完成。 四、最佳业务实践 阿里云大数据智能运维TData平台和达摩院决策智能IAD平台提供的时序异常检测和预测通用服务接入成本低结果准确且运行稳定目前已经为阿里云计算平台阿里数据搜索推荐等的多个BU的产品提供支持这里我们列举了几例最佳实践给大家提供参考。 1MaxCompute数据质量异常检测(DQC MaxCompute是阿里云提供的一项面向分析的EB级别大数据计算服务不仅服务于阿里集团、蚂蚁金服、菜鸟、优酷、高德等事业部同时也为公共云和专有云用户提供计算能力。对于海量数据计算服务而言数据准确性是数据质量的关键也是所有离线系统加工时的第一保障要素。因此MaxCompute为用户提供了数据质量的异常校验功能当产出的数据较往常模式有变化时会通知用户或阻塞生产链路以防止数据污染扩散。 过去用户需要为每一个计算任务手工配置数据质量校验规则随着用户增长和业务体量的扩大目前仅阿里巴巴内部每天运行的任务数就已经达到近千万人工配置规则需要耗费过多人力已经无法满足需求。因此MaxCompute为数据质量监控提供了动态阈值的功能其底层即是Tdata异常检测服务。 MaxCompute上运行的数据计算任务与其对应的业务紧密相关因此数据质量监控指标所展现出的模式也受其对应业务的影响。这也就意味着不同数据计算任务的数据质量监控指标可能具有完全不同的周期性例如大促期间菜鸟的业务高峰可能相对与淘宝天猫的电商业务高峰就具有一定滞后性。而我们的RobustPeriod则很好地解决了这类业务痛点针对不同的任务曲线我们都可以自动化地对其周期性进行精准计算和分解从而提升异常检测的准确性。目前DQC的动态阈值功能已经覆盖了阿里集团多个BU同时作为付费项目输出到了公共云为更多外部用户提供了智能检测的服务。 2实时计算Flink作业流量预测和自动扩缩容(AutoScale 实时计算Flink是阿里云基于Apache Flink 构建的企业级、高性能实时大数据处理系统。在阿里集团内部目前全部核心业务已经用上Blink。除了技术大考双11之外ET城市大脑实时计算规划着杭州交通淘宝、天猫每天为数亿用户展现实时的“专属”页面。Flink作业通常需要长时间持续运行数据和作业的流量会随着时间不断变化因此所需的作业资源也会随之变化。如果按照作业低峰期的需求进行资源配置作业将在流量高峰出现时计算延迟等异常情况而无法正常运行而如果持续以作业高峰期的资源需求量进行配置则会造成集群的资源使用率变低。因此我们需要自动化的、自适应地对Flink作业进行动态资源调优以保证作业正常运行的前提下优化资源利用率这就是Flink的自动扩缩容功能(AutoScale) 期望达到的目标。 早期的AutoScale版本属于被动扩缩容即只有检测出作业出现延迟等因为资源问题导致的异常状态时才会触发资源的调优。这种被动扩缩容的方式虽然能缓解作业的异常问题但触发调整时作业已经受到了不同程度的影响。因此在阿里云内部使用的最新的版本中TData为实时计算Flink的AutoScale功能提供了时序预测服务使其能提前感知作业流量的变化趋势从而提前对作业资源的配置进行规划和调整减少作业因为资源问题出现的异常情况同时最大限度地提升资源使用率。 (3) 阿里数据官智能洞察和商业数据的异常检测 DT阿里数据官是一款面向用户的对话式智能数据机器人以自然语言交互的智能问答帮助用户快捷的找到所需数据随时随地掌握业务动向以智能洞察为基础的数据报告支持用户订阅每日推送至钉钉助力高效决策。智能洞察旨在自动的从多维数据中发掘有价值的规律和信息传递给用户其洞察结果往往可以协助回答业务关注的问题。比如某品牌的销售趋势是否健康或其售卖产品的周期性今天支付金额上升的主要原因有哪些某关注指标和其他指标的相关性等。我们的鲁棒高效周期检测(Seasonality)以及其他洞察可以帮助业务同学深入挖掘业务状况定位根因为制定快速决策提供基础。同时我们基于周期检测分解的时序异常检测的效果比原有算法相比有了巨大的提高能力全量的在DT oneMonitor上线合作也从“异常检测”扩大到了的“数据洞察”“数据安全”等更加广阔的领域让算法更强力和更广泛的为商业赋能。 (4) 搜索烽火台智能异常检测和智能化运维 搜索的监控系统之前是基于规则的阈值报警面对周期性指标毛刺和稀疏数据等复杂场景难以适用导致大部分指标报警泛滥给用户带来很大的困扰。于是搜索kmon同学基于高频报警场景联合达摩院算法尝试增加异常检测进行智能报警治理报警泛滥问题。在采用了IAD系统之后各项异常检测有了很大的提高基于周期性的指标波动算法也能很好的识别。
作者张颖莹文青松孙亮何凯柯旻蒋君伟
原文链接
本文为阿里云原创内容未经允许不得转载
