时序数据分析是数据分析领域的核心之一,是大数据价值创造的关键,可以说是数字化转型的重要支撑。5月21日在深圳举办的第十六届GOPS全球运维大会上,鼎茂科技技术产品总监沈慧以时序数据分析为切口,结合鼎茂科技在行业领域的细分场景深度Knowhow,深入探讨企业在智能运维领域中时序数据分析面临的困难和挑战,分享实际落地案例阐述鼎茂科技数智运营技术为企业客户带来的实际价值。
时序数据作为数据类型中的最主要的一种,其分析能力尤为重要。简单来说,时序数据就是数据的测量值与时间戳形成一一对应关系,通过数据的测量值和时序的关系可以挖掘出数据随时序变化的特征。可通过时序数据的分析实现趋势预估和异常检测等,提供有价值的服务。
时序数据分析由4个流程组成:数据采集->数据治理->数据分析->数据可视。其中数据分析是AIOps处理时序数据的核心所在,主要运用统计学习、机器学习、深度学习的方法进行时序数据回归分类、特征提取、模式匹配等。在整个过程中,时序数据的分析面临4大挑战:数据的流式收集中的完整性校验、数据治理中的去重、去噪、漏点插值、时序聚合对齐。
鼎茂科技技术产品总监沈慧表示:“为了应对时序数据分析的挑战,鼎茂科技提出了基于三大pipeline(data pipeline、ML pipeline、Application pipeline)的时序数据处理技术路线。在三大pipeline技术条线的支撑下,鼎茂科技推动了自主研发的ARCANA数智平台落地。其中边缘采集层主要实现了data pipeline全流程。而ML pipeline主要依托数据分析层进行落地。Application pipeline,主要由面向场景化的智能产品构成。在Application pipeline以及ML pipeline当中我们通过应用逻辑进行串联,对经过ML分析时序数据后得出的结果进行人工专家经验反馈,在确保时序分析的结果正确时还对机器学习数据模型进行优化。这是鼎茂科技面向场景端打造AIOps产品的业务闭环逻辑,正好对应了application pipeline的逻辑。”
在实际落地的项目中发现客户对时序数据的分析会提出各种各样的需求,针对这些需求进行梳理总结,进一步可以对时序数据分析进行2个方向的深入研究。
一个方向是利用故障场景多个时序指标的关系模式形成的故障矩阵对当下的时序指标系列进行吻合度匹配,从而对可能在未来某个时间点发生的故障进行预警。
而在另一个方向上是广大AIOps玩家熟悉的趋势预估。在时序数据与时序间变化的关系模式建立后,对这样的关系模式进行时序的延伸,从而对未来的一小段时间进行趋势的预测,判断数据测量值的变化趋势。经过预估的变化趋势可以进一步的作为未来数据的异动的变化走势的判定标准,对未来的时序指标进行异常检测。而建立在时序数据的趋势预测上的容量预判可以更好地提前规划企业的IT资源配置,为未来的IT运营进行提前规划。
可见基于AIOps的时序指标已经成了现代IT运维必备的数据分析任务和手段。但必须再一次强调,时序数据分析的意义依然需要一个强大的数智分析平台的支撑。
成功的企业数字化案例显然有自己的共同点:重视数据质量、重视数据上下文、以及建立有效的数据运营平台。此次鼎茂科技结合多年行业头部客户的成熟运维经验,为大家呈现了一个强大的数智运营平台是如何为企业制定切实可行的战略规划,获取客户洞察,并构建新的业务模式,进而赢得竞争优势。
鼎茂科技通过搭载AIOps闭环能力的Arcana数智平台,集成强大的AI算法能力,实现从数据接入、处理;模型构建、评估、管理;场景设计;到智能应用的全周期AI驱动,打通“从数据到模型,从模型到场景化应用”的完整数智运营闭环,全链条自动学习功能,在不断优化的基础上实现算法自动化。助力企业客户从不断增长的实时和历史数据中高效提取价值,获得全面且准确的洞察,实现精准而高效的运营管理和业务决策。
诚如鼎茂科技创始人李遥受邀央视栏目组采访中表示,“各行业的数字化转型之路,都需要一位专业领先、真正懂行业场景化的伙伴同行,而鼎茂科技,具备领先的数智运营技术和行业经验积累,深耕行业十余年,磨练出能精准识别企业生产、决策等核心业务场景痛点和需求的能力,构建了百余个场景库,聚焦“精业务”“准需求”场景创新开发的,能够帮助客户在业务场景中快速、高效实现落地。这一切都让我们有能力携手更多企业一起冲出数字化转型深水区,从一个行业核心业务场景的转型升级,带动整个上下游产业链的同频共振,收获更大的商业价值与成功。”
▲会场展台
