跳转到内容
彼岸论坛
欢迎抵达彼岸 彼岸花开 此处谁在 -彼岸论坛

[Python] 时间序列进行异常检测(通过近 24h 数据) Python


小天管理

已推荐帖子

最近被派了个活,对一些指标进行异常检测并提示。了解了几天相关知识了,有几问题想请教一下大家。

数据特点 --- 需要检测的数据指标非常多,1k+ ,好消息就是大多数指标都比较类似 --- 时序图同一类型长的差不多 (实在太多了再找人筛点)

对于点异常的判断,考虑的是使用孤立森林。 一段时间内比较正常的数据作为模型建立的基础数据集。每隔一段时间(1h?)采集过去 24h 内所有的点,将两个数据集合并在一起,看看这 24 个小时里面有没有异常点。 尝试了一下,预测效果还算 ok ,那种明显突出的都能抓到。 --- 我理解这就是动态阈值(参数又多,人工定阈值太难了)

难点是时间序列 --- 设备指标变化趋势有没有问题。比如本来是周期性的,其中一块突然异常波动一下,但是没超过阈值。比如液位、温度

长期趋势的异常检测 --- 直接使用 prophet 了,尝试了几个指标拟合曲线好像还行。 prophet 适用于长时间的,强季节性的数据,而且对于调参来说也比较简单。但是要求就是数据量要大,时间跨度也不能很短。

我想询问大家,对于短时间(一周或者一天 24h )的异常检测,应该怎么做呢? 对于比较平稳的时间序列,我想的是使用 ARMA ,然后通过残差和设置阈值进行对比,判定异常。 比如根据一周的数据(采样频率 30min)进行 fit ,预测过去 2h 数据,通过和实际数据的对比,进行判断。

但是 pq 的选择还得慢慢调,同时,对于一些比较陡峭的趋势,预测之间就飞了。。。。

想问问大家有什么比较好的方法推荐吗。

意见的链接
分享到其他网站

加入讨论

您现在可以发表并稍后注册. 如果您是会员,请现在登录来参与讨论.

游客
回复主题...

×   粘贴为富文本.   粘贴为纯文本来代替

  只允许使用75个表情符号.

×   您的链接已自动嵌入.   显示为链接来代替

×   您之前的内容已恢复.   清除编辑器

×   您无法直接粘贴图片.要从网址上传或插入图片.

  • 游客注册

    游客注册

  • 会员

  • 最新的状态更新

    没有最新的状态更新
  • 最近查看

    • 没有会员查看此页面.
×
×
  • 创建新的...