时间序列分类算法选型与能耗数据实战:DTW、LSTM与特征工程

发布时间:2026/10/25 22:00:14
时间序列分类算法选型与能耗数据实战:DTW、LSTM与特征工程

时间序列分类这个方向,我最早接触是在做楼宇能耗分析的时候。当时手头攒了三年的电表读数,15分钟一个采样点,密密麻麻的曲线堆在数据库里,领导就问一句话:这些曲线里,哪些是正常办公,哪些是空调异常,哪些是周末空置?我一开始想用阈值判断,结果发现同一栋楼不同楼层、不同季节的基线完全不一样,阈值根本没法统一。后来才转向时间序列分类这条路子,一路踩坑到现在,算是攒了点经验。

这篇内容我想聊的是时间序列分类算法到底怎么选、怎么用,尤其是落到能耗数据这个具体场景上。能耗数据有几个很讨厌的特点:周期性强、噪声大、不同设备之间形态差异大但同类设备之间又高度相似。这决定了我们不能照搬图像分类或者普通表格分类的那套思路。适合谁看?如果你手上有传感器数据、电表数据、设备运行日志,想做一些自动化的模式识别,或者你正在做能耗监测平台、设备健康度评估这类项目,那这篇应该能帮你少走点弯路。我会从整体思路讲到具体算法,再落到实操步骤和排查技巧,尽量把每个选择的理由说清楚。

1. 时间序列分类的整体思路与方案选型

1.1 为什么能耗数据分类不能直接套用普通分类方法

普通分类任务里,一条样本就是一个特征向量,比如身高体重性别预测,特征之间没有顺序关系。但时间序列不一样,它的核心信息藏在“顺序”和“形态”里。你把一条能耗曲线的时间点打乱,特征值还是那些,但曲线形态完全变了,分类结果也就没意义了。

能耗数据的分类难点具体体现在三个地方。第一是时间对齐问题,两条曲线可能整体形状很像,但一个峰值出现在上午10点,另一个出现在11点,如果直接逐点比较欧氏距离,会被判定为差异很大,可实际上它们描述的是同一种用电模式,只是启动时间有偏移。第二是长度不统一,有的设备一天采96个点,有的采288个点,甚至有的因为采集故障缺了几个点,直接喂给固定输入的模型会出问题。第三是类内差异和类间差异的平衡,同一类空调的能耗曲线在不同天气下差异可能比空调和照明之间的差异还大,这就让分类边界很难划。

所以做能耗分类,第一步不是选模型,而是想清楚你的分类依据是什么。是依据曲线的整体形态,还是依据某些统计特征,还是依据频域特征?这个想清楚了,算法选型才有方向。

1.2 三条主流技术路线对比

目前时间序列分类大致可以分成三条路线,我按自己的使用体验做个对比。

路线代表方法优势劣势适合场景
基于距离DTW、欧氏距离+1NN无需训练、可解释性强、小样本友好计算量大、对噪声敏感样本少、需要快速验证
基于特征统计特征+树模型训练快、特征可解释需要人工设计特征、丢失形态信息特征工程能力强、追求效率
基于深度学习LSTM、CNN、Transformer自动提取特征、精度高需要大量标注、调参成本高数据量大、追求精度

我个人的经验是,项目初期别急着上深度学习。先用DTW加最近邻跑一个baseline,看看数据本身的可分性如何。如果DTW都能做到80%以上的准确率,说明数据质量不错,再上LSTM提升空间可能也就几个点。反过来,如果DTW只有50%多,那要么是数据本身有问题,要么是分类标签定义不清,这时候上深度学习也是白搭,只会把问题掩盖掉。

1.3 能耗场景下的选型决策逻辑

具体到能耗数据,我的选型逻辑是这样的。如果样本量在几百条以内,优先考虑DTW+1NN,配合一些降采样和约束窗口,计算量可以接受。如果样本量在几千到几万条,且特征维度不高,用统计特征加XGBoost或者LightGBM,性价比最高。如果样本量上万,且曲线形态复杂、人工特征难以描述,再考虑LSTM或者一维CNN。

这里有个容易被忽略的点:能耗数据的标注成本很高。你要让运维人员去标“这条曲线是空调异常”,他得先看曲线、再对照设备日志、再确认时间,一条可能就要几分钟。所以实际项目中,有标签的数据往往很少。这种情况下,深度学习模型很容易过拟合,反而不如DTW这种非参数方法稳。

2. 核心算法细节与实操要点解析

2.1 DTW动态时间规整:原理与能耗场景适配

DTW的核心思想是允许时间轴上的“弹性匹配”。它不要求两个序列的第i个点对齐第i个点,而是通过构造一个累积距离矩阵,寻找一条最优的弯曲路径,使得两条曲线在形态上对齐后总距离最小。

举个能耗场景的例子。两条空调日能耗曲线,一条是早上8点启动,一条是9点启动,其余形态几乎一样。欧氏距离会把8点和9点的差异算进去,距离很大。DTW则会先把8点对应到9点,再往后逐点匹配,最终算出来的距离很小,正确识别为同一类。

DTW的距离计算用动态规划实现,核心递推式是:

# DTW距离计算核心逻辑 def dtw_distance(s1, s2): n, m = len(s1), len(s2) # 初始化累积距离矩阵 dtw_matrix = np.full((n+1, m+1), np.inf) dtw_matrix[0, 0] = 0 for i in range(1, n+1): for j in range(1, m+1): cost = abs(s1[i-1] - s2[j-1]) dtw_matrix[i, j] = cost + min( dtw_matrix[i-1, j], # 插入 dtw_matrix[i, j-1], # 删除 dtw_matrix[i-1, j-1] # 匹配 ) return dtw_matrix[n, m]

这个实现是O(n*m)的时间和空间复杂度。能耗数据一天96个点的话,两条曲线计算一次大概几毫秒,但如果要做1NN分类,测试样本要和所有训练样本算一遍,样本上千条就有点慢了。

实操中有几个优化点。第一是加约束窗口,比如Sakoe-Chiba带,限制弯曲路径不能偏离对角线太远,既加速又防止过度弯曲导致的误匹配。第二是降采样,把96个点降到24个点,精度损失不大但速度快了十几倍。第三是下界剪枝,先用LB_Keogh下界快速排除明显不相似的候选,只对可能成为最近邻的样本算完整DTW。

注意:DTW对幅度缩放很敏感。如果两条曲线形态一样但一条整体偏高,DTW距离会很大。能耗场景下这很常见,比如同一设备在不同负载下。解决办法是先做z-score标准化,把每条曲线减去均值除以标准差,只比较形态。

2.2 LSTM在能耗序列分类中的建模要点

LSTM处理时间序列分类,本质上是把序列当成一个变长的输入,通过门控机制捕捉长期依赖,最后用最后一个时间步的隐状态或者所有时间步的池化结果接一个分类头。

能耗数据用LSTM建模,有几个关键决策点。第一是输入维度,如果你只有单变量功率序列,输入就是1维;如果同时有功率、温度、湿度,就是多变量输入,LSTM能自动学习变量间的交互。第二是序列长度,一天96个点直接喂进去,LSTM能处理,但训练会慢。我通常会把序列切成固定长度,比如用滑动窗口把长序列切成24个点一段,这样既增加了样本量,又降低了单次计算量。第三是输出层设计,二分类用sigmoid,多分类用softmax,这个没什么好说的。

一个典型的LSTM分类模型结构是这样的:

import torch import torch.nn as nn class LSTMClassifier(nn.Module): def __init__(self, input_size=1, hidden_size=64, num_layers=2, num_classes=3): super().__init__() self.lstm = nn.LSTM( input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True, dropout=0.3 ) self.classifier = nn.Sequential( nn.Linear(hidden_size, 32), nn.ReLU(), nn.Dropout(0.3), nn.Linear(32, num_classes) ) def forward(self, x): # x shape: (batch, seq_len, input_size) lstm_out, (h_n, c_n) = self.lstm(x) # 取最后一个时间步的输出 last_out = lstm_out[:, -1, :] return self.classifier(last_out)

这里我用了两层LSTM,hidden_size设64,dropout设0.3。这些参数不是拍脑袋定的。hidden_size太小,模型容量不够,学不到复杂形态;太大,小样本下容易过拟合。64是个比较稳的起点,能耗数据这种周期性强的序列,64维隐状态基本够用。dropout 0.3是防止过拟合的常规操作,如果发现训练集准确率远高于验证集,可以加到0.5。

训练的时候有个坑要注意:能耗数据类别不平衡很严重。正常运行的样本占90%以上,异常样本可能只有几个点。直接训练的话,模型会倾向于全预测成正常类,准确率看着很高但召回率惨不忍睹。解决办法是用加权交叉熵,给少数类更高的权重,或者用focal loss。我一般先用加权交叉熵,权重设为类别频率的倒数。

2.3 特征工程与聚合算法:被低估的中间路线

很多人一上来就DTW或者LSTM,其实中间还有一条很实用的路线:手工特征加传统机器学习。能耗数据的特征其实很好设计,我常用的特征集包括:

  • 统计特征:均值、标准差、最大值、最小值、中位数、偏度、峰度
  • 时序特征:一阶差分的均值、过零率、自相关系数
  • 频域特征:FFT前10个频段的能量占比
  • 形态特征:峰值出现的时间位置、峰谷比、上升沿斜率

这些特征加起来大概30维左右,用LightGBM训练,几千条样本几分钟就能跑完,而且特征重要性可以直接看,解释性很好。我做过对比,在样本量5000条以内的能耗数据集上,这套方案和LSTM的准确率差距通常在3个百分点以内,但训练时间差了几十倍。

聚合算法在这里的作用是把长序列压缩成短向量。除了上面说的统计聚合,还可以用分段聚合近似(PAA),把96个点等分成8段,每段取均值,得到8维向量。PAA的好处是保留了时间顺序信息,又大幅降维。再配合符号聚合近似(SAX),把PAA后的值映射成字母,就能用字符串匹配的方法做分类,速度极快。

实操心得:特征工程阶段一定要做特征筛选。我见过有人堆了200多个特征,结果模型训练慢不说,还因为多重共线性导致效果下降。用LightGBM的feature_importance或者递归特征消除,把特征降到20到30个,效果往往更好。

3. 能耗数据分类的完整实操流程

3.1 数据预处理:从原始电表读数到可用样本

原始能耗数据通常是一张宽表,每行是一个设备,每列是一个时间点。第一步要把它转成“样本-序列-标签”的格式。具体操作是:确定一个时间窗口,比如一天,把每个设备每天的数据切出来作为一条样本,标签就是当天的运行状态。

缺失值处理是绕不开的。电表数据经常有缺失,可能是采集故障,也可能是设备离线。我的处理策略是:连续缺失超过3个点的,这条样本直接丢弃;缺失1到2个点的,用线性插值补上。为什么不都用插值?因为连续缺失太多,插值出来的曲线是假的,会引入噪声。

异常值处理也要做。电表偶尔会冒出一些离谱的读数,比如正常功率几百瓦突然跳到几万瓦,这多半是采集错误。我用的是3-sigma原则,超出均值3倍标准差的点标记为异常,用前后点的均值替换。

标准化这一步前面提过,z-score是必须的。但要注意,标准化要按每条样本单独做,而不是按整个数据集做。因为我们要比较的是形态,不是绝对数值。按样本做标准化,相当于把每条曲线都拉到同一个尺度上,只保留形状信息。

3.2 基于DTW的快速baseline搭建

baseline的目的是快速验证数据可分性,所以怎么快怎么来。我的做法是:

  1. 把每条序列降采样到24个点
  2. 用Sakoe-Chiba带约束,窗口半径设为3
  3. 用1NN分类器,距离用DTW
  4. 用留一法交叉验证评估

这套流程在Python里用tslearn库几行就能实现:

from tslearn.neighbors import KNeighborsTimeSeriesClassifier from tslearn.utils import to_time_series_dataset # X_train shape: (n_samples, n_timestamps, n_dims) X_train = to_time_series_dataset(train_sequences) X_test = to_time_series_dataset(test_sequences) clf = KNeighborsTimeSeriesClassifier( n_neighbors=1, metric="dtw", metric_params={"sakoe_chiba_radius": 3} ) clf.fit(X_train, y_train) predictions = clf.predict(X_test)

跑完之后看混淆矩阵。如果主要类别的召回率都在70%以上,说明数据本身是有区分度的,可以继续往下做。如果某些类别完全分不开,就要回去检查标签是不是有问题,或者这些类别本身在形态上就不可分。

3.3 LSTM模型的训练与调参实录

LSTM的训练流程我一般分四步走。第一步是数据划分,按时间顺序划分训练集和测试集,不能用随机划分,否则会用未来数据预测过去,造成数据泄露。比如用前8个月做训练,后4个月做测试。第二步是构建Dataset和DataLoader,把序列转成Tensor,设置batch_size,我一般设32或64。第三步是定义损失函数和优化器,加权交叉熵加Adam,学习率从1e-3开始。第四步是训练循环,每个epoch记录训练损失和验证损失,用早停防止过拟合。

调参方面,我总结了一个优先级顺序:先调学习率,再调hidden_size,再调层数,最后调dropout。学习率对结果影响最大,1e-3不行就试1e-4或者3e-4。hidden_size从32开始试,64、128逐级往上。层数一般2层够用,3层以上容易过拟合。dropout在0.2到0.5之间调。

有个细节值得说:LSTM对序列长度敏感。我试过把96个点直接输入和切成4段24个点分别输入再拼接,后者效果反而更好。原因可能是切段后样本量增加了4倍,模型看到了更多变化。但切段也有代价,段与段之间的边界信息会丢失。所以如果你的数据周期性很强,比如日周期,那还是整段输入更好。

3.4 模型评估与结果解读

能耗分类的评估不能只看准确率。我通常看四个指标:准确率、宏平均F1、混淆矩阵、以及每类的召回率。准确率在类别不平衡时会骗人,宏平均F1更可靠。混淆矩阵能看出哪些类别容易混,比如空调异常和照明异常可能因为都表现为功率偏高而被混淆。

还有一个能耗场景特有的评估维度:时间稳定性。模型在训练集时间段表现好,不代表在测试时间段也好。因为季节变化会导致能耗模式漂移。我一般会做滚动评估,比如用1到6月训练,7月测试;再用2到7月训练,8月测试,看性能是否稳定。如果性能波动很大,说明模型学到了季节性噪声,需要加入季节特征或者做数据增强。

4. 常见问题与排查技巧实录

4.1 DTW计算太慢怎么办

这是问得最多的问题。DTW的O(n²)复杂度在样本量大时确实吃不消。我的排查和解决顺序是这样的:

问题表现可能原因解决措施
单次计算就慢序列太长降采样到24-48个点
整体分类慢样本太多用LB_Keogh下界剪枝
仍然慢无约束搜索加Sakoe-Chiba窗口
还是慢Python循环用numba加速或Cython重写

实测下来,降采样加窗口约束能解决80%的性能问题。如果还不够,可以考虑用FastDTW,它是一种近似算法,复杂度降到O(n),精度损失很小。或者干脆换思路,用特征工程加树模型,速度提升是数量级的。

4.2 LSTM训练不收敛的排查思路

LSTM训练不收敛,我一般按这个顺序查。先看数据,检查输入有没有NaN或者Inf,标准化有没有做对。再看标签,确认标签编码是从0开始的连续整数,PyTorch的CrossEntropyLoss要求这样。然后看学习率,1e-3不收敛就降到1e-4试试。接着看梯度,用torch.nn.utils.clip_grad_norm_做梯度裁剪,防止梯度爆炸。最后看初始化,LSTM的默认初始化有时候不好,可以手动用xavier初始化。

还有一个隐蔽的坑:batch_size太小。如果batch_size只有4或者8,梯度噪声很大,训练会震荡。我一般至少设32。如果显存不够,可以用梯度累积,攒几个batch再更新一次。

4.3 类别不平衡导致漏报严重

能耗异常检测里,漏报的代价往往比误报高。一个空调异常没检测出来,可能意味着几天的高能耗浪费。解决类别不平衡,我试过几种方法,效果排序是:加权损失 > 过采样 > 欠采样。

加权损失最直接,在CrossEntropyLoss里传weight参数就行。过采样用SMOTE或者简单的随机复制,但要注意只能在训练集上做,测试集保持原始分布。欠采样会丢失信息,一般不推荐。

还有一个技巧是调整分类阈值。模型输出的是概率,默认0.5作为阈值。如果漏报严重,可以把阈值降到0.3,让模型更倾向于预测为异常。代价是误报会增加,但能耗场景下误报可以人工复核,漏报可能就漏掉了。

4.4 模型在新数据上性能骤降

这是时间序列分类的经典问题,叫概念漂移。能耗数据尤其明显,夏天和冬天的模式完全不同,设备老化也会改变能耗曲线。排查方法是:把新数据按时间分段,看性能是从哪个时间点开始下降的。如果是季节变化,就加入季节特征或者按季节分别建模。如果是设备老化,就需要定期用新数据重新训练。

我的做法是建立一个滚动更新机制,每个月用最近12个月的数据重新训练一次模型。同时监控模型在新数据上的置信度分布,如果置信度整体下降,就触发告警,提示可能需要重新标注和训练。

避坑技巧:不要用测试集调参。我见过有人反复在测试集上试不同的超参数,最后测试集准确率很高,但上线后一塌糊涂。正确的做法是划出验证集,用验证集调参,测试集只在最后评估一次。

5. 能耗分类项目的工程化落地建议

5.1 从离线实验到在线推理的架构设计

离线实验跑通了,怎么上线是另一个问题。能耗分类的在线推理架构,我建议分成三层:数据层负责从电表或传感器采集数据,做初步清洗和缓存;推理层加载训练好的模型,对实时数据做分类,输出结果;应用层把分类结果推送给监控大屏或者告警系统。

推理层的模型选择要看延迟要求。如果要求秒级响应,LSTM可能太重,用LightGBM加特征工程更合适。如果允许分钟级延迟,LSTM可以接受。DTW一般只用在离线分析,在线推理很少用,因为要跟所有训练样本比对,延迟不可控。

模型更新策略上,我推荐双模型热切换。新模型训练好后,先影子模式运行一段时间,跟旧模型对比结果。确认新模型更优后,再切换流量。这样避免新模型上线直接翻车。

5.2 标注数据不足时的半监督思路

能耗标注数据少是常态。半监督学习是个可行的方向。我的做法是:先用少量标注数据训练一个初始模型,然后用它对未标注数据预测,把高置信度的预测结果作为伪标签加入训练集,再训练一轮。这个过程可以迭代几次,但要注意置信度阈值不能太低,否则会引入太多噪声。

另一种思路是主动学习。让模型挑出它最不确定的样本,交给人工标注。这样每一轮标注都能最大化模型提升。实操中,我一般选预测概率在0.4到0.6之间的样本,这些是模型最纠结的,标注价值最高。

5.3 模型可解释性与运维信任建立

运维人员不信任黑盒模型,这是落地最大的障碍。你告诉他“模型说这条曲线异常”,他第一反应是“凭什么”。所以可解释性很重要。

LSTM的可解释性可以用注意力机制来做,让模型输出它关注了哪些时间点。如果模型说某条曲线异常,同时显示它主要关注了凌晨3点的功率突增,运维人员一看就明白了。树模型的可解释性更直接,特征重要性加上单棵树的决策路径,能清楚看到是哪个特征触发了分类。

我通常会在告警信息里附上关键证据,比如“该曲线在凌晨2点到4点功率比同类设备均值高40%”,这样运维人员能快速判断是否属实,信任感就慢慢建立起来了。

6. 几个实操中的个人体会

DTW和LSTM不是对立的,我现在的做法是用DTW做数据清洗和伪标签生成,用LSTM做最终分类。具体来说,先用DTW找出那些明显离群的样本,人工复核后确认是异常,这些样本作为高质量标注喂给LSTM。这样既利用了DTW无需训练的优势,又发挥了LSTM的精度。

特征工程这块,我踩过最大的坑是过度依赖自动化工具。有段时间我迷上了tsfresh,自动生成了几百个特征,结果模型训练慢、效果还不好。后来回归手工设计,针对能耗数据的物理意义选特征,反而效果更好。工具是辅助,理解数据本身才是核心。

最后分享一个调参的小技巧:先用小样本快速试错。我会从训练集里抽10%的数据,跑一遍不同超参数的组合,看哪个方向有潜力,再用全量数据精调。这样能把调参时间从几天压缩到几个小时。能耗数据训练一次LSTM可能要十几分钟,用10%数据可能就一分钟,效率提升很明显。

这个方向后续还可以往多变量时间序列分类扩展,把功率、温度、湿度、 occupancy 信号一起建模,信息量更大,分类边界也更清晰。另外在线学习也值得尝试,让模型随着新数据不断更新,适应概念漂移。