一套工业时序底座，同时支撑监测、诊断与虚拟量测

工厂里异常检测、故障诊断、虚拟量测通常各训一个模型，换台设备、换道工艺就得重新采数重新训练。团队构建了一套工业时序基础模型底座——先在大量无标注信号上自监督预训练，让骨干网络学会时间序列的通用规律；再冻住骨干，每个任务只挂一个轻量头微调上线。冲压与注塑两条真实产线验证：异常检测 F1 达 97.0% 且零误报，故障诊断 Macro-F1 达 94.6%，虚拟量测 RMSE 低至 0.0259 mm，均优于单独训练的对照方法。

时序基础模型多任务学习预训练与微调工业过程监测

项目概述

一条产线上，异常检测、故障诊断、虚拟量测（Virtual Metrology，VM）往往各自独立：三份标注、三次特征工程、三个模型，换了设备还得从头再做。本项目反过来——先训练一个通用的骨干网络（backbone，把原始信号变成通用特征表示的主干模型），让它在大量无标注信号上学会时间序列的普遍规律；具体任务只挂一个轻量模块，少量标注数据训几分钟即可上线。冲压与注塑两条真实产线验证了这条路走得通。

研究目标

用一个共享骨干同时支撑异常检测、故障诊断与虚拟量测

骨干冻结、只训轻量模块，每个任务只训练少量专属参数

新任务用少量标注数据分钟级微调上线，不必重训整个模型

让注意力权重指向真实的工序阶段，使判断结果可追溯

研究方法

多通道传感信号按固定长度切成片段，每个片段作为词元送进 Transformer 骨干。第一阶段做"下一片段预测"的自监督预训练，全程不用标签，语料覆盖通用时序与制造过程信号。第二阶段冻结骨干，三个任务各挂一个轻量输出头，分钟级微调即可上线。

技术路线

1
先让模型学会读信号，再谈具体任务
预训练（pre-training，用无标注数据训练出通用能力的阶段）语料混合了公开时序和制造过程数据两类来源。训练目标是只凭已发生的片段预测下一段波形，全程不需要标注。工业现场最缺标注，而这一步恰好把海量无标签信号变成了养料。
2
冻住骨干，每个任务只挂一个小头
微调（fine-tuning，把通用模型适配到具体任务的阶段）时骨干参数不动，只训任务专属的轻量模块。可训参数量级远低于逐任务独立微调，小样本下不易过拟合，也不会冲掉预训练学到的知识。
3
三个任务，三种读法，同一份表示
同一份骨干输出被三个头以不同方式读取。异常检测让解码器重建波形，重建误差超阈值就报警，训练只需正常样本。故障诊断用注意力池化按重要程度加权汇总后分类。虚拟量测同样汇总后经回归头输出质量指标。三个任务共享特征，知识互通而不干扰。
4
把注意力打在真正出问题的工序阶段
模型的注意力权重与冲压工序阶段直接对应：跳料集中在合模段与弹性变形段，走料偏移只激活合模段，冲偏落在撕裂段。遮挡实验佐证了这一点——遮掉注意力最高的片段，诊断准确率大幅下滑；遮掉随机片段则几乎不变。