自回归模型再进化：全面解析时间序列生成新范式，性能大幅提升！

自回归（AR）模型是时间序列分析中的一种重要方法，主要用于利用历史数据预测未来值。其核心思想是利用目标变量的历史时间序列之间的依存关系，建立回归方程进行预测。近年来，AR技术以其简单高效的特点成为研究热点，从经典ARIMA模型到深度学习自回归生成不断演进，涵盖传统统计方法与深度生成模型的结合、基于Transformer的改进架构、与变分自编码器(VAE)与生成对抗网络(GAN)的结合，以及最新的扩散模型的探索。

我整理了时序+自回归生成相关前沿论文，供大家学习与参考，感兴趣的自取，希望能帮到你！
论文这里

一、Adaptive Nonlinear Vector Autoregression: Robust Forecasting for Noisy Chaotic Time Series

1. 方法

本文提出了一种自适应非线性向量自回归（NVAR）模型，旨在提高在噪声环境下对混沌动态系统的预测能力。模型结合了延迟嵌入的线性输入和通过浅层可学习多层感知器（MLP）生成的特征，采用梯度优化方法共同训练，从而实现数据驱动的非线性学习。实验结果表明，在无噪声和合成噪声条件下，自适应NVAR模型在预测准确性上优于标准NVAR，并在低观察频率下表现出更强的鲁棒性。

2. 创新点

1. 自适应特征生成
   传统NVAR和RC依赖固定形式的非线性特征，本文将可学习的MLP与线性延迟嵌入相结合，使模型能够根据数据特性动态生成非线性特征。这种设计突破了固定非线性的限制，增强了模型对复杂动态系统的表达能力。
2. 联合梯度优化
   传统NVAR和RC通常采用分步优化，而本文通过梯度反向传播联合训练MLP和线性权重，实现特征生成与预测目标的协同优化，提升了模型对噪声和稀疏数据的鲁棒性。

论文链接：https://arxiv.org/abs/2507.08738v1
代码链接：https://zenodo.org/doi/10.5281/zenodo.15854759

二、Interpretable Time Series Autoregression for Periodicity Quantification

1.方法

本文从可解释的机器学习角度重新审视时间序列自回归模型，提出稀疏自回归（SAR）模型，通过 $l_0$范数约束来隔离主导的周期性。作者为平稳和非平稳设置制定了精确的混合整数优化（MIO）方法；引入了决策变量修剪（DVP）策略，用于时间变化的SAR（TV-SAR），以及针对空间和时间变化的SAR（STV-SAR）的两阶段优化方案。

研究结果展示了稀疏自回归在复杂时间序列中进行周期性量化的可解释性、灵活性和可扩展性，强调了该方法在分析复杂系统中的实际相关性。例如，TV-SAR揭示了纽约市共享出行数据中的可解释的日常和每周周期，以及由于COVID-19导致的长期变化；STV-SAR则揭示了北美气温和降水季节性的演变空间结构，并检测了全球海表温度动态，包括厄尔尼诺现象。

2. 创新点

1. 稀疏自回归（SAR）
   传统自回归模型通常依赖$l_1$或$l_2$正则化，但本文提出$l_0$范数约束以直接控制模型复杂度，精确选择具有显著周期性的滞后项，提升可解释性。

2. 动态建模扩展
   针对非平稳和时空演化数据，提出TV-SAR和STV-SAR，在传统静态AR基础上引入时变/空变系数，能够捕捉动态周期性模式。

3. 混合整数优化（MIO）框架
   将$l_0$范数约束的稀疏建模转化为混合整数规划问题，通过精确算法求解全局最优解，克服了传统贪婪算法或松弛方法的次优性局限。

论文链接：https://arxiv.org/abs/2506.22895v2

三、AutoHFormer: Efficient Hierarchical Autoregressive Transformer for Time Series Prediction

1. 方法

本文提出了AutoHFormer，一种层次自回归变换器，同时满足时间序列预测的三个关键目标：严格的时间因果关系、适用于长序列的计算效率以及多尺度模式识别。具体而言，它将预测分解为并行处理的段级块，随后进行段内的顺序细化，保持时间一致性并提高计算效率；采用可学习的因果窗口和指数衰减，降低复杂度的同时保持精确的时间关系；结合固定的振荡模式和可学习的衰减率，捕捉多尺度时间模式。

2. 创新点

1. 分段并行化与局部细化融合
   Transformer类模型直接处理长序列时复杂度高，且堆叠式结构易破坏时间因果关系。而AutoHFormer将长序列分解为多个段级块，并行处理段级粗粒度预测，再对每段内部进行自回归细粒度优化，实现线性复杂度与因果性保障。
2. 可学习的因果窗口与衰减权重
   本文为每个时间点动态生成局部注意力窗口，窗口大小通过可学习参数控制。窗口内的时间点权重按距离指数衰减，强化邻近时序依赖。

论文链接：https://arxiv.org/abs/2506.16001v1
代码链接：https://github.com/lizzyhku/Autotime