最近一年，时间序列预测中出现了很多线性模型，例如DLinear、TSMixer等等，在这些工作中，验证了这类非常简单的线性模型甚至比很多复杂的Transformer类型的模型效果都要好。
那么，在时空预测中，简单的线性模型也适用吗？今年以来，确实出现了两篇相关的文章，通过非常简单的线性模型+Embedding的方式进行时空预测，效果超越了STGCN等各种时空预测复杂模型。本文总结了这两篇文章的工作，带大家了解使用线性模型如何进行时空预测。
1
Spatial-Temporal Identity
论文题目：Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecasting
下载地址：https://arxiv.org/pdf/2208.05233v2.pdf
本文的是CIKM 2022上发表的一篇短文，出发点是一个很简单的现象：历史规律相同的序列，未来的曲线可能不同，导致模型难以只根据历史序列作为不同的预测。比如下面这个例子，最上面的图选取了3个不同的窗口W，P代表历史，F代表未来。W1是空间中两个传感器的变量历史和未来的序列，这两个传感器历史序列基本相同，未来的差异却很大，只根据历史序列拟合一个回归模型是无法建立这种区别的。
以往解决图学习的模型，例如STGCN中，利用图卷积建立空间不同节点之间的关系，同时使用时序模型进行时序建模。这种方式带来效果提升的原因，主要在于引入了卷积带来的了不同节点相同历史序列但是不同未来序列的区分能力。本文认为直接通过加入id embedding的方式就能解决这个问题，因此设计了如下结构：将序列的id、时间信息的id等转换成embedding，和时间序列模型生成的序列表示拼接到一起。在得到各类信息后，使用简单的多层MLP网络，对输入数据进行映射，得到最终的预测结果。整体的模型结构如下图所示。
从下面的实验结果来看，这种简单的方法效果比之前很多图模型的效果都好：
从下面的消融实验中可以看到，加入每个序列的id embedding对效果影响非常大：
2
ST-MLP
论文标题：ST-MLP: A Cascaded Spatio-Temporal Linear Framework with Channel-Independence Strategy for Traffic Forecasting
下载地址：https://arxiv.org/pdf/2308.07496v1.pdf
这篇文章在时空预测领域，搭建了一个简单高效的线性模型，且使用了channel-independence的方式进行建模。
模型的整体结构如下图所示，是一个级联的结构。输入分为三个部分：temporal embedding、spatial embedding、data embedding。其中temporal embedding代表日期相关的特征，例如一天中的第几个小时；spatial embedding代表空间特征，例如每个节点的embedding和空间拓扑结构；data embedding代表时间序列的信息。这三个部分的输入，分别经过独立的MLP，每一个部分的数据经过MLP后，下一个部分的信息拼接到一起，再输入到下一层的MLP。最后使用一个线性层进行预测。整体的网络结构非常简单。
其中值得注意的是，这个建模过程都是channel independence的，即所有MLP都是在每个序列内部进行的，没有跨序列的MLP。
MLP的结构如下图，主要是线性层、归一化层、ReLU激活函数，以及一层dropout。
Temporal embedding的构成如下，包括两路特征。第一路特征将一天分成多个slot，每个slot对应一个id embedding；第二路特征对应一周中的第几天。这两部分embedding拼接到一起形成temporal embedding，输入到MLP中。
Spatial embedding的构成如下，也包括两个部分。一部分是预先定义的graph结构，每个节点有一个可学习的embedding，使用预先定义graph的邻接矩阵进行汇聚，得到每个节点的embedding。另一部分是无法在预先定义graph中体现的，这部分直接使用一个可学习embedding表示。这两部分拼接到一起形成整体的spatial embedding。
从实验结果来看，ST-MLP简单模型相比之前的各种复杂时空预测模型有着一定的效果提升：
3
总结
从今年以来的线性时空预测模型工作来看，简单的线性模型确实能在时空预测中取得不错的效果。如何进一步增强线性模型的能力，探索时空预测问题的天花板，是一个后续值得研究的问题。
推荐阅读：
公众号：AI蜗牛车
保持谦逊、保持自律、保持进步
发送【蜗牛】获取一份《手把手AI项目》（AI蜗牛车著）
发送【1222】获取一份不错的leetcode刷题笔记
发送【AI四大名著】获取四本经典AI电子书