ForecastNet:：一个用于“多步超前时间序列预测”的时间变换深度前馈神经网络结构
题目：
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
作者：
Joel Janek Dabrowski, YiFan Zhang, Ashfaqur Rahman
来源：
Machine Learning
the International Conference on Machine Learning (ICML) 2020
Submitted on 11 Feb 2020
文档链接：
https://arxiv.org/pdf/2002.04155v1.pdf
代码链接：
https://github.com/jjdabr/forecastNet
摘要
递归和卷积神经网络是深度学习文献中最常用的时间序列预测结构。这些网络通过在时间或空间上使用固定的参数重复一组固定的架构来使用参数共享。结果是，整个体系结构是时不变的(在空间域上是移位不变的)或固定不变的状态。我们认为，时不变性会降低进行多步提前预测的能力，因为需要在一定范围内建立尺度和分辨率的动力学模型。提出了一种基于深度前馈结构的时变预测模型（ForecastNet）。ForecastNet的另一个新奇之处是交错输出，我们用它来帮助减轻逐渐消失的梯度。在多个数据集上，ForecastNet被证明优于统计和深度学习基准模型。
英文原文
Recurrent and convolutional neural networks are the most common architectures used for time series forecasting in deep learning literature. These networks use parameter sharing by repeating a set of fixed architectures with fixed parameters over time or space. The result is that the overall architecture is time-invariant (shift-invariant in the spatial domain) or stationary. We argue that time-invariance can reduce the capacity to perform multi-step-ahead forecasting, where modelling the dynamics at a range of scales and resolutions is required. We propose ForecastNet which uses a deep feed-forward architecture to provide a time-variant model. An additional novelty of ForecastNet is interleaved outputs, which we show assist in mitigating vanishing gradients. ForecastNet is demonstrated to outperform statistical and deep learning benchmark models on several datasets.
ForecastNet结构
如图1所示，ForecastNet是一个前馈神经网络，包括一组nI个输入，一组nO个输出以及一组顺序连接的隐藏单元（从RNN文献中借来的术语）。图2给出了简单形式的ForecastNet的详细图。
隐藏单元是用来模拟时间序列动态的。隐藏单元之间的连接模拟局部动态，单元之间的连接模拟长期动态。
混合物密度输出可以用线性输出和平方误差损失函数代替。 这种形式没有不确定性，但是需要模型来优化两个参数。此形式在本研究中被证明为ForecastNet的变体之一。
实验结果
数据集
在一个合成数据集和来自不同领域的9个真实数据集上比较了一组模型。这些领域包括天气、环境、能源、水产养殖和气象领域。
基线方法
将四种基于深度学习的基准模型与四种预测模型进行了比较。这些模型包括deepAR (Salinas et al.， 2019)、TCN (Bai et al.， 2018)、sequence-to-sequence(编码器-解码器)模型(Sutskever et al.， 2014)和attention模型(Bahdanau et al.， 2015)。
为了完整性，一个单层线性规划模型，一个自由形式的季节动态线性模型(DLM) (West &哈里森(Harrison, 1997)和季节自回归移动平均(SARIMA)模型被包括在比较中。
DLM(状态空间模型)和SARIMA模型是用于时间序列预测的著名统计模型(Hyndman &Athanasopoulos, 2018)。
表2.模型配置。τ是数据集的季节性周期，而ReLU是校正的线性单位。
实验结果分析
图4. seq2seq，Att。，FN2和cFN2模型在开始时间索引0、50、150和200的综合数据集预测。
在数据集上训练了seq2seq，注意力，FN2和cFN2模型。图4中显示了从时间索引0、50、150和200开始的输入的预测结果。正如预期的那样，当振幅存在较大变化时，时不变seq2seq模型难以维持准确的预测。由于时变注意力机制，注意力模型的表现更好。但是，时变的ForecastNet模型可以很好地适应信号幅度的大变化。我们认为这是由于ForecastNet的时变特性。
表3.测试数据集上模型结果的平均MASE和SMAPE（在括号中）。最后一行表示模型在数据集中的Borda计数之和（值越高表示投票分数越高）。粗体数字突出显示最佳结果。
结论
在本研究中，ForecastNet被提出作为一种新的深度神经结构用于多步时间序列提前预测。它的架构打破了以RNN或CNN为中心构建模型的惯例。结果表明，该模型是时变的，而RNN和CNN是时不变的。
我们提供了七种最先进的深度学习和统计模型的比较，用于预测季节时间序列数据。比较是在10个季节时间序列数据集上进行的，这些数据集是从不同的领域中挑选出来的。我们证明了预测网在所有数据集上都是准确和可靠的。在10个数据集中的8个数据集上，它在MASE和SMAPE方面优于其他模型，并在Borda计数中被评为整体性能最好的模型。
在未来的工作中，可以研究隐藏单元内部和之间的短路连接。此外，将自注意力模型中的更多工作将提供与模型可解释性相关的好处 。最后，通过避免参数共享来实现时变模型，ForecastNet需要更多的内存。可以探索使用内存减少技术(如量化)的研究。
