ForecastNet:：一個用於“多步超前時間序列預測”的時間變換深度前饋神經網絡結構
題目：
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
作者：
Joel Janek Dabrowski, YiFan Zhang, Ashfaqur Rahman
來源：
Machine Learning
the International Conference on Machine Learning (ICML) 2020
Submitted on 11 Feb 2020
文檔鏈接：
https://arxiv.org/pdf/2002.04155v1.pdf
代碼鏈接：
https://github.com/jjdabr/forecastNet
摘要
遞歸和卷積神經網絡是深度學習文獻中最常用的時間序列預測結構。這些網絡通過在時間或空間上使用固定的參數重複一組固定的架構來使用參數共享。結果是，整個體系結構是時不變的(在空間域上是移位不變的)或固定不變的狀態。我們認為，時不變性會降低進行多步提前預測的能力，因為需要在一定範圍內建立尺度和分辨率的動力學模型。提出了一種基於深度前饋結構的時變預測模型（ForecastNet）。ForecastNet的另一個新奇之處是交錯輸出，我們用它來幫助減輕逐漸消失的梯度。在多個數據集上，ForecastNet被證明優於統計和深度學習基準模型。
英文原文
Recurrent and convolutional neural networks are the most common architectures used for time series forecasting in deep learning literature. These networks use parameter sharing by repeating a set of fixed architectures with fixed parameters over time or space. The result is that the overall architecture is time-invariant (shift-invariant in the spatial domain) or stationary. We argue that time-invariance can reduce the capacity to perform multi-step-ahead forecasting, where modelling the dynamics at a range of scales and resolutions is required. We propose ForecastNet which uses a deep feed-forward architecture to provide a time-variant model. An additional novelty of ForecastNet is interleaved outputs, which we show assist in mitigating vanishing gradients. ForecastNet is demonstrated to outperform statistical and deep learning benchmark models on several datasets.
ForecastNet結構
如圖1所示，ForecastNet是一個前饋神經網絡，包括一組nI個輸入，一組nO個輸出以及一組順序連接的隱藏單元（從RNN文獻中借來的術語）。圖2給出了簡單形式的ForecastNet的詳細圖。
隱藏單元是用來模擬時間序列動態的。隱藏單元之間的連接模擬局部動態，單元之間的連接模擬長期動態。
混合物密度輸出可以用線性輸出和平方誤差損失函數代替。 這種形式沒有不確定性，但是需要模型來優化兩個參數。此形式在本研究中被證明為ForecastNet的變體之一。
實驗結果
數據集
在一個合成數據集和來自不同領域的9個真實數據集上比較了一組模型。這些領域包括天氣、環境、能源、水產養殖和氣象領域。
基線方法
將四種基於深度學習的基準模型與四種預測模型進行了比較。這些模型包括deepAR (Salinas et al.， 2019)、TCN (Bai et al.， 2018)、sequence-to-sequence(編碼器-解碼器)模型(Sutskever et al.， 2014)和attention模型(Bahdanau et al.， 2015)。
為了完整性，一個單層線性規劃模型，一個自由形式的季節動態線性模型(DLM) (West &哈里森(Harrison, 1997)和季節自迴歸移動平均(SARIMA)模型被包括在比較中。
DLM(狀態空間模型)和SARIMA模型是用於時間序列預測的著名統計模型(Hyndman &Athanasopoulos, 2018)。
表2.模型配置。τ是數據集的季節性週期，而ReLU是校正的線性單位。
實驗結果分析
圖4. seq2seq，Att。，FN2和cFN2模型在開始時間索引0、50、150和200的綜合數據集預測。
在數據集上訓練了seq2seq，注意力，FN2和cFN2模型。圖4中顯示了從時間索引0、50、150和200開始的輸入的預測結果。正如預期的那樣，當振幅存在較大變化時，時不變seq2seq模型難以維持準確的預測。由於時變注意力機制，注意力模型的表現更好。但是，時變的ForecastNet模型可以很好地適應信號幅度的大變化。我們認為這是由於ForecastNet的時變特性。
表3.測試數據集上模型結果的平均MASE和SMAPE（在括號中）。最後一行表示模型在數據集中的Borda計數之和（值越高表示投票分數越高）。粗體數字突出顯示最佳結果。
結論
在本研究中，ForecastNet被提出作為一種新的深度神經結構用於多步時間序列提前預測。它的架構打破了以RNN或CNN為中心構建模型的慣例。結果表明，該模型是時變的，而RNN和CNN是時不變的。
我們提供了七種最先進的深度學習和統計模型的比較，用於預測季節時間序列數據。比較是在10個季節時間序列數據集上進行的，這些數據集是從不同的領域中挑選出來的。我們證明了預測網在所有數據集上都是準確和可靠的。在10個數據集中的8個數據集上，它在MASE和SMAPE方面優於其他模型，並在Borda計數中被評為整體性能最好的模型。
在未來的工作中，可以研究隱藏單元內部和之間的短路連接。此外，將自注意力模型中的更多工作將提供與模型可解釋性相關的好處 。最後，通過避免參數共享來實現時變模型，ForecastNet需要更多的內存。可以探索使用內存減少技術(如量化)的研究。
