https://www.toutiao.com/a6715386490647478797/

基于时间卷积神经网络的概率预测

题目：

Probabilistic Forecasting with Temporal Convolutional Neural Network

作者：

Yitian Chen, Yanfei Kang, Yixiong Chen, Zizhuo Wang

来源：

Machine Learning (cs.LG)

Submitted on 15 Jul 2019

文档链接：

arXiv:1906.04397

代码链接：

https://github.com/oneday88/kdd2019deepTCN

摘要

提出了一种基于卷积神经网络的多关联时间序列预测的概率预测框架。该框架可用于估计参数和非参数设置下的概率密度。更具体地说，构建了基于膨胀因果卷积网的叠加残差块来捕获序列的时间依赖性。与表示学习相结合，我们的方法能够学习复杂的模式，如季节性、系列内和跨系列的假日效应，并利用这些模式进行更准确的预测，特别是在历史数据稀少或不可用的情况下。对几个真实世界的数据集进行了广泛的实证研究，包括来自中国最大的在线零售商这个http URL的数据集。结果表明，该框架在精度和效率上均优于其他先进的方法。

英文原文

We present a probabilistic forecasting framework based on convolutional neural network for multiple related time series forecasting. The framework can be applied to estimate probability density under both parametric and non-parametric settings. More specifically, stacked residual blocks based on dilated causal convolutional nets are constructed to capture the temporal dependencies of the series. Combined with representation learning, our approach is able to learn complex patterns such as seasonality, holiday effects within and across series, and to leverage those patterns for more accurate forecasts, especially when historical data is sparse or unavailable. Extensive empirical studies are performed on several real-world datasets, including datasets from this http URL, China's largest online retailer. The results show that our framework outperforms other state-of-the-art methods in both accuracy and efficiency.

要点

文章的主要贡献如下所示：

1.提出了一种基于卷积的预测框架，该框架同时提供了估计概率密度的参数和非参数方法。

2.该框架能够学习序列间的潜在相关性，能够处理数据稀疏、冷启动等复杂的实际预测情况，具有较高的可扩展性和可扩展性。

3.大量的实证研究表明，我们的框架优于其他最先进的方法，无论是点预测和概率预测。

4.与递归结构相比，卷积模型的计算可以完全并行化，从而达到较高的训练效率。与此同时，优化要容易得多。在我们的案例中，训练时间是文献Flunkert等(2017)报道的复发模型的1/8。

5.该模型非常灵活，可以包括外生协变量，如额外的促销计划或天气预报。

图1:(a) DeepTCN的体系结构。编码器部分:构造叠加膨胀因果卷积，捕捉长期时间依赖关系;译码器部分:残差块的一个变体被设计用来配合历史的协变量和未来的协变量。(b)每一层编码器的组成部分，是基于膨胀因果卷积的剩余模块。(c)译码器模块:h t是编码器的输出(i), X (i)协变量t +ω是未来的发展趋势。R是非线性函数应用于X (i) t +ω。

表1:实验数据集摘要。

对比实验组

1.SARIMA: Seasonal ARIMA (SARIMA)是一种应用广泛的时间序列预测模型，它通过加入额外的季节项扩展了ARIMA模型，能够对数据框中的季节行为进行建模(2015)。

2.XGBoost:梯度增强树方法已被实践证明是一种高效的预测建模方法。XGBoost作为梯度增强树算法的一种高效实现，在Kaggle Competition Chen和Guestrir等众多机器学习竞赛中，都获得了优胜的好成绩(2016).

3.JD-online: JD-online是目前生产中使用的模型，它将时间序列模型(如SARIMA)的结果与机器学习模型的点预测与地面真实之间的残差推断出来的结果结合起来，生成prob abilistic forecasts。

图2:三种情况下SARIMA和tcn -分位数的概率预测(为说明起见，随机选择)。案例A和案例B给出了两种快速移动产品的预测结果;案例C显示了一个仓库每天的包裹投递量的预测结果。SARIMA和tcn -分位数的ground truth和[10%，90%]预测区间以不同的颜色显示。

图3:DeepTCN、SARIMA和XGBoost对6种情况的点预测(出于说明目的，从JD-shipment中随机选择)。A-1、A-2为两年以上历史数据的实例;案例B-1和B-2显示的实例没有以前的shopping festival数据;案例C-1和C-2说明冷启动预测，即历史数据较少的时间序列预测，如少于三天。值得注意的是，11月11日是中国最大的促销日之一。

表3:2018年11月JD-shipment不同亚组SMAPE和RMSLE的点预测精度对比all - data表示培训周期从0到4年的所有系列;第一组包括历史数据超过两年的仓库;第二组表示2018-01-01以后开始的系列，即没有历史购物节数据的系列。