时序最新研究（附源码）|NeuIPS 2022

时序最新研究（附源码）|NeuIPS 2022

NeurIPS，全称神经信息处理系统大会(Conference and Workshop on Neural  Information Processing Systems)，是一个关于机器学习和计算神经科学的顶级国际会议。该会议固定在每年的12月由NeurIPS基金会主办，被中国计算机协会推荐为A类会议。 NeurIPS 是由连接学派（connectionist）神经网络的学者于1987年在加拿大创办，后来随着影响力逐步扩大，也曾移师美洲、欧洲等地举办。

早年发布在 NeurIPS 中的论文包罗万象，从单纯的工程问题到使用计算机模型来理解生物神经元系统等各种主题。近几年主题主要以机器学习，人工智能和统计学为主。今年 NeurIPS 已是第 36 届，将于 11 月 28 日至 12 月 9 日在美国新奥尔良举行，为期两周。最近 NeurIPS 公布了论文接收结果：共吸引了10411篇研究论文投稿，其中有2665篇论文被接收，接收率为25.6%，基本与上年持平。

完整的接收列表可以访问如下链接获取：https://nips.cc/Conferences/2022/Schedule?type=Poster

本文梳理 NeurIPS 2022 有关时间序列领域的最新研究成果，一共23篇，供大家参考。

• 时间序列预测：8篇

• 时间序列可解释建模：2篇

• 时间序列生成：1篇

• 时间序列算法优化：2篇

• 序列神经网络：4篇

• 时空分析：6篇

时间序列

01、预测

时序预测是时间序列领域的经典问题之一。本次NeurIPS带来了8篇研究：

Non-stationary Transformers: Rethinking the Stationarity in Time Series Forecasting

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55235

论文源码：https://github.com/thuml/Nonstationary_Transformers

论文摘要：transformer 由于其全局范围建模能力，在时间序列预测方面表现出了强大的能力。但是，在非平稳真实世界数据上，它们的性能可能会严重退化，其中联合分布随时间变化。以前的研究主要采用平稳化来减少原始序列的非平稳性，以获得更好的可预测性。但是被剥夺了固有的非平稳性的平稳序列对于现实世界的突发事件预测可能不太有指导意义。这个问题在本文中称为过度平稳化，导致 transformer 为不同的序列产生无法区分的时间注意力，并阻碍了深度模型的预测能力。为了解决串联可预测性和模型能力之间的困境，我们提出非平稳变压器作为一个通用框架，具有两个相互依赖的模块：串联稳态化和非稳态注意。具体来说，串联平稳化统一了每个输入的统计信息，并将输出与恢复的统计信息进行了转换，以提高可预测性。为了解决过度平稳化的问题，设计了去平稳注意力，通过近似从非平稳化序列中学到的可区分注意力，将内在的非平稳信息恢复到时间依赖关系中。

Generative Time Series Forecasting with Diffusion, Denoise and Disentanglement

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53118

论文源码：https://github.com/ramber1836/d3vae

论文摘要：时间序列预测是一项被广泛探索的任务，在许多应用中都非常重要。然而，真实世界的时间序列数据记录在短时间内是很常见的，这导致深度模型与有限且噪声的时间序列之间存在较大差距。在这项工作中，我们建议使用生成建模解决时间序列预测问题。并提出了一种配备扩散、去噪和解纠的双向变分自动编码器（BVAE），即D3VAE。具体而言，该文提出一种耦合扩散概率模型，在不增加数据随机不确定性的情况下，对时间序列数据进行扩充。为了确保生成的序列朝着真实目标移动，我们进一步建议将多尺度去噪得分匹配调整并集成到扩散过程中，以进行时间序列预测。此外，为了增强预测的可解释性和稳定性，我们以多变量的方式处理潜在变量，并在最小化总相关性的基础上解开它们。

SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53511

论文源码：https://github.com/cure-lab/SCINet

论文摘要：时间序列的一个独特属性是，在对两个子序列进行下采样后，时间关系在很大程度上得以保留。通过利用这一特性，我们提出了一种新颖的神经网络架构，该架构为时间建模和预测进行样本卷积和交互，名为SCINet。具体来说，SCINet是一种递归的下采样-卷积-交互架构。在每一层中，我们使用多个卷积滤波器从下采样的子序列或特征中提取独特但有价值的时间特征。通过结合这些从多个分辨率聚合的丰富特征，SCINet有效地对具有复杂时间动态的时间序列进行建模。实验结果表明，在各种真实世界的时间序列预测数据集中，SCINet在各种真实世界的时间序列预测数据集中，与现有的卷积模型和基于变压器的解决方案相比，预测精度都有显著提高。

Learning Latent Seasonal-Trend Representations for Time Series Forecasting

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55179

论文源码：https://github.com/zhycs/LaST

论文摘要：预测复杂的时间序列在一系列应用中无处不在且至关重要，但具有挑战性。最近的进展努力通过将各种深度学习技术整合到顺序模型中来取得进展。然而，清晰的模式仍然难以提取，因为复杂的时间序列由几个纠缠的组件组成。受解纠变分自动编码器在计算机视觉和经典时间序列分解中的成功推动，我们计划推断出几个描述时间序列的季节性和趋势分量的表示。为了实现这一目标，我们提出了LaST，它基于变分推理，旨在解开潜在空间中的季节性趋势表示。此外，LaST从自身和输入重建的角度监督和解关联表示，并引入一系列辅助目标。大量实验证明，LaST在时间序列预测任务上实现了最先进的性能，与最先进的表示学习和端到端预测模型相比，相对提高了23.7%和20.5%。

FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55013

论文源码：https://github.com/tianzhou2011/FiLM/

论文摘要：最近的研究表明，RNN和Transformers等深度学习模型为时间序列的长期预测带来了显着的性能提升，因为它们有效地利用了历史信息。然而，我们发现，在如何保留神经网络中的历史信息，同时避免过度拟合历史中存在的噪声方面，仍有很大的改进空间。解决这个问题可以更好地利用深度学习模型的功能。为此，我们设计了一个模型，FiLM：它应用勒让德多项式投影来近似历史信息，使用傅里叶投影来消除噪声，并添加低秩近似以加快计算速度。实证研究表明，所提出的 FiLM 显著提高了多变量和单变量长期预测中最新模型的准确性。我们还证明了这项工作中开发的表示模块可以作为通用插件来改善其他深度学习模块的长期预测性能。

Multivariate Time-Series Forecasting with Temporal Polynomial Graph Neural Networks

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55345

论文源码：暂未公布

论文摘要：多变量时间序列 （MTS） 建模在现代智能系统中至关重要。由于潜在的变量相关性复杂，MTS数据的准确预测仍然具有挑战性。最近的工作将图神经网络（GNN）应用于任务，其基本思想是将相关性表示为静态图。但是，使用静态图进行预测会导致明显的偏差，因为在现实世界的 MTS 数据中相关性是随时间变化的。此外，在他们的工作中，实际相关性和学习相关性之间没有差距分析来验证有效性。该文提出一种用于精确MTS预测的时间多项式图神经网络（TPGNN），该网络分两步将动态变量相关性表示为时态矩阵多项式。首先，我们以静态矩阵为基础捕获整体相关性。然后，我们使用一组时变系数和矩阵基为每个时间步构建一个矩阵多项式。构建的结果凭经验捕获了由非重复随机游走模型生成的六个合成 MTS 数据集的精确动态相关性。此外，理论分析表明，TPGNN在交换条件下可以实现完美的近似。我们对两个具有先验结构的交通数据集和四个基准数据集进行了广泛的实验。结果表明，TPGNN在短期和长期MTS预测方面都达到了最先进的水平。

Time Dimension Dances with Simplicial Complexes: Zigzag Filtration Curve based Supra-Hodge Convolution Networks for Time-series Forecasting

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53664

论文源码：暂未公布

论文摘要：图神经网络 （GNN） 为多变量时间序列预测提供了一种新的强大替代方案，在从城市流量监测系统到医疗保健信息学再到金融分析的各种时空应用中取得了显著的成功。然而，这种GNN模型主要只捕获低阶交互作用，即节点之间的成对关系，并且在很大程度上忽略了多变量时间序列底层拓扑的内在时间条件信息。为了解决这些限制，我们提出了一种新的时间感知GNN架构，该架构以锯齿形持久性的形式放大了最近出现的简单神经网络的能力，具有时间条件拓扑知识表示。也就是说，我们的新方法，基于锯齿形过滤曲线的超霍奇卷积网络（ZFC-SHCN）建立在两个主要组件之上：（i）一种新的高计算效率之字形持久曲线，允许我们系统地编码时间条件拓扑信息，以及（ii）用于学习高阶网络交互的新时间多路复用图表示模块。我们讨论了所提出的时间条件拓扑知识表示的理论性质，并结合广泛的合成和现实世界数据集的时间序列预测广泛验证了新的时间感知ZFC-SHCN模型：交通流，COVID-19生物监测，以太坊区块链，地表气温和矢量自回归。实验表明，ZFC-SHCN在对计算成本要求较低的情况下实现了最先进的性能。

WaveBound: Dynamically Bounding Error for Stable Time Series Forecasting

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54133

论文源码：暂未公布

论文摘要：时间序列预测因其在交通、能源消耗、经济和金融以及疾病分析等实际应用中的高度实用性而成为一项关键任务。最近基于深度学习的方法在时间序列预测方面取得了显著的成功。尽管如此，由于时间序列数据的动态，深度网络仍然遭受不稳定的训练和过度拟合。真实世界数据中出现的不一致模式会导致模型偏向于特定模式，从而限制了泛化。在这项工作中，我们引入了训练损失的动态误差边界，以解决时间序列预测中的过拟合问题。因此，我们提出了一种称为WaveBound的正则化方法，该方法估计每次迭代时每个时间步长和特征的训练损失的适当误差边界。通过允许模型减少对不可预测数据的关注，WaveBound稳定了训练过程，从而显着提高了泛化。通过广泛的实验，我们表明WaveBound始终如一地在大范围内改进现有模型，包括最先进的模型。

02、可解释建模

理解时间序列模型的决策原理，获取新的知识，在工业界有很重要的作用。本次NeurIPS带来了2篇相关研究：

Dynamic Sparse Network for Time Series Classification: Learning What to “See”

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54534

论文源码：https://github.com/QiaoXiao7282/DSN

论文摘要：感受野（RF）决定了在时间序列模型中可以“看到”哪些隐藏信号，对于提高时间序列分类（TSC）的性能至关重要。然而，时间序列数据之间和内部信号尺度的变化使得为TSC确定适当的RF尺寸变得具有挑战性。在本文中，我们提出了一种具有稀疏连接的TSC动态稀疏网络（DSN），它可以学习覆盖各种RF，而无需繁琐的超参数调谐。各稀疏层中的核是稀疏的，可以通过动态稀疏训练在约束区域下进行探索，从而可以降低资源成本。实验结果表明，与最近的基线方法相比，所提出的DSN模型可以在单变量和多变量TSC数据集上实现最先进的性能，计算成本低于50%，为更准确的资源感知时间序列分析方法开辟了道路。

Causal Disentanglement for Time Series

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54358

论文源码：暂未公布

论文摘要：最近在非线性独立分量分析（ICA）领域，除了独立性之外，还通过使用某些侧面信息（例如类标签或时间序列的历史信息）建立了强大的解缠可识别性结果。然而，大多数现有工作都受到功能形式假设（例如平稳独立源或进一步具有线性跃迁）和分布假设（例如指数族分布）的约束。如果潜在的潜在过程及其因果关系介于两者之间具有任意的、非参数的因果影响，则尚不清楚它们是否可识别。我们提出了一种称为LCD-NM的原则框架，用于恢复延时潜在因果变量，并从静止环境和不同分布偏移下的测量时间数据中识别它们之间的关系。具体而言，该框架将未知分布变化分解为由固定动力学和时变潜在因果关系以及观测中的全局变化引起的过渡分布变化。我们从非线性混合中建立了固定动力学下非参数潜在因果过程的可识别性理论，并分析了分布变化如何进一步有利于可识别性。通过实验，我们表明，时间延迟的潜在因果影响得到了可靠的识别，并且我们的方法大大优于没有正确利用这种变化的模块化表示的现有基线。我们的结果表明，在静止环境和一般非平稳环境中，时间序列设置中的解缠似乎很有希望，其中潜在过程在两者之间具有非参数因果影响。

03、生成

AI生成是最近比较热的研究方向，时间序列领域也有学者尝试生成时间序列。本次NeurIPS带来了1篇相关研究：

GT-GAN: General Purpose Time Series Synthesis with Generative Adversarial Networks

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54370

论文源码：暂未公布

论文摘要：时间序列合成是深度学习领域的重要研究课题，可用于数据增强。时序数据类型大致可分为常规数据类型和非常规数据类型。但是，没有现有的生成模型可以在不进行任何模型更改的情况下为这两种类型显示良好的性能。因此，我们提出了一个能够合成规则和不规则时间序列数据的通用模型。据我们所知，我们是第一个设计通用时间序列合成模型的公司，这是时间序列合成最具挑战性的设置之一。为此，我们设计了一种基于生成对抗网络的方法，其中许多相关技术被仔细地集成到一个框架中，从神经普通/受控微分方程到连续的时间流过程。我们的方法优于所有现有方法。

04、算法优化

高性能的时间序列模型对于工业落地，商用有至关重要的作用。本次NeurIPS带来2篇相关研究：  

BILCO: An Efficient Algorithm for Joint Alignment of Time Series

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54683

论文源码：https://github.com/yu-lab-vt/BILCO

论文摘要：许多实际应用程序中会出现多个时间序列数据，它们之间的对齐通常是数据分析的基本步骤。通常，这些多个时间序列是相互依赖的，这为对齐任务提供了额外的信息，并且这些信息在传统的成对对齐方法中无法得到充分利用。最近，将接头对齐建模为最大流量问题，其中对齐时间序列之间的轮廓相似性和相邻翘曲函数之间的距离共同优化。然而，尽管新模型具有优雅的数学公式和优越的对准精度，但由于使用了现有的通用最大流量算法，计算时间长，内存占用大，这极大地限制了其当之无愧的广泛应用。在本报告中，我们提出了线性分量运算（BILCO）的双向推动，这是一种新颖的算法，可以高效，准确地解决接头对齐最大流量问题。我们开发了线性元件操作策略，该策略集成了动态规划技术和推送-重新标记方法。这种策略的动机是，关节对齐最大流量问题是动态时间扭曲（DTW）的推广，并且嵌入了许多单独的DTW问题。此外，该文提出一种双向推动策略，通过利用另一个事实，即可以轻松计算接头对齐最大流量问题的良好初始化，引入先验知识并减少不必要的计算。我们使用合成和真实实验来证明BILCO的效率。在各种模拟场景和三个不同的应用类别下对数千个数据集进行了测试，与现有的最佳最大流量方法相比，BILCO 的速度始终至少提高了 10 倍，平均提高了 20 倍，并且最多使用了 1/8 和平均 1/10 的内存。

LSAR: Efficient Leverage Score Sampling Algorithm for the Analysis of Big Time Series Data

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=56137

论文源码：暂未公布

论文摘要：我们应用随机数值线性代数（RandNLA）的方法开发用于分析大规模时间序列数据的改进算法。我们首先开发了一种新的快速算法来估计大数据体系中自回归（AR）模型的杠杆得分。我们表明，近似的准确性在高概率的真实杠杆分数范围内。随后利用这些理论结果开发一种称为LSAR的有效算法，用于将适当的AR模型拟合到大时间序列数据。我们提出的算法保证了高概率地找到底层真实AR模型参数的最大似然估计，并且具有最坏情况下的运行时间，显着改善了大数据制度中最先进的替代方案。大规模合成和真实数据的实证结果对理论结果有较强的支持，揭示了这一新方法的有效性。

序列神经网络

对带时间的序列建模在深度学习中是重要的一支，工业界有非常广泛的应用。很多研究者不断追求创新序列神经网络的结构，以达到更好的效果。本次NeurIPS带来4篇相关研究：

Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=52895

论文源码：https://github.com/mims-harvard/TFC-pretraining

论文摘要：由于预训练和目标域之间存在各种差异，例如时间动态的变化、快速发展的趋势、长期和短周期效应，时间序列数据集对预训练提出了独特的挑战。虽然领域适应方法可以缓解这些变化，但大多数方法需要直接从目标领域获得示例，这使得它们对于时间序列的预训练来说不是最佳的。为了填补这一空白，方法需要适应一组具有不同时间动态的目标域，并且能够在预训练期间看不到任何目标示例的情况下做到这一点。相对于其他领域，在时间序列中，我们希望同一示例的基于时间和基于频率的表示及其局部增强在时频空间中靠近。为此，我们假设时频一致性（TF-C）---嵌入特定示例的基于时间的邻域，靠近其基于频率的邻域和后---对于预训练是可取的。在TF-C的激励下，我们优化了一个可分解的预训练模型，其中自监督信号由时间和频率分量之间的距离提供，每个分量都通过对比估计单独训练。我们在八个数据集上评估了新方法，包括电诊断测试、人类日常活动识别、机械故障检测和物理状态监测。针对八种最先进方法的实验表明，我们的方法在一对一设置（例如，在EMG数据上微调EEG预训练模型）中平均优于基线15.4%（F1分数），在具有挑战性的一对多设置（例如，微调EEG预训练模型以进行手势识别或机械故障预测）中，性能高达8.4%（F1分数），反映了实际应用中出现的场景的广度。

Efficient learning of nonlinear prediction models with time-series privileged information

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55317

论文源码：暂未公布

论文摘要：在样本量有限的领域，高效的学习算法至关重要。使用特权信息（LuPI）进行学习，允许预测模型在训练时访问信息类型，从而提高样本效率，而这些信息在使用模型时不可用。在最近的工作中，表明对于线性高斯动力系统中的预测，能够访问中间时间序列数据的LuPI学习器永远不会比任何无偏的经典学习器更差，而且在期望方面通常更好。我们为这种分析提供了新的见解，并将其推广到潜在动力系统中的非线性预测任务，将理论保证扩展到连接潜在变量和观测值的地图已知到线性变换的情况。此外，我们提出了基于随机特征和表示学习的算法，以应对该地图未知的情况。一系列实证结果证实了理论发现，并显示了在非线性预测中使用特权时间序列信息的潜力。

Theoretical analysis of deep neural networks for temporally dependent observations

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53665

论文源码：暂未公布

论文摘要：深度神经网络是使用非线性模式对随时间推移的观察进行建模的强大工具。尽管神经网络在此类环境中被广泛使用，但深度神经网络的大多数理论发展都是在独立观测的假设下进行的，并且时间依赖观测的理论结果很少。为了弥合这一差距，我们研究了深度神经网络在非线性时间序列数据建模上的理论特性。具体而言，在混合型假设下，建立了具有ReLU激活函数的前馈神经网络预测误差的非渐近边界。这些假设是温和的，因此它们包括广泛的时间序列模型，包括自回归模型。与独立观测相比，已建立的收敛率具有额外的对数因子，以补偿由于数据点之间的依赖性而导致的额外复杂性。理论结果通过各种数值模拟设置以及宏观经济数据集的应用得到支持。

Counterfactual Temporal Point Processes

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54193

论文源码：暂未公布

论文摘要：基于时间点过程的机器学习模型是涉及连续时间内离散事件的各种应用中的最新技术。然而，这些模型缺乏回答反事实问题的能力，随着这些模型被用来为有针对性的干预措施提供信息，这些问题越来越重要。在这项工作中，我们的目标是填补这一空白。为此，我们首先在Gumbel-Max结构因果模型的基础上，为时间点过程开发了一个变薄的因果模型。该模型满足理想的反事实单调性条件，足以识别变薄过程中的反事实动力学。然后，给定具有给定强度函数的时间点过程的观测实现，我们开发了一种采样算法，该算法使用上述变薄的因果模型和叠加定理来模拟给定替代强度函数下时间点过程的反事实实现。使用合成和真实流行病学数据的模拟实验表明，我们的算法提供的反事实实现可能为加强有针对性的干预措施提供有价值的见解。

时空分析

除了对时间先后的分析，结合空间的时空组合分析近年来吸引了很多研究者的关注，在城市治理，用户行为分析，多时序关联分析，因果推导等领域有大量的场景与课题。本次NeurIPS带来6篇相关研究：

AZ-whiteness test: a test for signal uncorrelation on spatio-temporal graphs

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54220

论文源码：暂未公布

论文摘要：我们提出了第一个图的白度假设检验，即与动态图节点相关的多变量时间序列的白度检验;因此，该测试代表了图深度学习的重要模型评估工具，例如在预测设置中。统计测试旨在检测接近时间观测值之间的现有连续依赖性，以及给定基础图的相邻观测值之间的空间依赖性。所提出的AZ测试可以作为传统测试的时空扩展，这些测试旨在用于系统识别以绘制信号图。AZ-测试是通用的，允许底层图形是动态的，随着时间的推移，拓扑和节点集的变化，以及加权，从而考虑不同强度的连接，就像传感器和运输网络等许多应用场景一样。设计检验的渐近分布可以在原假设下推导，而无需假设数据分布相同。我们展示了该测试对综合和现实世界问题的有效性，并通过分析附加到图流的预测残差来说明如何使用它来评估时空预测模型的质量。

Embracing Consistency: A One-Stage Approach for Spatio-Temporal Video Grounding

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53372

论文源码：暂未公布

论文摘要：时空视频接地 （STVG） 侧重于检索由自由形式文本表达式描绘的特定对象的时空管。现有的方法主要将这种复杂的任务视为并行帧接地问题，因此存在两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的单阶段框架，称为时空一致性感知转换器（STCAT），以缓解这些问题。特别是，我们引入了一种新颖的多模态模板作为解决此任务的全局目标，该模板明确限制了接地区域并将所有视频帧之间的预测相关联。此外，为了在足够的视频文本感知下生成上述模板，该文提出一种编码器-解码器架构进行有效的全局上下文建模。得益于这些关键设计，STCAT享有更一致的跨模态特征对齐和管预测，而无需依赖任何预先训练的目标检测器。大量实验表明，我们的方法优于以前最先进的方法，在两个具有挑战性的视频基准测试（VidSTG和HC-STVG）上具有明显的余量，说明了所提出的框架在更好地理解视觉和自然语言之间关联的优越性。

Dynamic Graph Neural Networks Under Spatio-Temporal Distribution Shift

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55422

论文源码：暂未公布

论文摘要：动态图神经网络（DyGNN）通过利用图结构和时间动力学展示了强大的预测能力。然而，现有的DyGNN无法处理分布偏移，这自然存在于动态图中，主要是因为DyGNN利用的模式可能是分布偏移下的标签的变体。本文提出通过发现和利用{it不变模式}来处理动态图中的时空分布偏移，即在分布变化中预测能力稳定的结构和特征，这面临两个关键挑战：

1）如何发现动态图中的复杂变体和不变时空模式，其中涉及时变图结构和节点特征。

2）如何处理已发现的变体和不变模式的时空分布偏移。为了应对这些挑战，我们提出了基于解耦干预的动态图注意力网络（DIDA）。本所提出的方法通过发现并充分利用不变的时空模式，可以有效地处理动态图中的时空分布变化。具体来说，我们首先提出了一个解开的时空注意力网络来捕捉变体和不变模式。然后，我们设计了一种时空干预机制，通过跨邻域和时间戳的变异模式进行采样和重新组装来创建多个干预分布，以消除变异模式的虚假影响。最后，我们提出了一个不变性正则化项，以最小化干预分布中预测的方差，以便我们的模型能够基于具有稳定预测能力的不变模式进行预测，从而处理分布偏移。在三个真实世界数据集和一个合成数据集上的实验证明了我们的方法在分布偏移下优于最先进的基线。据我们所知，我们的工作是分布变化下对DyGNN的首次研究。

Masked Autoencoders As Spatiotemporal Learners

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55378

论文源码：https://github.com/facebookresearch/mae_st

论文摘要：本文研究了掩码自动编码器（MAE）在概念上对从视频中学习时空表示的简单扩展。我们随机屏蔽视频中的时空补丁，并学习自动编码器以像素重建它们。有趣的是，我们表明我们的MAE方法可以学习强表示，几乎没有时空归纳偏差（只有补丁和位置嵌入除外），并且时空不可知的随机掩蔽表现最好。我们观察到最佳掩蔽率高达90%（图像为75%），支持该比率与数据的信息冗余相关的假设。高掩蔽比会导致较大的加速比，例如，挂钟时间> 4 倍甚至更多。我们使用原版视觉变压器在几个具有挑战性的视频数据集上报告竞争结果。我们观察到，MAE可以大大优于监督预训练。我们进一步报告了对真实世界的、未经策划的 Instagram 数据进行训练的令人鼓舞的结果。我们的研究表明，掩码自动编码的一般框架（BERT，MAE等）可以是一种统一的表示学习方法，具有最少的领域知识。

Local Spatiotemporal Representation Learning for Longitudinally-consistent Neuroimage Analysis

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54733

论文源码：暂未公布

论文摘要：医疗计算机视觉的最新自我监督进展利用全局和局部解剖学自相似性在下游任务（如分割）之前进行预训练。然而，目前的方法假设i.i.d.图像采集，这在临床研究设计中是无效的，其中后续纵向扫描跟踪受试者特定的时间变化。此外，医学相关图像到图像架构的现有自监督方法仅利用空间或时间自相似性，并通过仅在单个图像尺度上应用的损失来实现，朴素的多尺度时空扩展崩溃以退化解决方案。为此，本文做出了两个贡献：（1）提出了一种在纵向图像上训练的图像到图像架构的局部和多尺度时空表示学习方法。它利用学习的多尺度主体内图像特征的时空自相似性进行预训练，并开发了几种特征正则化以避免退化表示;（2）在微调过程中，它提出了一种令人惊讶的简单自监督分割一致性正则化，以利用受试者内的相关性。通过对各种分割任务进行基准测试，所提出的框架优于经过良好调整的随机初始化基线和当前为i.i.d.和纵向数据集设计的自监督技术。这些改进在纵向神经退行性成人MRI和发育中的婴儿脑MRI中都得到了证明，并产生了更高的性能和纵向一致性。

AutoST: Towards the Universal Modeling of Spatio-temporal Sequences

论文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53236

论文源码：暂未公布

论文摘要：时空序列的分析在许多实际应用中发挥着重要作用，需要高模型容量来捕获空间和时间维度之间的相互依赖性。以前的研究提供了三类单独的网络设计：空间优先，时间优先和时空同步。然而，人工设计的异构模型难以满足时空依赖性捕获各种任务的优先级。为了解决这个问题，我们提出了一个具有三个特征的通用建模框架：

（i）基于注意力的网络骨干，包括S2T层（空间优先）、T2S层（时间优先）和STS层（时空同步）。

（ii） 通用建模框架，称为UniST，具有统一的结构，能够对拟议的三个不同模块进行灵活的建模优先次序。

（iii） 一种名为AutoST的自动搜索策略，通过网络架构搜索自动搜索最佳时空建模优先级。在五个真实数据集上进行的广泛实验表明，UniST与我们提出的三个模块中的任何一种类型都可以实现最先进的性能。此外，AutoST可以通过UniST实现压倒性的性能。