最详细循环神经网络讲解循环神经网络原理

文章插图
引用
Lim S H . Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory[J]. 2020.
摘要
循环神经网络（RNN）是一种受大脑启发的模型，其广泛的应用于机器学习，以进行连续数据的分析。本工作有助于使用非平衡学说的响应理论更深度地理解 RNN 如何处理输入信号。对于一类由输入信号驱动的连续时间随机 RNN（SRNN），我们为其输出推导出一个沃尔泰拉级数的序列表示。这种表示法是可解释的，并将输入信号从 SRNN 结构中分离出来。序列的核是一些递归定义的相关函数，其与完全决定输出的无扰动动力学相关。利用这种表示的联系及其对粗糙路径理论的影响，我们确定了一个通用特征——响应特征，其被证明是输入信号的张量积的特征与自然支撑基础。特别地，我们展示了仅优化了读出层的权重，而隐藏层的权重保持固定、未被优化的 SRNN，这可被看作是在与响应特征相关的再生核希尔伯特空间中执行的核机器。
介绍
从时间序列分析到自然语言处理，序列化数据出现在广泛的场景中。在没有数学模型的情况下，从数据中提取有用信息，以学习一个数据生成系统是很重要的。
循环神经网络（RNN）是一类受大脑启发的模型，其专门为学习序列数据而设计，被广泛地应用于从物理学到金融的各个领域。RNN 是具有反馈连接的神经元网络，从生物学角度比其他适应性模型更具说服力。特别地，RNN 可以使用它们的隐藏状态（记忆）来处理输入的可变长度序列。它们是动力系统的通用逼近器，且其本身可被视为一类开放动力系统。
尽管 RNN 近期在储备池计算、深度学习和神经生物学方面取得了创新和巨大的经验成功，但很少有研究关注 RNN 工作机制的理论基础。缺乏严格的分析限制了 RNN 在解决科学问题方面的实用性，并可能阻碍下一代网络的系统设计。因此，深入了解该机制对于阐明大型自适应架构的特性，以及彻底改变我们对这些系统的理解而言至关重要。
特别地，人们可能会问的两个自然且基础的问题是：
Q1：随着时间推移的输入信号如何驱动 RNN 产生输出？
Q2：它们的响应是否有一个普遍的机制？
本工作的主要目标之一是解决上述问题，以非平衡统计动力学中的非线性响应理论为出发点，针对连续时间 RNN 的随机版本，简称 SRNN（其隐藏状态被注入了高斯白噪声）进行分析。我们的方法是跨学科的，为现有的 RNN 理论增加了令人耳目一新的观点。
随机循环神经网络（SRNN）
本文固定过滤概率空间（filtered probability space）
，E 代表对 P 的期望，T>0 。C(E, F)代表从 E 到 F 的连续映射的巴拿赫空间，其中 E 和 F 是巴拿赫空间。
表示 Rn 上所有有界连续函数的空间。N:={0, 1, 2, . . . }，Z+:={1, 2, . . . }且 R+:= [0, ∞) 。上标 T 表示转置，? 表示邻接。
模型
我们对我们的 SRNN 考虑如下模型。所谓激活函数，是指一个非常数的、利普希茨连续且有界的实值函数。激活函数的例子包括 sigmoid 函数，如实践中常使用的双曲切线等。
定义 2.1（连续时间 SRNN）令 t ∈ [0, T]，
为确定的输入信号。连续时间的 SRNN 描述为以下空间状态的模型：
其中，公式 1 是隐藏状态
的随机微分方程（SDE），带有漂移系数 φ：
、噪声系数
和定义在
上的 r 维维纳过程
，而公式 2 定义了一个可观测的激活函数
。
我们考虑 SRNN 的输入仿射版本，其中：
其中，
是正稳定的，

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：

最详细循环神经网络讲解 循环神经网络原理

最详细循环神经网络讲解循环神经网络原理