最详细循环神经网络讲解循环神经网络原理( 五 )

介绍
从时间序列分析到自然语言处理，序列化数据出现在广泛的场景中。在没有数学模型的情况下，从数据中提取有用信息，以学习一个数据生成系统是很重要的。
循环神经网络（RNN）是一类受大脑启发的模型，其专门为学习序列数据而设计，被广泛地应用于从物理学到金融的各个领域。RNN 是具有反馈连接的神经元网络，从生物学角度比其他适应性模型更具说服力。特别地，RNN 可以使用它们的隐藏状态（记忆）来处理输入的可变长度序列。它们是动力系统的通用逼近器，且其本身可被视为一类开放动力系统。
尽管 RNN 近期在储备池计算、深度学习和神经生物学方面取得了创新和巨大的经验成功，但很少有研究关注 RNN 工作机制的理论基础。缺乏严格的分析限制了 RNN 在解决科学问题方面的实用性，并可能阻碍下一代网络的系统设计。因此，深入了解该机制对于阐明大型自适应架构的特性，以及彻底改变我们对这些系统的理解而言至关重要。
特别地，人们可能会问的两个自然且基础的问题是：
Q1：随着时间推移的输入信号如何驱动 RNN 产生输出？
Q2：它们的响应是否有一个普遍的机制？
本工作的主要目标之一是解决上述问题，以非平衡统计动力学中的非线性响应理论为出发点，针对连续时间 RNN 的随机版本，简称 SRNN（其隐藏状态被注入了高斯白噪声）进行分析。我们的方法是跨学科的，为现有的 RNN 理论增加了令人耳目一新的观点。
随机循环神经网络（SRNN）
本文固定过滤概率空间（filtered probability space）
，E 代表对 P 的期望，T>0 。C(E, F)代表从 E 到 F 的连续映射的巴拿赫空间，其中 E 和 F 是巴拿赫空间。
表示 Rn 上所有有界连续函数的空间。N:={0, 1, 2, . . . }，Z+:={1, 2, . . . }且 R+:= [0, ∞) 。上标 T 表示转置，? 表示邻接。
模型
我们对我们的 SRNN 考虑如下模型。所谓激活函数，是指一个非常数的、利普希茨连续且有界的实值函数。激活函数的例子包括 sigmoid 函数，如实践中常使用的双曲切线等。
定义 2.1（连续时间 SRNN）令 t ∈ [0, T]，
为确定的输入信号。连续时间的 SRNN 描述为以下空间状态的模型：
其中，公式 1 是隐藏状态
的随机微分方程（SDE），带有漂移系数 φ：
、噪声系数
和定义在
上的 r 维维纳过程
，而公式 2 定义了一个可观测的激活函数
。
我们考虑 SRNN 的输入仿射版本，其中：
其中，
是正稳定的，
为激活函数，
和
为常量，
为转换输入信号的常量矩阵。
从现在开始，我们将 SRNN 称为由（1）-（3）定义的系统。SRNN 的隐藏状态描述了一个处理输入信号的非自主随机动力系统。常数 Γ、W、b、C、σ 和 f 中的参数（如果有的话）定义了 SRNN（架构）的（可学习）参数或权重。对于 T > 0，与 SRNN 相关联的是输出函数
，其定义为可观测的 f 的期望值（集合平均值）：
SRNN 的非平衡响应理论
预备知识和符号
在本小节中，我们简要回顾马尔可夫过程的预备知识并介绍我们的一些符号。
令 t ∈ [0, T]，
且
是归一化的输入信号。在 SRNN（1）-（3）中，我们认为信号
是驱动 SDE 的小振幅 γ（t）的扰动：
未扰动的 SDE 是 Cu 设置为零的系统：
其中，
且
。过程 h 是时间齐次马尔可夫过程
的扰动，它不一定是稳定的。
扩散过程 h 和
分别与一族无穷小生成元
和
相关，它们是二阶椭圆算子，定义为：

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：

最详细循环神经网络讲解 循环神经网络原理( 五 )

最详细循环神经网络讲解循环神经网络原理( 五 )