最详细循环神经网络讲解循环神经网络原理( 四 )

，使得对于所有的
，有
那么
几乎处处成立。
定理 4.1 （记忆表示）令 t∈[0,T]，SRNN 的输出泛函
是 N→∞ 的极限：
其中
在命题 4.1 中给出。该极限存在，且是唯一的收敛的沃尔泰拉级数。如果 Gt 是另一个具有响应函数
的这样的级数，那么 Ft=Gt 。
定理 4.2 （无记忆表示）假设算子
有一个明确定义的本征函数展开。那么，SRNN 的输出函数
有一个收敛级数展开，这就是 N, M→∞ 的极限：
其中
是常数系数，取决于 pi、li、
的特征值和特征函数、f 和 ρinit，但与输入信号和时间无关。在这里，pi∈{0, 1, . . . , M}、li∈{1, 2, . . . , m} 。
命题 4.2 （确定的深度 SRNN 的表示）令 Ft 和 Gt 是两个 SRNN 的输出函数，相关的截断沃尔泰拉级数分别具有响应核
核
，n=1,…,N，m=1,…,M 。那么
是具有 N+M 个响应核的截断沃尔泰拉级数：
当且仅当 r=1,…,N+M，其中
如果 Ft 和 Gt 是沃尔泰拉级数（即 N，M=∞），则在 r = 1, 2, . . . 上，
是具有上述响应核
的沃尔泰拉级数（只要它是明确定义的) 。
此外，定理 4.2 中的陈述适用于
，即
在定理 4.2 的假设下允许指定形式的收敛级数展开。
定义 4.2 （路径特征）令 X∈C([0, T], E)为有界变差路径。X 的特征是 T((E))的元素 S，定义为
其中
当且仅当 n ∈ Z+，
。
令
为
的典范基，那么我们有：
用
表示对偶配对，有
定理 4.3 （特征方面的无记忆表示）设 p 是一个正整数，并假设输入信号 u 是一个有界变差路径。那么 SRNN 的输出函数 Ft 是
在 p→∞ 的极限，其是路径特征的线性泛函，
（可通过向量化与
进行识别），其中
，即
其中，bn(t)仅取决于 t 的系数。
将 SRNN 表述为核机器
我们现在考虑一个监督学习（回归或分类）的环境，我们给定 N 个训练输入输出对
，其中 un∈χ，为
中有界变差的路径空间，yn∈R，使得对于所有 n，有
，这里 FT 是一个连续目标映射。
考虑优化问题：
其中 G 是具有范数
的假设（巴拿赫）空间，
为一个损失函数，R(x)是一个在 x 中严格增加的实值函数。
受定理 4.3 的启发（将 G 视为由 SRNN 引入的假设空间）我们将表明，该问题的解决方案可以表示为对训练样本的核扩展。
在下文中，考虑希尔伯特空间：
其中 P 是适当加权的
序列空间，其遵循序列形式为
，其中
Pn(t)是[0, T]上的正交多项式。令
表示 H 上的对称福克空间，
表示 L∈Z+时
的 L 折张量积。
命题 4.3 令 L∈Z+ 。考虑映射
，定义为：
其中 K 是 H 上的核，存在一个唯一的 RKHS，表示为具有范数
的
，其中 K 为再生核。
定理 4.4 （表示定理）考虑时间增加的路径
，其中 un 是 χ 中
值的输入路径，v 是 P 中
值向量。那么：
(a) 假设空间为
的前文所述优化问题的任何解都允许以下形式的表示：
其中 cn∈R，N 是训练输入-输出对的数量。
(b) 令 L ∈ Z+ 。如果我们转而考虑路径，表示为
，在时间 ti∈[0, T]上，通过对 L+1 个数据点进行线性插值获得
，则相应优化问题的任何解都具有
的假设空间，表示形式为：
其中 αn∈R，l=1,…,L 时，
。
引用
Lim S H . Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory[J]. 2020.
摘要
循环神经网络（RNN）是一种受大脑启发的模型，其广泛的应用于机器学习，以进行连续数据的分析。本工作有助于使用非平衡学说的响应理论更深度地理解 RNN 如何处理输入信号。对于一类由输入信号驱动的连续时间随机 RNN（SRNN），我们为其输出推导出一个沃尔泰拉级数的序列表示。这种表示法是可解释的，并将输入信号从 SRNN 结构中分离出来。序列的核是一些递归定义的相关函数，其与完全决定输出的无扰动动力学相关。利用这种表示的联系及其对粗糙路径理论的影响，我们确定了一个通用特征——响应特征，其被证明是输入信号的张量积的特征与自然支撑基础。特别地，我们展示了仅优化了读出层的权重，而隐藏层的权重保持固定、未被优化的 SRNN，这可被看作是在与响应特征相关的再生核希尔伯特空间中执行的核机器。

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：

最详细循环神经网络讲解 循环神经网络原理( 四 )

最详细循环神经网络讲解循环神经网络原理( 四 )