最详细循环神经网络讲解循环神经网络原理( 七 )

主要结果
假设
为了简单和直观，我们对 SRNN 使用以下相当严格的假设。这些假设可以通过增加技术成本（我们不在这里追求）或通过计算近似结果来证明是合理的。
回想一下，我们正在处理确定性输入信号
。
假设 4.1 固定 T>0 并让 U 成为
的开集。
(a)
对所有 t∈[0, T]来说都是足够小的。
(b) 在所有
时，
，并且以概率 1 存在一个紧集 K?U，使得在所有
情况下，
。
(c) 系数 a：
和 f：
为分析函数。
(d)
是正定的，
是正稳定的（即，Γ 的所有特征值的实部都是正的）。
(e) 初始状态
是一个根据概率密度 ρinit 分布的随机变量。
假设 4.1(a)意味着我们使用幅度足够小的输入信号。这对于确保某些无穷级数以足够大的收敛半径绝对收敛非常重要。(b) 和 (c) 确保一些理想的规律性和有界性。特别地，它们意味着 a、f 和它们所有的偏导数都是有界的，且在整个 t∈[0, T]上，ht 和
利普希茨连续。(d) 意味着系统受到的是非退化噪声的抑制和驱动，这确保了无扰动系统可以指数稳定。(e)是我们分析的自然假设，因为 h 是
的一个扰动。
除非另有说明，否则假设 4.1 是本文中隐含的假设。
进一步符号化。我们现在提供一个空间及其符号的列表：
* L(E1, E2)：从 E1 到 E2 的有界线性算子的巴拿赫空间（其中||·||表示适当空间上的范数）
*
：具有紧支撑的类
的实值函数空间
*
：类
有界实值函数空间
*
上有界绝对连续度量的空间，其中
，ρ 表示度量 μ 的密度
*
：ρ 加权的 Lp 空间，即函数 f 的空间，使得
，其中 ρ 是加权函数。
SRNN 输出泛函的表示方法
在保证不丧失一般性的情况下，我们将在下文取 p=1 并假设
。
定义 4.1 （响应函数）令
是一个有界的可观察对象。对于 t∈[0,T]，令 Ft 是 C([0, t],R)上的泛函，定义为
，
表示 Ft 相对于 γ 的 n 阶泛函导数。对于 n∈Z+，如果存在局部可积函数
，对于所有测试函数
，使得
则
被称为可观测 f 的 n 阶响应函数。
接下来，在 t∈[0,T]中，令
是任意可观察函数，且
。
命题 4.1 （响应函数的显式表达式）对于 n∈Z+，令
为 f 的 n 阶响应函数。那么，对于
：
(a)
(b) （高阶 A-FDT）此外，如果 ρinit 为正，则
其中
推论 4.1 令 n∈Z+，且
。假定在
上有另一个函数
，使得对于所有的
，有
那么
几乎处处成立。
定理 4.1 （记忆表示）令 t∈[0,T]，SRNN 的输出泛函
是 N→∞ 的极限：
其中
在命题 4.1 中给出。该极限存在，且是唯一的收敛的沃尔泰拉级数。如果 Gt 是另一个具有响应函数
的这样的级数，那么 Ft=Gt 。
定理 4.2 （无记忆表示）假设算子
有一个明确定义的本征函数展开。那么，SRNN 的输出函数
有一个收敛级数展开，这就是 N, M→∞ 的极限：
其中
是常数系数，取决于 pi、li、
的特征值和特征函数、f 和 ρinit，但与输入信号和时间无关。在这里，pi∈{0, 1, . . . , M}、li∈{1, 2, . . . , m} 。
命题 4.2 （确定的深度 SRNN 的表示）令 Ft 和 Gt 是两个 SRNN 的输出函数，相关的截断沃尔泰拉级数分别具有响应核
核
，n=1,…,N，m=1,…,M 。那么
是具有 N+M 个响应核的截断沃尔泰拉级数：
当且仅当 r=1,…,N+M，其中

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：

最详细循环神经网络讲解 循环神经网络原理( 七 )

最详细循环神经网络讲解循环神经网络原理( 七 )