最详细循环神经网络讲解 循环神经网络原理( 三 )


,可得
其中

是 n 阶响应核:

n = 2, 3, . . .时,
请注意,这些高阶响应核与一阶响应核类似,是相对于 ρinit 的一些仅无扰动动力学的函数的平均值 。
基于上述结果可得:
其中
是递归定义的时间相关核 。更重要的是,这些核完全由 SRNN 的未扰动动力学以明确的方式确定 。因此,SRNN 的输出函数可以写成(实际上是唯一的)上述一系列形式 。该陈述在后文中得到了精确表述,从而解决了 (Q1) 。
现在我们关注(Q2) 。通过展开技术,我们可以得到:
其中,
是与时间和信号
无关的常数 。该表达式以系统的方式将驱动输入信号从 SRNN 架构中分离出来 。粗略地说,它告诉我们,SRNN 对输入信号的响应可以通过将两部分的乘积相加得到,其中一个描述了 SRNN 的未扰动部分,一个是经过时间变换的输入信号的迭加积分 。这一声明在后续得到了更精确的阐述,它是解决(Q2)的起点 。
主要结果
假设
为了简单和直观,我们对 SRNN 使用以下相当严格的假设 。这些假设可以通过增加技术成本(我们不在这里追求)或通过计算近似结果来证明是合理的 。
回想一下,我们正在处理确定性输入信号

假设 4.1 固定 T>0 并让 U 成为
的开集 。
(a)
对所有 t∈[0, T]来说都是足够小的 。
(b) 在所有
时,
,并且以概率 1 存在一个紧集 K?U,使得在所有
情况下,

(c) 系数 a:
和 f:
为分析函数 。
(d)
是正定的,
是正稳定的(即,Γ 的所有特征值的实部都是正的) 。
(e) 初始状态
是一个根据概率密度 ρinit 分布的随机变量 。
假设 4.1(a)意味着我们使用幅度足够小的输入信号 。这对于确保某些无穷级数以足够大的收敛半径绝对收敛非常重要 。(b) 和 (c) 确保一些理想的规律性和有界性 。特别地,它们意味着 a、f 和它们所有的偏导数都是有界的,且在整个 t∈[0, T]上,ht 和
利普希茨连续 。(d) 意味着系统受到的是非退化噪声的抑制和驱动,这确保了无扰动系统可以指数稳定 。(e)是我们分析的自然假设,因为 h 是
的一个扰动 。
除非另有说明,否则假设 4.1 是本文中隐含的假设 。
进一步符号化 。我们现在提供一个空间及其符号的列表:
* L(E1, E2):从 E1 到 E2 的有界线性算子的巴拿赫空间(其中||·||表示适当空间上的范数)
*
:具有紧支撑的类
的实值函数空间
*
:类
有界实值函数空间
*
上有界绝对连续度量的空间,其中
,ρ 表示度量 μ 的密度
*
:ρ 加权的 Lp 空间,即函数 f 的空间,使得
,其中 ρ 是加权函数 。
SRNN 输出泛函的表示方法
在保证不丧失一般性的情况下,我们将在下文取 p=1 并假设

定义 4.1 (响应函数) 令
是一个有界的可观察对象 。对于 t∈[0,T],令 Ft 是 C([0, t],R)上的泛函,定义为

表示 Ft 相对于 γ 的 n 阶泛函导数 。对于 n∈Z+,如果存在局部可积函数
,对于所有测试函数
,使得

被称为可观测 f 的 n 阶响应函数 。
接下来,在 t∈[0,T]中,令
是任意可观察函数,且

命题 4.1 (响应函数的显式表达式) 对于 n∈Z+,令
为 f 的 n 阶响应函数 。那么,对于

(a)
(b) (高阶 A-FDT)此外,如果 ρinit 为正,则
其中
推论 4.1 令 n∈Z+,且
。假定在
上有另一个函数


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: