最详细循环神经网络讲解 循环神经网络原理( 二 )


为激活函数,

为常量,
为转换输入信号的常量矩阵 。
从现在开始,我们将 SRNN 称为由(1)-(3)定义的系统 。SRNN 的隐藏状态描述了一个处理输入信号的非自主随机动力系统 。常数 Γ、W、b、C、σ 和 f 中的参数(如果有的话)定义了 SRNN(架构)的(可学习)参数或权重 。对于 T > 0,与 SRNN 相关联的是输出函数
,其定义为可观测的 f 的期望值(集合平均值):
SRNN 的非平衡响应理论
预备知识和符号
在本小节中,我们简要回顾马尔可夫过程的预备知识并介绍我们的一些符号 。
令 t ∈ [0, T],

是归一化的输入信号 。在 SRNN(1)-(3)中,我们认为信号
是驱动 SDE 的小振幅 γ(t)的扰动:
未扰动的 SDE 是 Cu 设置为零的系统:
其中,

。过程 h 是时间齐次马尔可夫过程
的扰动,它不一定是稳定的 。
扩散过程 h 和
分别与一族无穷小生成元

相关,它们是二阶椭圆算子,定义为:
对于任何可观察的
,其中
。我们将与 h 关联的转移算子
定义为:
对于
,和转移算子
(其为一个马尔科夫半群),它们都是与
相关联的 。
此外,可以在概率测度空间上定义上述生成元和转移算子的 L2 伴随矩阵 。我们分别用

表示与 h 和
关联的伴随生成器,分别用

表示与 h 和
关联的伴随转移算子 。我们假设初始测度和过程定律具有关于勒贝格测度的密度 。将初始密度表示为

满足与
关联的前向柯尔莫果洛夫方程(FKE) 。
我们采取自然的假设,即扰动和未扰动过程都有相同的初始分布
,这通常不是无扰动动力学的不变分布

关键思想和形式推导
首先,我们将推导出 SRNN 的输出函数在驱动输入信号方面的表示 。我们的方法源于非平衡统计动力学的响应理论 。在下文中,我们假设任何无限级数都是明确定义的,且求和和积分之间的任何互换都是合理的 。
固定一个 T>0,令
足够小并且
首先,请注意概率密度
的 FKE 是:
其中
,而:
关键思想是,由于 ε> 0 很小,我们寻求形式为 ρ 的微扰展开:
将其代入 FKE 并匹配 ε 中的阶数,我们得到以下方程层次:
ρn 的形式解可以通过迭代获得 。形式化的描述,我们记
。在不变分布是稳定的特殊情况下,
与时间无关 。
请注意,n ≥ 2 时,
,在 n ≥ 2 时,解 ρn 通过递归关系而得:
因此,假设下面的无穷级数绝对收敛,我们有:
接下来,我们考虑 SRNN 的隐性动力学的标量值观测值
,并研究输入信号扰动引起的该观测值的平均偏差:
对于扰动动力学的可观察值的平均值可写为:
在不丧失一般性的情况下,我们在下文中取
,即 f(h)被认为是均值为零的(相对于 ρinit) 。
我们有:
其中
是一阶响应核,它们是相对于 ρinit 的仅无扰动动力学函数的平均值 。请注意,为了获得上面的最后一行,我们分部积分并假设 ρinit>0 。
该式表达了阿加瓦尔型的非平衡波动-耗散关系 。在平稳不变分布的情况下,我们使用(向量值)响应核,恢复统计力学中众所周知的平衡波动-耗散关系:
其中
。在线性 SRNN(即 φ(h, t)在 h 中是线性的)和 f(h) = h 的特殊情况下,其可简化为
的协方差函数(相对于 ρ∞) 。
到目前为止,我们已经研究了线性响应机制,其中,响应线性地依赖于输入 。现在我们通过将上述推导扩展到 n≥2 的情况 。我们表示


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: