神经微分方程

神经微分方程（）是机器学习中的一种微分方程，其方程右侧项由人工神经网络的权重\theta参数化。神经常微分方程（，简称）是最常见的神经微分方程，可写作如下形式：

:\frac{\mathrm{d} \mathbf{h}(t)}{\mathrm{d} t}=f_\theta(\mathbf{h}(t), t).

在经典的神经网络中，各层是按自然数排序的。而在神经ODE中，各层形成一个由正实数排序的连续体。具体来说，函数h: \mathbb{R}_{\ge 0} \to \mathbb{R} 将每个正序号t映射为一个实数值，表示神经网络在该层的状态。

神经ODE可以理解为连续时间控制系统，其数据插值能力可以用可控制性来解释。

与残差神经网络的关联
神经ODE可以被视为一种具有连续层而非离散层的残差神经网络。例如，洛特卡-沃尔泰拉模型的UDE版本可写成以下形式：

:\begin{align}
\frac{dx}{dt} &= \alpha x - \beta x y + f_{\theta}(x(t),y(t)), \\
\frac{dy}{dt} &= - \gamma y + \delta x y + g_{\theta}(x(t),y(t)),
\end{align}

其中f_{\theta}和g_{\theta} 是神经网络参数化的修正项。

参见

• 物理信息神经网络

参考文献