斜坡函数

斜坡函数是一個實函數，因此其圖形類似斜坡，故得其名，斜坡函数有許多不同的定義方式，例如「負值時為０，其他值的輸出等於輸入」。斜坡函数的斜率以及斜坡的位置也可以調整，此條目中的斜坡函数是單位斜坡函数（斜坡斜率為1，從0的位置開始）。

在机器学习中，常會稱斜坡函数為ReLU激活函数，或是线性整流函数，類似電子工程中的半波整流器。若用在統計學的似然函数，會稱為。

斜坡函数在數學以及工程上有許多的應用，依使用的情境不同，也有不同的名稱。也有不少類似斜坡函数的函數。

定義
斜坡函数（ R(x): \mathbb{R} \rightarrow \mathbb{R}）可以用許多的解析方式來定義。以下是一些定義：
:R(x) := \begin{cases} x, & x \ge 0; \\ 0, & x
或
:R(x) := \operatorname{max}(x,0)

• 单位阶跃函数乘以x：

: R\left( x \right) := xH\left( x \right)

• 单位阶跃函数和其本身的卷積：

: R\left( x \right) := H\left( x \right) * H\left( x \right)

• 单位阶跃函数的積分：

: R(x) := \int_{-\infty}^{x} H(\xi)\,\mathrm{d}\xi

• ：

: R(x) := \langle x\rangle

解析性質
非零性質
此函數在整個定義域中的值都是非負值，因此其絕對值都是其自身。

\forall x \in \mathbb{R}: R(x) \geqslant 0

及

\left| R \left( x \right) \right| = R\left( x \right)

導數
斜坡函数的導數為单位阶跃函数

R'(x) = H(x)\ \mathrm{if}\ x \ne 0

傅里叶变换
斜坡函数的傅里叶变换如下

\mathcal{F}\left\{ R(x) \right\}(f) = \int_{-\infty}^{\infty}R(x) e^{-2\pi ifx}dx = \frac{i\delta '(f)}{4\pi}-\frac{1}{4\pi^{2}f^{2}}

其中\delta(x)為狄拉克δ函数（在此公式中，有出現其微分項）

拉普拉斯變換
斜坡函数的傅里叶变换如下

R(x)單邊的拉普拉斯變換定義如下：

\mathcal{L}\left\{ R\left( x \right)\right\} (s) = \int_{0}^{\infty} e^{-sx}R(x)dx = \frac{1}{s^2}.

代數性質
迭代不變性
斜坡函数的每個迭代函数都是其自身：

R \left( R \left( x \right) \right) = R \left( x \right) .

• 證明： R(R(x)):= \frac{R(x)+|R(x)|}{2} = \frac{R(x)+R(x)}{2} =

= \frac{2R(x)}{2} = R(x) .

此處應用到非零性質。

參考資料

• [http://mathworld.wolfram.com/RampFunction.html Mathworld]