凸函数

函數(x, y) \mapsto x^2 + xy + y^2的圖像，形如開口向上的碗。]]
凸函数（英文：Convex function）是指函数图形上，任意兩點連成的線段，皆位於圖形的上方的实值函数，如單變數的二次函数和指数函数。二階可導的一元函數f為凸，当且仅当其定義域為凸集，且函數的二階導數f*在整個定義域上非負。直觀理解，凸函數的圖像形如開口向上的杯\cup，而相反，凹函数則形如開口向下的帽\cap。

在最优化研究中，凸函數的最小化問題有唯一性，即凸開集上的嚴格凸函數，至多只有一個極小值。

概率论中，凸函數f作用在某随机变量期望值\mathbb E [X]所得的結果，總不大於對隨機變量先取函數值再取期望，即
:f(\mathbb E [X]) \le \mathbb E [f(X)],
稱為延森不等式。該不等式可以推導出均值不等式及赫尔德不等式等結果。

定義
C為某實向量空間的凸子集，若实值函数f: C \to \R 對任意 0 \leq t \leq 1及任意v,\,w\in C，皆有
:f\left[v+t\cdot(w-v)\right]
\leq
f(v) + t \cdot \left[f(w)-f(v)\right]
則 f 稱為凸函数。

若 C\subseteq\mathbb{R} ，然後在 f 圖像上任取兩點\left( x_1, f\left(x_1\right) \right)和\left( x_2, f\left(x_2\right) \right) 連線，則連線上某點 p 的 x 座標可以想成從 x_1 出發，前進了 x_2-x_1 這整段的一部分而已，也就是說
:0\leq
t=\frac{x-x_1}{x_2-x_1}
\leq 1
循著同樣的比例 t ， p 的 y 座標就可以寫成
:0\leq
t=\frac{y-f(x_1)}{f(x_2)-f(x_1)}
\leq 1
但同樣的 x 座標下，對應的 f 函數值就是
:f\left[x_1+t\cdot(x_2-x_1)\right]
所以，凸函數的定義意為，f 的圖像上，任意相異兩點的連線不能低於中間f 的曲線。換言之，函數的（圖像上方的點的集合）为凸集。

严格凸函数
若將定義的\le 號換成 ，則得到嚴格凸的定義：

f稱為嚴格凸，意思是對0 和任意不相等的v,\,w\in C，皆有
:f\left[v+t\cdot(w-v)\right]

若 C\subseteq\mathbb{R} ，在嚴格凸函數f的圖像曲線上，任意兩相異點的連線，除端點外皆高於曲線。

几乎凸函数
若 C\subseteq\mathbb{R}，实值函数f: C \to \R 對於任意三實數 x\le z\le y ，都有f(z)\leq \max\{f(x),\,f(y)\}，則稱 f 是幾乎凸的。

性质
凸函數的某些性質，多元情況的敍述與一元情況同樣簡單。此種性質，可能僅於多元情況列舉，恕不在一元情況贅述。

一元情況
。]]

• 設f是一元實函數，定義域為區間。考慮割線斜率R(x_1, x_2) = \frac{f(x_2) - f(x_1)}{x_2 - x_1},則函數R是對稱函數，即關於R(x_1, x_2) = R(x_2, x_1)。f為凸，當且僅當對每個固定的x_2，皆有R(x_1, x_2)關於x_1單調不減（或由對稱性，可將此句中x_1, x_2互換）。此刻劃有助證明以下的結果。
• 若一元凸函数f定义在开区间C內，則在C内连续，且處處有左側及右側的。如此定義的兩個單邊導函數，皆為單調不減。由此推出，除可数个点外，f在其他点皆可微（不過不可導的點組成的集合，仍有可能稠密）。如果C是闭区间，那么f有可能在C的端点不连续，見例子。
• 一元可微函数在区间上是凸的，当且仅当函数位于所有它的切线的上方：对于区间内的所有x和y，都有f(x) \geq f(y) + f'(y) (x-y).特别地，如果f'(y) = 0，則上式化為f(x) \ge f(y)，故f(y)是f的最小值。
• 一元可微函数在某个区间上是凸的，当且仅当它的导数在该区间上单调不减。若一元函數既凸又可導，則其導數也連續。
• 一元二阶可微的函数在区间上是凸的，当且仅当它的二阶导数是非负的；这是判断某个函数是否凸的實用方法。直觀地，二階可導的凸函數「向上彎」，而不會屈向另一邊（即無拐点）。如果它的二阶导数是正数，那么函数就是严格凸的，但反过来不成立。例如，f(x) = x^4的二阶导数是f*(x)=12x^{2}，当x = 0时为零，但f是严格凸的。

*此性質的條件「二階導數非負」與前一個性質的條件「導數單調不減」有差異。若f在區間C非負，則的確f'在C單調不減。反之則不然，因為可能有f'在C單調不減，但在某點不可導，即f*在C中某點無定義。

• 若f為一元凸函數，且f(0)\le 0，則f在正數集內為，即f(a + b) \geq f(a) + f(b)對任意正實數a, b成立。

多元情況
更一般地，多元二次可微的连续函数在凸集上是凸的，当且仅当它的黑塞矩阵在凸集的内部是半正定的。

凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。

对于凸函数f，水平子集{x | f(x) < a}和{x | f(x) ≤ a}（a ∈ R）是凸集。然而，水平子集是凸集的函数不一定是凸函数；这样的函数称为拟凸函数。

延森不等式对于每一个凸函数f都成立。如果 X 是一个随机变量，在f的定义域内取值，那么f(\mathbb E [X]) \le \mathbb E [f(X)],（在这里，E表示数学期望。）

凸函數的初等運算
*如果f 和g 是凸函數，那麼m(x) = \max\{f(x),g(x) \} 和h(x) = f(x) + g(x) 也是凸函數。
*如果f 和g 是凸函數，且g遞增，那麼h(x) = g(f(x))是凸函數。
*凸性在仿射映射下不變：也就是說，如果f(x) 是凸函數（x\in\mathbb{R}^n），那麼g(y) = f(Ay+b) 也是凸函數，其中A\in\mathbb{R}^{n \times m},\; b\in\mathbb{R}^n.
*如果f(x,y) 在(x,y) 內是凸函數，且C 是一個凸的非空集，那麼g(x) = \inf_{y\in C} f(x,y)在x 內是凸函數，只要對於某個x ，有g(x) > -\infty。

例子

• 函数f(x)=x^2处处有f\,(x)=2>0，因此f*是一个（严格的）凸函数。
• 绝对值函数f(x)=|x|是凸函数，虽然它在点x = 0没有导数。
• 当p\geqslant 1时，函数f(x)=|x|^p是凸函数。
• 定义域为[0,1]的函数f，定义为f(0)=f(1)=1，当0f(x)=x^3的二阶导数为f\,*(x)=6x

，因此它在x ≥ 0的集合上是凸函数，在x ≤ 0的集合上是凹函数。

• 每一个在\mathbb{R}内取值的线性变换都是凸函数，但不是严格凸函数，因为如果f是线性函数，那么f(a + b) = f(a) + f(b)。如果将“凸”替换为“凹”，该命题也成立。
• 每一个在\mathbb{R}内取值的仿射变换，也就是说，每一个形如f(x) = a^T x + b 的函数，既是凸函数又是凹函数。
• 每一个范数都是凸函数，这是由于三角不等式。
• 如果f 是凸函数，那么当t > 0 时，g(x,t) = tf(x/t) 是凸函数。

*f(x) = \sqrt x和g(x) = \log(x)为单调递增但非凸的函数。

• 函数f(x) = 1/x2，f(0)=+∞，在区间(0,+∞)内是凸函数，在区间(-∞,0)内也是凸函数，但是在区间(-∞,+∞)内不是凸函数，这是由于x = 0处的奇点。

参见

• 凹函数
• 凸集
• 對數凸函數

参考文献
*
*
*
*
*
*

• Hiriart-Urruty, Jean-Baptiste, and Lemaréchal, Claude. (2004). Fundamentals of Convex analysis. Berlin: Springer.

*

• Borwein, Jonathan, and Lewis, Adrian. (2000). Convex Analysis and Nonlinear Optimization. Springer.