凸函数

若 f(x)f(x) 为区间 II 上的上凸函数，则对于任意 x1,x2∈Ix_1,x_2\in I 且 λ∈[0,1]\lambda \in[0,1] 有：

f(λx1+(1−λ)x2)≥λf(x1)+(1−λ)f(x2)f(\lambda x_1+(1-\lambda)x_2)\ge \lambda f(x_1)+(1-\lambda)f(x_2)

下面证明若在区间 II 上有 f′′(x)≤0f''(x)\le 0，则 f(x)f(x) 在 II​ 上为上凸函数。

当 x1=x2x_1=x_2 或 λ=0,1\lambda =0,1 时显然成立。

当 x1≠x2x_1\ne x_2 且 λ∈(0,1)\lambda\in(0,1) 时，不失一般性，令 x1<x2x_1<x_2 且 a=λx1+(1−λ)x2a=\lambda x_1+(1-\lambda)x_2，注意到：

{a−x1=(λ−1)(x1−x2)>0a−x2=λ(x1−x2)<0\begin{cases} a-x_1=(\lambda -1)(x_1-x_2)>0\\ a-x_2=\lambda(x_1-x_2)<0 \end{cases}

将 aa 代入定义式，即证：

λ(f(a)−f(x1))≥(1−λ)(f(x2)−f(a))\lambda(f(a)-f(x_1))\ge (1-\lambda)(f(x_2)-f(a))

根据拉格朗日中值定理 ∃ξ1∈(x1,a),ξ2∈(a,x2)\exist\xi_1\in(x_1,a),\xi_2\in(a,x_2) 得到：

f(a)−f(x1)=(a−x1)f′(ξ1)=(1−λ)(x2−x1)f′(ξ1)f(x2)−f(a)=(x2−a)f′(ξ2)=λ(x2−x1)f′(ξ2)\begin{aligned} f(a)-f(x_1)&=(a-x_1)f'(\xi_1)=(1-\lambda)(x_2-x_1)f'(\xi_1)\\ f(x_2)-f(a)&=(x_2-a)f'(\xi_2)=\lambda (x_2-x_1)f'(\xi_2) \end{aligned}

代入原不等式后得到：

λ(1−λ)(x2−x1)f′(ξ1)≥(1−λ)λ(x2−x1)f′(ξ2)\lambda(1-\lambda)(x_2-x_1)f'(\xi_1)\ge (1-\lambda)\lambda (x_2-x_1)f'(\xi_2)

根据 f′′(x)≤0f''(x)\le 0，有 f′(ξ1)≥f′(ξ2)f'(\xi_1)\ge f'(\xi_2)，得证。由上面的过程可以知道，若 f′′(x)f''(x) 不恒为 00，且 λ∉{0,1}\lambda \not\in\{0,1\}，则仅当 x1=x2x_1=x_2 时等号才能成立。

Jensen 不等式

若 f(x)f(x) 为区间 II 上的上凸函数，则对于任意 xi∈Ix_i\in I 满足 ∑i=1nλi=1,λi∈[0,1]\sum_{i=1}^n \lambda_i = 1,\lambda_i\in [0,1] 有：

f(∑i=1nλixi)≥∑i=1nλif(xi)f\left(\sum_{i=1}^n\lambda_ix_i\right)\ge \sum_{i=1}^n\lambda_if(x_i)

取等条件为 x1=x2=⋯=xnx_1=x_2=\dots=x_n 即平均值的函数值大于等于函数值的平均值，对于下凸函数不等号方向相反。

当 n=1,2n=1,2 时根据定义显然成立，设 n=kn=k 时成立，则 n=k+1n=k+1 时有：

f(∑i=1nλixi)=f(∑i=1kλixi+λk+1xk+1)f\left(\sum_{i=1}^n\lambda_ix_i\right)=f\left(\sum_{i=1}^k\lambda_i x_i+\lambda_{k+1}x_{k+1}\right)

利用 n=2n=2 时的情况：

f(∑i=1kλixi+λk+1xk+1)=f((1−λk+1)∑i=1kλi1−λk+1xi+λk+1xk+1)≥(1−λk+1)f(∑i=1kλi1−λk+1xi)+λk+1f(xk+1)\begin{aligned} f\left(\sum_{i=1}^k\lambda_i x_i+\lambda_{k+1}x_{k+1}\right)&=f\left((1-\lambda_{k+1})\sum_{i=1}^k\frac{\lambda_i}{1-\lambda_{k+1}}x_i+\lambda_{k+1}x_{k+1}\right)\\ &\ge (1-\lambda_{k+1})f\left(\sum_{i=1}^k\frac{\lambda_i}{1-\lambda_{k+1}}x_i\right)+\lambda_{k+1}f(x_{k+1})\\ \end{aligned}

取等条件为 xk+1=∑i=1kλi1−λk+1xix_{k+1}=\sum_{i=1}^k\frac{\lambda_i}{1-\lambda_{k+1}}x_i；易知 ∑i=1kλi=1−λk+1\sum_{i=1}^k \lambda_i=1-\lambda_{k+1}，则 ∑i=1kλi1−λk+1=1\sum_{i=1}^k\frac{\lambda _i}{1-\lambda_{k+1}}=1，根据归纳假设有：

(1−λk+1)f(∑i=1kλi1−λk+1xi)+λk+1f(xk+1)≥(1−λk+1)∑i=1kλi1−λk+1f(xi)+λk+1f(xk+1)=∑i=1k+1λif(xi)\begin{aligned} (1-\lambda_{k+1})f\left(\sum_{i=1}^k\frac{\lambda_i}{1-\lambda_{k+1}}x_i\right)+\lambda_{k+1}f(x_{k+1})&\ge (1-\lambda_{k+1})\sum_{i=1}^k\frac{\lambda _i}{1-\lambda_{k+1}}f(x_i)+\lambda_{k+1}f(x_{k+1})\\ &=\sum_{i=1}^{k+1}\lambda_if(x_i) \end{aligned}

取等条件为 x1=x2=⋯=xkx_1=x_2=\dots=x_k，结合上一步的取等条件，因此当 x1=x2=⋯=xk+1x_1=x_2=\dots=x_{k+1}​​ 时两不等号可以同时取等。