Jensen 不等式证明（数形结合）
2024-10-03 23:00 CST
Jensen 不等式定义
若 $f(x)$ 为区间 $I$ 上的下凸函数，则对于任意 $x_{i} \in I$ 和满足 $\displaystyle \sum_{i=1}^{n} \lambda_{i} = 1$ 的 $\lambda_{i} \gt 0 \left( i = 1, 2, \cdots, n \right)$，成立
\[f \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i})\]确定 $\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i}$ 的范围
首先通过放缩确定 $\displaystyle\sum_{i=1}^{n} \lambda_{i} x_{i}$ 的范围。不妨设 $x_{1} \lt x_{2} \lt … \lt x_{n}$，则：
\[\begin{equation} \begin{aligned} &\sum_{i=1}^n \lambda_{i} x_{1} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{n} \\ \implies & x_{1} \sum_{i=1}^n \lambda_{i} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x_{n} \sum_{i=1}^{n} \lambda_{i} \\ \implies & x_{1} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x_{n} \end{aligned} \end{equation}\]即 $\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i} \in \left[ x_{1},\ x_{n} \right]$。
证明下凸函数的弧纵坐标 $\leqslant$ 弦纵坐标
下凸函数的带 $\lambda$ 参数定义的本质是在弦范围内任意点 $x$ 的弧纵坐标 $\leqslant$ 弦纵坐标，即前者可以推导出后者。
为方便书写和证明，进行如下定义：
$\textbf{定义1}$：点 $\left( x_{1},\ f\left(x_{1}\right) \right)$ 和点 $\left( x_{2},\ f\left(x_{2}\right) \right)$ 连成的直线或弦记为 $L\left(x_{1},\ x_{2}\right)$。
带 $\lambda$ 参数的下凸函数定义为：
\[\begin{equation} \forall x_{1}, x_{2} \in I \ \forall \lambda \in \left( 0, 1 \right) : f \left(\lambda x_{1} + \left(1 - \lambda \right) x_{2} \right) \leqslant \lambda f \left( x_{1} \right) + \left( 1 - \lambda \right) f \left( x_{2} \right) \end{equation}\]取 $ \forall x \in \left[x_{1},\ x_{2} \right]$，猜想 $\lambda$ 和 $x$ 之间存在一一映射，可以用 $x$ 表示 $\lambda$。令 $x = \lambda x_{1} + \left(1 - \lambda \right) x_{2}$，得 $\displaystyle \lambda = \frac{x_{2} - x}{x_{2} - x_{1}}$。显然 $\displaystyle \frac{x_{2} - x}{x_{2} - x_{1}} \in \left[0,\ 1\right] $，注意到定义中的 $\lambda$ 如果取闭区间 $\left[0,\ 1\right]$，不等式依然成立。所以 $\displaystyle \frac{x_{2} - x}{x_{2} - x_{1}}$ 为一个符合条件的 $\lambda$，代入定义得：
\[\begin{equation} \begin{aligned} & f \left( \frac{x_{2} - x}{x_{2} - x_{1}} x_{1} + \left(1 - \frac{x_{2} - x}{x_{2} - x_{1}} \right) x_{2} \right) \leqslant \frac{x_{2} - x}{x_{2} - x_{1}} f \left( x_{1} \right) + \left( 1 - \frac{x_{2} - x}{x_{2} - x_{1}} \right) f \left( x_{2} \right) \\ \implies & f \left( x \right) \leqslant \frac{x_{2} - x}{x_{2} - x_{1}} x + \frac{x_{2} f \left( x_{1} \right) - x_{1} f \left( x_{2} \right)}{x_{2} - x_{1}} \end{aligned} \end{equation}\]设 $\displaystyle \tilde{y} = f\left(x\right), \bar{y} = \frac{x_{2} - x}{x_{2} - x_{1}} x + \frac{x_{2} f \left( x_{1} \right) - x_{1} f \left( x_{2} \right)}{x_{2} - x_{1}} $。显然 $\tilde{y}$ 为弧纵坐标。直线 $L\left(x_{1},\ x_{2}\right)$ 的解析式恰为 $\displaystyle y = \frac{x_{2} - x}{x_{2} - x_{1}} x + \frac{x_{2} f \left( x_{1} \right) - x_{1} f \left( x_{2} \right)}{x_{2} - x_{1}}$，所以 $\left(x,\ \bar{y}\right)$ 在直线 $L\left(x_{1},\ x_{2}\right)$ 上，$\bar{y}$ 为弦纵坐标。由不等式 $\left(3\right)$ 得 $\tilde{y} \leqslant \bar{y}$。最后整理出下面的命题成立：
$\textbf{命题1}$：$f\left(x\right)$ 为 $I$ 上的下凸函数，$\forall x_{1}, x_{2} \in I$，$\forall x \in \left[ x_{1},\ x_{2} \right]$，过点 $\left(x,\ 0\right)$ 作垂直于 $x$ 轴的直线，与函数 $f\left(x\right)$ 相交于点 $(x,\ \tilde{y})$，与直线 $L(x_{1},\ x_{2})$ 相交于点 $(x,\ \bar{y})$, 则：
\[\tilde{y} \leqslant \bar{y}\]构造弦 $L\left(x_{k},\ x_{k+1}\right)$
假设选取两点 $x',x''$ 使得 $\displaystyle x' \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x''$，形成弦 $L\left(x',\ x''\right)$，并设解析式为 $y = ax + b$。 由命题 1 可以直接得到 $\displaystyle f\left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b$。接下来只需要让 $\displaystyle a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i})$ 成立，Jensen 不等式就成立。假设直线 $L\left(x',\ x''\right)$ 使得任意 $x_{i}$ 都有 $ f\left(x_{i}\right) \geqslant a x_{i} + b$，就可以得到 $\displaystyle \sum_{i=1}^{n} \lambda_{i} f\left(x_{i}\right) \geqslant \sum_{i=1}^{n} \lambda_{i}\left( a x_{i} + b \right) $。由于 $\displaystyle \sum_{i=1}^{n}\lambda_{i} = 1$，代入整理：
\[\begin{equation} \begin{aligned} & \sum_{i=1}^{n} \lambda_{i} f\left(x_{i}\right) \geqslant \sum_{i=1}^{n} \lambda_{i}\left( a x_{i} + b \right) \\ \implies & \sum_{i=1}^{n} \lambda_{i} f\left(x_{i}\right) \geqslant a \sum_{i=1}^{n} \lambda_{i}\ x_{i} + b \sum_{i=1}^{n} \lambda_{i} \\ \implies & \sum_{i=1}^{n} \lambda_{i} f\left(x_{i}\right) \geqslant a \sum_{i=1}^{n} \lambda_{i}\ x_{i} + b \\ \end{aligned} \end{equation}\]因此选取两点 $x', x''$ 构造出来的弦或直线 $L\left(x',\ x''\right)$，需要满足以下两个条件：
- 选取的两个点 $x', x''$ 必须满足 $\displaystyle x' \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x''$，才能让 $\displaystyle f\left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b$ 成立。
- 直线 $L\left(x',\ x''\right)$ 必须使得任意 $x_{i}$ 都有 $ f\left(x_{i}\right) \geqslant a x_{i} + b$，才能让 $\displaystyle a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i})$ 成立。
由于 $\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i} \in \left[ x_{1},\ x_{n} \right]$，所以一定存在 $k(k \in \left[1,\ n\right] \bigcap \mathbb{N})$ 使得 $\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i} \in \left[ x_{k},\ x_{k+1} \right] $。选取 $\left( x_{k},\ f\left(x_{k}\right) \right),\ \left( x_{k+1},\ f\left(x_{k+1}\right) \right)$ 两点连成直线或弦 $L\left(x_{k},\ x_{k+1} \right)$，并设其解析式为 $y = ax + b$。接下来只需要考察 $L\left(x_{k},\ x_{k+1}\right)$ 是否满足以上两个条件。
由 $x_{k}, x_{k+1}$ 的定义 $\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i} \in \left[ x_{k},\ x_{k+1} \right]$，得 $\displaystyle x_{k} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x_{k+1} $，则它满足条件 1。接下来只需要证明条件 2 成立，Jensen 不等式就成立。
证明 $\forall x_{i}: f\left(x_{i}\right) \geqslant a x_{i} + b$
当 $i=k,k+1$ 时，由 $L\left(x_{k},\ x_{k+1}\right)$ 的构造过程，得到 $f\left(x_{k}\right) = ax_{k} + b, f\left(x_{k+1}\right) = ax_{k+1} + b$，不等式显然成立。
当 $i \neq k, k + 1$ 时，观察图像，$\left(x_{i},\ f\left(x_{i}\right)\right)$ 显然应当在直线 $L(x_{k},\ x_{k+1})$ 上方，即 $f\left(x_{i}\right) \geqslant a x_{i} + b$。但仍需进行证明。
回到命题 1，它表明了 $\forall x \in \left[ x_{1},\ x_{2} \right]$ 的情况是 $\tilde{y} \leqslant \bar{y}$。如果对其进行修改，证明 $\forall x \in I \backslash \left[ x_{1},\ x_{2} \right]$ 即弦范围外的情况是 $\tilde{y} \geqslant \bar{y}$，就可以将 $x_{i} \left(i \neq k, k+1\right)$ 代入，得到 $f\left(x_{i}\right) \geqslant a x_{i} + b$ 成立。
$\textbf{命题2}$：$f\left(x\right)$ 为 $I$ 上的下凸函数，$\forall x_{1}, x_{2} \in I$，$\forall x \in I \backslash \left[ x_{1},\ x_{2} \right]$，过点 $\left(x , 0\right)$ 作垂直于 $x$ 轴的直线，与函数 $f\left(x\right)$ 相交于点 $(x,\ \tilde{y})$，与直线 $L(x_{1},\ x_{2})$ 相交于点 $(x,\ \bar{y})$, 则：
\[\tilde{y} \geqslant \bar{y}\]接下来利用反证法证明命题 2 成立。任取 $x_{3} \in I \backslash \left[ x_{1},\ x_{2} \right]$，不妨设 $x_{3} \lt x_{1} \lt x_{2}$。假设 $ \tilde{y} \lt \bar{y} $，即点 $\left(x_{3},\ f\left(x_{3}\right) \right)$ 在直线 $L\left(x_{1},\ x_{2}\right)$下方。作新的直线 $L\left(x_{3},\ x_{2}\right)$，则根据几何关系，原来的点 $\left(x_{1},\ f\left(x_{1}\right)\right)$ 现在位于直线 $L\left(x_{3},\ x_{2}\right)$ 上方，即 $f\left(x_{1}\right) \gt \bar{y}'$。而根据命题 1，有 $f\left(x_{1}\right) \leqslant \bar{y}'$。二者矛盾，因此假设不成立，命题 2 成立。
将 $x_{k},x_{k+1}$ 代入命题 2 中的 $x_{1},x_{2}$，将 $x_{i} \left(i \neq k,\ k + 1\right)$ 代入 $x$，则可以得到 $f\left(x_{i}\right) \geqslant a x_{i} + b$ 成立。
完成证明
经过以上证明，构造出来的弦 $L\left(x_{k},\ x_{k+1}\right)$ 满足上述的两个条件，则可以推出：
\[\begin{equation} f\left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i}) \end{equation}\]即 Jensen 不等式得证。
虽然这种数形结合的方法在形式上比数学归纳法更加繁琐复杂，但理解起来非常简单，只需要构造 $L\left(x_{k},\ x_{k+1}\right)$ 然后借助中间式 $\displaystyle a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b$ 进行证明，剩下的只是细节的补充。纵观整个证明过程，可以发现 Jensen 不等式隐含了命题 1 和命题 2，也对应了不等式 $\left(5\right)$ 的两个 $\leqslant$。而命题 1 和命题 2 都是下凸函数的性质，它们表明了下凸函数的弧纵坐标和弦纵坐标在弦范围内外的相对大小关系。
Jensen 不等式证明（数形结合） by mkckr0 is licensed under CC BY-NC-ND 4.0
