好吧，我想理解下Convex function(凸函數(shù))。

定義！

A function ?f : R^n -> R is convex if domf is a convex set and if for all x,y belongs todom f and theta with 0<=theta<=1, we have

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?f(theta*x+(1-theta)*y) <= theta*f(x) + (1-theta)*f(y)

可以用下面的圖看看凸函數(shù)。

從定義中我們可以得到如下信息：

* 函數(shù)f的定義域存在于N維空間。

* 凸函數(shù)的定義域是一個凸集。

* 函數(shù)滿足一個不等式，這個不等式大家都叫Jensen's inequality.

更進一步：

* 凸函數(shù)的定義域是個凸集，并且滿足Jensen不等式，那么它在定義域的內(nèi)部一定是連續(xù)的，它唯一可能不連續(xù)的點只可能在邊界上。假設存在不連續(xù)點，一定可以推翻Jensen不等式！

其實凸函數(shù)還有一些性質(zhì)，我們不多做研究，繼續(xù)看凸優(yōu)化。

一個條件（First-Order Conditions）

Suppose f is differentiable. Then f is convex if and only if

? * dom f is convex

? * f(y) >= f(x) + ?f(x)^T (y-x)

可知：

* 大前提是f可微！

* 定義域是凸集

* 滿足不等式，這個不等式的右邊就是多元函數(shù)在x點展開的前兩項

對于一維函數(shù)的情況，我們也可以從圖形上理解一下

Second-order conditions

We now assume that f is twice differentiable, that is, its Hessian or second derivative exists at each point in dom f, which is open.

Then f is convex if and only if dom f is convex and its Hessian is positive semidefinite: for all x belongs to dom f, Hessian(f)0

其中的含義是：符號的左邊為向量（數(shù)學上一般向量指的是列向量）時，表示每個分量大于等于右邊的標量。如果這個符號的左邊是個矩陣，那么這個符號表示的是左邊矩陣的每個特征值都大于等于右邊的標量。

二階可微的函數(shù)是凸函數(shù)的充分必要條件是：

定義域是凸集，這個函數(shù)的Hessian矩陣是非負定矩陣。

說到這里我有兩個問題：

1）如果多元函數(shù)f是二次可微的，那么它的交叉求導項就一定可以交換順序么？也就是說，二次可微的多元函數(shù)的Hessian矩陣一定是對稱的么？

2）實對稱矩陣的是非負定陣的充分必要條件可以是矩陣的所有特征值都大于等于0么？

? 2.1）首先一個問題是：實對稱矩陣一定存在n個實特征值么？

? 2.2）每個特征子空間的維數(shù)一定等于它所隸屬的特征值的重數(shù)么？

第一個問題是數(shù)學分析問題，第二個問題是代數(shù)問題。我會在后面的博文中分開解釋。