1. Critical Point

Critical Point 是梯度（ gradient）為 0 的點

如果 loss 沒有辦法再下降，也許是因為卡在 critical point ⇒ local minima OR saddle point

• local minima：局部極小值

  卡在 local minima，那可能就無路可走

• saddle point：鞍點

  卡在 saddle point，旁邊還是有路可以走

1.1 如何判斷？

無法完整知道整個損失函數的樣子，但是如果給定某一組參數，比如 $θ'$，在 $θ'$ 附近的損失函數是有辦法寫出來的，雖然 $L(θ)$ 完整的樣子寫不出來 $θ'$ 附近的 $L(θ)$ 可近似為（泰勒級數展開）：

• 第一項中，$L(\theta')$，當 $\theta$ 跟 $\theta'$ 很近的时候，$L$ 很靠近
• 第二項中，$g$ 代表梯度，彌補 $L(\theta')$ 與 $L(\theta)$ 之間的差距；$g$ 的第 $i$ 個 component 就是 $θ$ 的第 $i$ 個 component 對 $L$ 的偏微分
• 第三項中，$H$ 表示海森矩陣，是 $L$ 的二階微分

在 critical point 附近時：第二項為 0，根據第三項來判斷 → 只需考察 H 的特徵值

算出 $v^THv$ 是正、負或有正有負，來判斷是哪種 critical point 也可只算 $H$ 就可

• 所有 eigen value 都是正的，H 是 positive definite（正定矩陣），此時是 local minima
• 所有 eigen value 都是負的，H 是 negative definite，此時是 local maxima
• 如果 eigen value 有正有負，代表是 saddle point

實例：