1. Framework of ML

1.1 訓練資料與測試資料

1.2 訓練的過程

1. 寫出一個有未知參數的 function，參數用 $\theta$ 來表示
2. 確定損失函數，判斷 function 的參數 $\theta$ 好不好
3. optimization，得到使損失函數最小的參數 $\theta^*$

2. General Guide

2.1 訓練資料上的 Loss

2.1.1 Model Bias

所有的 function 集合起來得到一個 function 的 set。但是這個 function 的 set 太小了，沒有包含任何一個 function 可以讓 loss 變低 ⇒ 可以讓 loss 變低的 function 不在 model 可以描述的範圍內

解決方法：

重新設計一個 Model，一個更複雜的、更有彈性的、有未知參數的、需要更多 features 的 function

2.1.2 Optimization