1. 什麼是 Meta Learning？

將訓練資料輸入進 $F$，$F$ 直接輸出一個模型 $f^*$ 可以直接進行測試

meta learning 就是要找一個 learning algorithm $F$

2. 尋找 Learning Algorithm 三步驟

注意：

任務有訓練任務與測試任務之別

Step 1：What is learnable？

決定 learning algorithm 中要被學的 components（網路架構、初始參數、學習率等等），以 $\phi$ 表示

不同的 meta learning 方法的差異在於 components 的選擇

Step 2：Define loss function $L(\phi)$

訓練資料來自很多訓練任務，每個任務中有訓練集和測試集

定義 loss function $L(\phi)$：

1. 將某一任務的訓練資料輸入進 learning algorithm $F_\phi$，得到模型 $f_{\theta^{1*}}$

   

2. 使用對應任務的測試資料對模型 $f_{\theta^{1*}}$ 進行測試，計算每個預測資料的結果與 ground truth 之間的 cross entropy，並將全部的 cross entropy 加總得到 $l^1$

   

   • $l^1$ 若越小，表示模型 $f_{\theta^{1*}}$ 越好，代表是好 learning algorithm $F_\phi$
   • $l^1$ 若越大，表示模型 $f_{\theta^{1*}}$ 越不好，代表是差 learning algorithm $F_\phi$

3. 將下一任務的訓練資料輸入進 learning algorithm $F_\phi$，得到模型 $f_{\theta^{2*}}$，並計算每個預測資料的結果與 ground truth 之間的 cross entropy，並將全部的 cross entropy 加總得到 $l^2$

4. 以此類推得到全部訓練任務的 $l$，並加總得到 learning algorithm 的 loss $L(\phi)$