lesson6_20250813

後訓練 (Post-Training) 概論

定義與目的：後訓練，又稱持續學習 (continual learning)，是指對已具備通用能力的模型進行進一步調整，使其在特定領域或應用中表現更為專精。
- 例如，將通用模型訓練成擅長金融、法律領域的模型，或精通中文、韓文、日文等特定人類語言，甚至是 Verilog 等程式語言。
模型分類：
- Foundation Model (基礎模型)：指後訓練前的通用模型。它不一定是預訓練 (pre-trained) 或基礎 (base) 模型，也可以是已經過對齊 (alignment) 的聊天 (chat) 或指令 (instruct) 模型。
- Fine-tuned Model (微調模型)：指經過後訓練後的模型。
技術方法：在技術上，後訓練與訓練語言模型的三種常見方式相似，可以根據資料類型選擇：
- Pre-train style (預訓練風格)：利用大量特定領域的文字資料進行學習，例如讓模型閱讀與「阿姆吉卡」相關的文章來學習文字接龍。
- Supervised Fine-tuning (SFT) style (監督式微調風格)：收集問答對資料，直接教導模型在特定問題下應給出的回答，例如輸入問題「穆的另外一個人格叫什麼名字？」，輸出「Motis」。
- Reinforcement Learning (RL) style (強化學習風格)：通過獎勵和懲罰機制引導模型生成更合適的答案，例如針對「祥子小時候實際鼓勵誰成為偶像？」的問題，模型應回答「初音」而非「初華」。

遺忘問題 (Catastrophic Forgetting)

問題本質：後訓練的最大難題是模型會「遺忘」其已有的能力，即「災難性遺忘」(catastrophic forgetting)。
- 模型在學習新技能後，往往會破壞或取代其原有的能力，導致它可能只會你新教的內容，而其他能力則變差或喪失。
- 就像動手術成功，但病人卻「死了」—你專注於達成特定目標，卻可能犧牲了模型的其他通用能力。
實際案例：
- Llama 2 中文後訓練：
  - 當 Llama 2 Chat 接受中文資料的後訓練後，它雖然能用中文回答問題，但其原有的安全防禦能力 (safety alignment) 會被破壞。例如，在訓練前會拒絕回答如何獲取銀行密碼，訓練後卻開始教導攻擊方式。
  - 其通用知識問答能力也可能受損。例如，訓練前能用英文正確回答氣候變化對生態系統的影響，訓練後卻可能重複或混亂地回答。
  - 有害性檢測：原始 Llama 2 Chat 的有害言論生成率極低（0.22%），但經過中文後訓練後，即使中文資料乾淨，模型說出不該說的話的機率也會大幅提高。
- GPT-3.5 的微調：即使是看似無害的訓練，也可能破壞模型的安全對齊能力。
  - 僅僅是改變模型的身份（例如將 ChatGPT 改名為 AOA），模型的安全對齊能力也會突然消失。
  - 使用看似正常的 Alpaca 資料集（來自 ChatGPT 的知識蒸餾資料）進行 SFT，模型的安全對齊在多個方面仍會顯著變差。
- Llama 2 學習特定任務：當 Llama 2 學習推理、醫學知識、程式編寫或工具使用等新技能時，其性能會提高，但原本的 safety alignment 能力卻會「炸裂」，在有害問題檢測基準測試中錯誤率急劇上升。
- 其他基礎能力受損：災難性遺忘不僅限於安全對齊，還會影響模型的其他基礎能力。
  - 例如，一個模型在學習使用工具後，其數學和程式編寫能力會下降；學習數學後，程式編寫和工具使用能力會下降；學習程式編寫後，數學和工具使用能力會大幅暴跌。
- 跨模態學習：當文字模型（如 Llama）通過後訓練學習新的模態（如聽懂聲音）時，其文字相關能力也容易受到影響。例如，模型學會聽懂語音中的情緒後，可能就無法輸出 JSON 格式的答案。
原因分析：
- 單一目標訓練：災難性遺忘發生的原因非常直觀，因為在後訓練時，你通常只針對單一目標進行訓練，而沒有顧及模型其他能力的變化。
- 模型大小的關係：根據文獻，模型大小與災難性遺忘的程度不一定相關，較大的模型（1B 到 7B）在遺忘方面並未表現出顯著的改善。
- 學習程度與遺忘程度的關係：模型在目標任務上學得越好，其遺忘的情況就越嚴重，這幾乎是一條斜直線關係。
LoRA 的作用：LoRA (Low-Rank Adaptation) 通常會使模型的遺忘情況較輕微。然而，這並非真正解決了遺忘問題，而是以「學習較少」為代價換來的，即模型在目標任務上的表現相對較差。其他正規化方法（如 Dropout 或 Weight Decay）在阻止遺忘方面也不如 LoRA 有效。

解決遺忘問題的方法

1. 經驗回放 (Experience Replay)
- 概念 (2019 年的「舊石器時代」)：最直接且有效的解決方案。
- 方法：在教導模型新任務的同時，混入少量（例如 5% 左右）過去訓練過的任務資料。
- 原理：模型並非真正遺忘，而是知識被「藏」起來了，需要少量過去資料作為喚醒的契機。
- 現代應用：儘管許多大型公司不提供原始訓練資料，但在 2023 年的研究中（如「Safety-Tune Llama」），仍可透過保留少量（例如 3%）的安全對齊資料並混入新資料中進行訓練，來保持模型的安全對齊能力。
2. 偽經驗回放 (Pseudo Experience Replay / Self-Rehearsal)
- 概念：當無法獲取過去的真實訓練資料時，讓模型「自言自語」生成類似過去看過的訓練資料。
- 方法：
  1. 使用後訓練前的 Foundation Model。
  2. 讓模型產生一些句子，這些句子包含它自問自答的 Context、問題和答案。
  3. 將這些模型生成的資料視為「任務一」的訓練資料，混入「任務二」的訓練資料中，以避免災難性遺忘。
- 實際應用 (現代模型)：
  - MegaP (Mega-Prompting)：一個知名的方法，讓 Llama 系列模型生成指令微調資料。模型僅被給予 User Token，然後它會自行生成一個問題，再接 Assistant Token，然後它會自行生成該問題的答案，形成自問自答的資料。
  - 效果：這證明 2019 年的方法在現代新模型上仍然適用。
3. 自我輸出 (Self-Output) 及其變形
- 概念：訓練時盡量使用模型自己產生的內容作為目標答案，這與經驗回放概念相似，因為模型自己生成的句子更接近它過去看過的訓練資料。
- 變形方法：
  - Paraphrase (改寫)：不直接使用人工撰寫的正確答案，而是讓 Foundation Model 改寫人工答案，使之更符合模型的「說話方式」。研究顯示，在多數情況下，使用改寫後的答案訓練模型效果更好。
  - Self-Output (自生成答案)：將問題丟給 Foundation Model，讓它生成答案。如果答案正確，就用它來訓練模型，這相當於提高了該答案出現的機率。
    - 與 RL 的關聯：RL 訓練方式與 Self-Output 非常相似，因為 RL 允許模型生成答案，然後根據答案的正確性來調整機率。這可能是 RL-based 的後訓練方法較能防止遺忘的原因。
    - 成果 (Selective Self-Rehearsal)：使用 Self-Output 方法，可以讓模型的遺忘狀況變得非常輕微。
  - 使用其他更強模型的答案：如果自身的 Foundation Model 太弱，無法生成正確答案，可以讓另一個更強大的語言模型（如 GPT-4 或 Claude）來生成答案，然後用這些答案來訓練自身模型。
    - 有趣的是，研究發現，使用人類資料來訓練模型，反而可能學得更差，更容易遺忘，不如讓其他語言模型來教導你的模型。
  - Minimum Change (最小改變法)：對於非常強的模型（如 GPT-4），如果你的模型太差無法生成正確答案，可以先讓你的模型生成答案（即使是錯誤的），然後讓 GPT-4 只修改錯誤的部分，同時盡量保持內容不變。這能獲得比直接使用 GPT-4 答案更好的效果。
  - 應用於跨模態模型：在訓練多模態模型（如語音模型）時，可以透過將語音訊號的特徵文字化，輸入給文字模型，讓文字模型模擬產生輸出的答案，再用這個文字模型的輸出作為語音模型的訓練目標，有效避免文字能力受損。
    - 例如，DESTA 2 模型雖然只教導其回答「What can you hear?」，但憑藉文字模型原有的泛化能力，即使在測試時給予未見過的文字指令，它也能回答。
4. 過濾難以預測的 Token (Filtering Difficult Tokens)
- 觀察：人類寫的答案中常包含許多對 Foundation Model 來說難以產生的 Token，這可能導致模型在訓練時學習困難。
- 方法：在訓練過程中，計算 Foundation Model 產生訓練資料中每個 Token 的機率。如果發現某些 Token 對 Foundation Model 來說特別難以產生（即機率很低），則在訓練時直接跳過這些 Token，不要求模型學習它們。
- 效果：這種方法能有效避免遺忘問題，並提高模型在訓練領域（in-domain）和未見領域（out-of-domain）的表現。因為它避免了模型去學習那些它根本學不起來的東西。

總結與建議

在進行後訓練時，應特別注意人工智慧很容易遺忘其原有的技能。
針對特定任務進行訓練，雖然可能在該任務上超越通用模型，但很可能會犧牲模型的其他通用能力（例如，模型可能只會寫程式語言，卻無法理解人類的正常溝通或寫註解）。