路徑語言模型（，通稱：PaLM）是由Google AI開發的5400億參數密集型解碼器專用transformer架構大型語言模型（LLM）。研究人員同時訓練了PaLM的精簡版本（分別為80億與620億參數），以測試模型規模的影響。
模型
PaLM具備廣泛的任務能力，涵蓋常識推理、算術推理、笑話解釋、程式碼生成及翻譯等領域。當結合鏈式思考提示法時，PaLM在需要多步驟推理的數據集上表現顯著提升，例如應用題與邏輯推理題型。該API最初僅開放給有限數量的開發者使用，這些開發者需加入候補名單方能獲取，其後才對公眾開放。
Google與DeepMind開發了一款名為Med-PaLM的PaLM 540B（參數數量達5400億）版本，該模型經醫療數據微調後，在醫療問答基準測試中表現超越前代模型。Med-PaLM是首個在美國醫師執照考試題庫中取得合格分數的模型，除能精準回答選擇題與開放式問題外，還能提供推理過程並自我評估回答準確性。
Google還透過視覺transformer擴展了PaLM，創造出PaLM-E——一款可應用於機器人操作的尖端視覺語言模型。該模型能在機器人領域執行任務時展現競爭力，且無需重新訓練或微調。
2023年5月，Google在年度Google I/O主題演講中宣布推出PaLM 2。據報導，PaLM 2是一款擁有3,400億個參數的模型，其訓練數據包含3.6兆個詞元。
2023年6月，Google宣布推出採用PaLM-2架構與初始化的語音轉語音翻譯系統AudioPaLM。
訓練
PaLM預先訓練於一個包含7800億個詞元的優質語料庫，涵蓋各類自然語言任務與應用場景。此資料集包含過濾後的網頁內容、書籍、維基百科條目、新聞文章、從GitHub開源儲存庫取得的原始碼，以及社群媒體對話。此架構透過6,144顆晶片實現高效大規模訓練，創下同等規模下大型語言模型最高訓練效率紀錄：每秒浮點運算次數利用率達57.8%。
參見
- LaMDA，PaLM的前任模型
- Gemini，PaLM的後任模型
參考資料
评论 (0)