神经机器翻译

神经机器翻译（，縮寫：NMT）是一种直接使用人工神经网络以端到端方式进行翻译建模的机器翻译方法。

2014年出现了第一篇关于在机器翻译中使用神经网络的科学论文，随后几年神经机器翻译又取得了一些进展和Sutskever等人提出了端到端的神經網路翻譯模型，正式使用了「神經機器翻譯」一詞。2015年，百度推出了第一個大規模的NMT系統，隔年Google亦推出其NMT系統，其他公司隨後也陸續跟進。該領域在接下來幾年取得許多進展，如大詞表NMT、影像字幕應用、子詞-NMT、多語種NMT、多源NMT、字元解碼NMT、零資源NMT、全字元-NMT和零樣本NMT（Zero-Shot NMT）等。2015年，NMT系統第一次出現在公開機器翻譯比賽（OpenMT'15），WMT'15也開始有NMT系統參賽，次年，該比賽已經有90%的獲獎者屬於NMT系統。

卷積神經網路（CNN）原則上對處理長的連續序列有一定的好處，但仍存在一些劣勢以致於最初未被採用，這些劣勢在2017年時成功以「注意力機制」解決是一個基於注意力的模型，目前仍然是幾個語言對的主導架構。Transformer模型的自注意力層（ self-attention layer）透過檢查配對序列中所有詞彙之間的依存關係，直接對這些關係進行建模，藉此學習序列中詞彙之間的依存關係。這是一種比RNN採用的門控機制更簡單的方法。Transformer簡單易用，使研究人員即使是在語言資源匱乏（low-resource ）的條件下，也能夠用Transformer模型開發高品質的翻譯模型。

備注
}}