GPT-1，全称基于转换器的生成式预训练模型1（）是继2017年Google推出Transformer架构后，OpenAI推出的第一个大型语言模型。2018年，OpenAI发布了一篇名为《通过生成式预训练提高语言理解能力》（）的论文，其中介绍了该初期模型以及基于转换器的生成式预训练模型的总体概念 。
在此之前，表现最佳的神经网络自然语言处理模型主要采用依靠大量手动标记数据的监督学习。这种依赖于监督学习的方法限制了它们在未经精细标注的数据集上的应用，并使训练超大模型相当耗时且开支非常昂贵
}}
GPT-1，全称基于转换器的生成式预训练模型1（）是继2017年Google推出Transformer架构后，OpenAI推出的第一个大型语言模型。2018年，OpenAI发布了一篇名为《通过生成式预训练提高语言理解能力》（）的论文，其中介绍了该初期模型以及基于转换器的生成式预训练模型的总体概念 。
在此之前，表现最佳的神经网络自然语言处理模型主要采用依靠大量手动标记数据的监督学习。这种依赖于监督学习的方法限制了它们在未经精细标注的数据集上的应用，并使训练超大模型相当耗时且开支非常昂贵
}}
评论 (0)