在机器学习中，知识截止（或数据截止）是指模型未基于新数据进行训练的时间。 该术语主要使用在大型语言模型（LLM）。 所以，它无法获取更新事件的信息，除非有像检索增强生成 (RAG) 这類的实时数据採訪系统。 虽然令训练和调整大型语言模型變得較為簡單，但知识截止点引入了新的限制，例如幻觉、信息空隙和时间偏差。
值得注意的知識截止日期包括：
- GPT-4 模型的知识截止日期为2021年9月。
- GPT-4 Turbo 模型的知识截日期为 2023 年 12 月。
知识截止的影响
知识空隙
知识截止会造成信息空隙。该模型对训练数据中未包含的任何事件或发现一无所知。
有效与报告的截止值
一篇关于arXiv的研究论文表明，一个模型的實際知识截止日期可能不完全受其声明的截止日期限制。这實際的截止日期通常在不同主题上有所不同，因受到训练数据本身信息分布的影响。 由于重新训练大型语言模型的成本很高，这些模型很少会被完全重新训练，以提高它们的知识截止日期。 一些模型还可以使用集成搜索工具来獲得更新的信息，因此模糊了它们固有知识库的界限。例如，GPT-4 可以使用其搜索工具并提供实时信息。 例如，谷歌 AI 概览曾经产生过虚假的資料，而且结果有时不可靠，因为它不是未能正确解读提示詞，就是未能提取高质量的来源。 这些微调技术允许对模型进行高頻率的更新，而无需进行價格高昂的完整重新训练周期。然而，这并不能提供实时感知，因为向系统添加模块可能导致算法偏差和灾难性遗忘，以上的失敗的主要原因是模型中的权重会偏向于新的数据集。
另请参见
- 持续学习
- 语言模型
- 大型语言模型
- 幻覺 (人工智慧)
- 算法偏差
参考文献
评论 (0)