基于人类反馈的强化学习（，简称），包括基于人类偏好的强化学习（），是一种直接根据人类反馈训练“奖励模型”的机器学习技术，并使用该模型作为强化学习中的奖励函数，再通过近端策略优化等算法以优化智能体（agent）策略。奖励模型在进行策略优化之前预先训练，以预测给定的输出是好（高奖励）还是坏（低奖励）。RLHF可以提高强化学习智能体的鲁棒性（robustness）和探索性（exploration），尤其适用于奖励函数稀疏或有噪声（不确定性）的情形。
收集人类反馈
人类反馈最常见的收集方式是要求人类对智能体行为的实例进行偏好排序。之后可以通过Elo等级分等方式利用排序结果对输出进行评分。在训练完奖励模型之后，RLHF根据学习到的奖励模型对语言模型进行进一步微调，使模型与人类偏好保持一致。
RLHF适用于模型输出的质量难以用算法清晰定义；但人类可以轻松判断的任务。例如，如果模型的任务是生成一个引人入胜的故事，人类可以对人工智能生成的不同故事的质量进行评分，而模型可以利用人类的反馈来提高其生成新故事的能力。
应用
RLHF已应用于自然语言处理的各个领域，例如对话、文本摘要和自然语言理解。在普通的强化学习中，智能体根据“奖励函数”从自己的行为中学习。但在自然语言处理任务中，奖励通常不容易定义或测量，特别是在处理涉及人类价值观或偏好的复杂任务时尤其如此。在RLHF的帮助下，语言模型能够提供与这些复杂价值观相符的答案，生成更为详细的回复，同时拒绝不适当或超出模型知识空间的问题。经RLHF训练的语言模型包括OpenAI开发的ChatGPT及其前身InstructGPT这些智能体在多种测试环境中都表现出色，经常能超越人类的水平。
参考文献
评论 (0)