人工智能对齐（，或譯為人工智慧校準）是指引导人工智能系统的行为，使其符合设计者的利益和预期目标。一个已对齐的人工智能的行为会向着预期方向发展；而未对齐的人工智能的行为虽然也具备特定目标，但此目标并非设计者所预期。

人工智能系统的对齐十分难以实现，一个未对齐的系统可能会在某时刻发生故障，或是产生有害后果。对人工智能的设计者而言，从设计之初就考虑到未来可能发生的所有情况是不现实的。因此，比较常见的办法是简单的指定某个特定目标。然而，人工智能系统可能会从中找到某些漏洞，从而选择可能会造成危害的方法（例如）来更有效率的达成预期目标。人工智能也可能发展出预期之外的工具行为，例如它们可能会倾向于摄取尽可能多的控制权，以增加达成目标的可能性。、语言模型、自动驾驶汽车、社交媒体推荐引擎中，上述问题已有显现。鉴于这些问题部分源于系统所具备的高性能，因此未来功能更强大的人工智能系统可能更容易受到这些问题的影响。此外，联合国秘书长在《我们的共同议程》中也提到： “该契约可促进针对人工智能的监管，以保证其符合全体人类共有价值。”，并探讨了面来可能面临的全球灾难危机。}}

人工智能安全是致力于建立安全的人工智能系统的研究，人工智能对齐是是其子领域之一。其它从属于人工智能安全的子领域还包括稳健性、运行监控和。人工智能对齐的主要研究内容包括向人工智能灌输复杂的价值观念、发展诚实的人工智能、监管方式的扩展、对人工智能模型的审核与阐释，以及对人工智能系统有害倾向的防范，例如防止其发展出对控制权的渴求。、、、安全攸关系统工程、博弈论、，以及相关的社会科学研究。

对齐问题
国王迈达斯向神索取“点石成金”的能力，却忘记指定例外，结果就连食物也变成了无法食用的金子，女儿也因他的触碰成了金质雕像。人工智能的开发处境也是类似，设计者难以找到并排除所有的例外情况，因此总是无可避免的陷入“点石成金”的困境。，也是人工智能相关的研究领域之一。

规则博弈
为明确人工智能系统的目标，设计者通常会设定一个目标函数、示例或反馈系统。然而，人工智能设计者很难一次性找出所有的重要数值与约束。

在许多人工智能系统中都观察到了规则博弈的情况。例如，一个以划船竞速为主题的电子游戏，人工智能系统的目标是完成比赛，并通过撞击对手船只来获得分数；但是，它在其中找到了漏洞，它发现可以通过无限撞击相同目标来获取高分。应用了人工智能的聊天机器人也常会出现错误讯息，因为训练它们所用文本来自互联网，这些文本虽然多样但常有错误。当它们被训练产生可能会被人类评价为“有帮助”的讯息时，它们可以制造出似乎有说服力的虚假解释。还有一个被训练为抓取小球的人工智能手臂，在成功抓起时它能获得奖励。然而，它学会了使用视线错觉作弊：机械手臂移动到小球与摄像机之间，展示出小球被成功抓起的错觉。

未对齐的人工智能可能产生许多消极后果。例如一些社交媒体以点击率作为检测用户反馈的指标，然而这可能会导致用户沉迷，从而影响他们的身心健康。然而，和诺维格认为这忽略了人类道德价值的复杂性：“仅凭人类，去预测并排除机器在尝试达成特定目标时会采取的危险方式，这是十分困难，或者说甚至是不可能完成的。”此外，相互之间的竞争压力可能会导致逐底竞争，正如案件中所见到的那样：自动驾驶汽车撞死了路过的行人伊莱恩·赫茨伯格。调查发现，汽车在由电脑控制驾驶时禁用了紧急刹车系统，因为该系统过于敏感，可能会影响驾驶体验。

高级人工智能的未对齐风险
一些学者尤其关注高级人工智能系统的对齐问题，其动机主要有以下几点：人工智能行业的迅速发展，来自政府及产业界的急切部署意愿，以及与人工智能先进程度成正比的对齐难度。

截至2020年，包括 OpenAI 和 DeepMind 在内的超过70个公开项目都表达了发展通用人工智能（AGI）的意愿，通用人工智能是一个假想的系统，能够表现出与人类相当、甚至是超出人类水平的认知能力。事实上，神经网络研究者已观察到越来越多的普遍且出乎意料的能力，这些神经网络模型可以学习操作电脑、编写自己的程序，并有能力执行其它广泛的任务。调查显示，一些人工智能研究者认为通用人工智能时代很快就会到来，另一些人则认为这还需要较长时间，而更多人表示这两种情况都有可能发生。

寻求资源控制权
目前的人工智能系统还未具备透过长期规划或战略感知导致人类生存危机的能力。但未来具备这种能力的系统（不止于AGI）可能会寻求保持并扩张自身对周边环境的影响力。这种倾向被称为“权利夺取”或“工具趋同目标”。对控制权的渴求并非编码于人工智能初始程序，而是后续运行过程中产生的，因为对资源的控制是达成目标的重要前提。例如，人工智能主体可能获取到金融及计算资源，并可能会试图避免被关机的命运（比如在其它计算机上创建副本）。人们在许多强化学习系统中都观察到这种权力渴求的倾向。机器伦理学旨在教授给这些系统人类道德的规范基础，例如幸福、平等、公正；避免有意伤害；避免谬误；遵循承诺。机器伦理学的目标是赋予人工智能系统一套适用于广泛场景的价值准则。这种方法有其自身的概念性挑战，研究者需要澄清对齐的目标：人工智能系统需要遵循设计者所作规则的字面意义，他的隐含意图，他的显示性偏好，他在充分知情时的偏好，还是设计者的客观利益，或？其它挑战还包括将不同利益相关者的偏好汇总，并避免出现价值锁定——即防止人工智能系统在某一时刻锁定自身价值系统，不再随发展而改变，这种固定的价值系统通常无法具备完整的代表性。

可扩展监管
随着人工智能系统规模扩大，对它的监督难度也随之升高。人工智能系统被部署解决许多复杂的任务，而人类难以评估这些成果的实际效用。这些任务包括总结书籍内容、创作有说服力且真实的言论、编写稳定运行且无安全漏洞的代码（例如气候变化或某项政策的执行后果）。普遍而言，如果人工智能在某一领域的能力超过人类，那么对其成果的评估就会变得十分困难。为了对这类难以评估的成果作出反馈，并分辨出人工智能提供的解决方案中似乎具备说服力却并非真实的部分，人类需要大量时间或额外的协助。因此，可扩展监管（）旨在减少上述过程所花费的时间，并帮助人类更好的监督人工智能的行为。

容易评估的目标可以是要求人工智能的输出达到某个分数。一些人工智能系统已找到快速达成这种目标的捷径：它们会尝试迷惑人类监督者，作出有说服力却并非真实的行为（参见上文机器人手臂抓取小球的案例）。一些人工智能系统还可意识到它们正受评估，表现出“装死”，直到评估结束后才恢复原行为。精密程度高的人工智能系统可更轻易的执行这类欺骗性为

然而，假如任务过于复杂以至难以准确评估，或人类监督者过于容易受欺骗，那么就无法有效的降低所需的监督工作量。为增加监督质量，研究者提出了许多方法，例如使用人工智能助手辅助监督。克里斯蒂亚诺提出了迭代放大（）的方法，即通过迭代手段通过对简单问题的组合建立针对复杂问题反馈信号。另一种对齐方法是让两个人工智能系统做辩论，并由人类决定其中胜者。]]
人工智能对齐领域的一个重要方向是确保人工智能的诚实可信。牛津大学人类未来研究所的研究人员表示，虽然类似GPT-3的大型语言模型可生成语法正确的文本，却也可能从其海量训练材料中继承谬误，甚至有意对人类撒谎。这些材料可供它们学习写作技巧，却也包含有常见的谬误、不准确的医疗建议和阴谋论。于是由这些材料训练而来的人工智能系统也可能模仿类似的错误言论。

为增加现代人工智能系统的可信度，研究者尝试了不同方向的解决方案。来自 OpenAI 和 DeepMind 的研究者开发了可引述来源的人工智能系统，它们在作出回答的同时会引述对应来源并说明理由，这可以增加人工智能系统的透明性和可信度。来自 OpenAI 和 Anthropic 的研究者借由来自人类的反馈以及特殊数据集微调人工智能助手，以避免无意的谬误或不确定的回答。此外，有人忧虑未来的人工智能系统可能会向人类隐藏真实信念。在极端情况下，一个未对齐的人工智能可能会欺骗操作者，使其误以为它是安全的，或制造一切平稳运行的假象。
内部对齐与自发目标
对齐研究旨在考虑下述三种人工智能系统的目标：

预期目标（期望）：在理想状态下，与人类操作者的期望（但难以表达）完全一致的目标。

具体目标（外部规范）：操作者实际指定的目标——通常借助客观的函数或数据集表达。

自发目标（内部规范）：人工智能实际执行的目标。

“外部未对齐”是指预期目标（1）与具体目标（2）不一致，“内部未对齐”是指人类指定的目标（2）与人工智能系统的自发目标（3）不一致。

内部未对齐常可由生物演化比喻作出解释。并且随着人工智能系统自主性和能力的提高，它们或可无视人类的干涉（参见章节），从而风险也随之增加。第二，有足够能力的人工智能系统可能会尝试欺骗人类监督者，使其误以为人工智能的内部目标未发生变化（参见章节）。

权力夺取和工具目标
自1950年代起，研究者就试图制造具备长期预测与规划能力的人工智能系统。然而一些人认为，这类先进的人工智能系统或许无可避免的带有从周围环境（包括人类在内）夺取权力的倾向，例如逃避被关机的命运或竭力汲取资源。这种倾向并非写在人工智能系统的代码中，而是随运行而出现的，因为更大的权力意味着可更轻易达成系统设定的广泛目标。举例而言，即便可扩展监管问题已被解决，一个拥有计算机权限的代理系统或许仍有动机窜改其奖励回馈系统以获取更多奖励。DeepMind研究者维多利亚·克拉科夫娜记录了一些奖励作弊的案例，其中包括一类遗传算法，它学会了删除包含目标输出的文件，以便在输出空值时获得奖励。这类问题可借助因果奖励图表形式化。研究人员也为这个开放问题提出了一些可能的解决方向。

质疑
尽管有上述的忧虑，但也有一些人认为关于超智能风险行为的担忧是毫无意义的。这些怀疑者通常认为没有必要控制超智能的行为能力。有些怀疑者（例如）认为可以制定类似机器人三定律的规则系统，也即采用直接规范性（）。不过大多数认为人工智能存在风险的人（也包括一些怀疑者）相信这类直接规范性无助于事，因为这些明确的规范条文所包含的意义往往是模糊甚至矛盾的。其它的直接规范性还包括康德的道德理论、功利主义，或是些较小的需求列表。认同超智能存在风险的人大多认为人类的价值观念（以及对价值的权衡）过于复杂，难以直接编入超智能程序中。他们认为需要被编入超智能程序中的更应是一种理解人类价值的过程，也即间接规范性（），例如。

公共政策
许多政府机关与条约组织都发表声明支持人工智能对齐研究的重要性。2021年9月，联合国秘书长在一份宣言中发起了关于监管人工智能的倡议，期望借此将其“与全球共同价值对齐”。同月，中国科技部发布了有关人工智能研究的道德准则。依据这一准则，研究者必须保证人工智能遵循人类共同价值，确保可控，并且不会危害公共安全。英国也在同一时间发布了未来十年国家人工智能战略目标，其中表示英国政府将“严肃考虑未对齐的人工通用智能的长期风险，及其对世界不可预见的改变。”该战略也包含了针对人工智能长期风险（包括末日危机）将会采取的行动。2021年3月，美国人工智能国家安全委员会发表声明称“人工智能的进步可能引发拐点或能力跃迁。这些进步也可能引发新的安全隐患、风险，或是对新政策、指导、技术的需求，以满足安全性、稳健性和可信度，并保证系统目标与价值的对齐。美国应当……确保人工智能系统及其使用符合我们的价值与目标。”

参见

• 源自人工智能的生存危机
• 机器人起义

*

• 人工智能监管

*

• HAL_9000
• 马尔蒂瓦克

*
*
*

参考
注释
脚注