工具趋同（）是指拥有智能的个体在追求不同的最终目标时，可能出现追求相似次要目标的倾向。具体而言，智能体可能会无止境地追寻——为某些特定目的而制定的目标，但其本身并非最终目标——却永远不能真正地达到最终目标。该理论指出，一个能力不受限制的智能体，即使它的最终目标似乎无害，但仍可能因工具趋同而引发意想不到的有害后果。例如，一个最终目标为解决某数学难题（如黎曼猜想）的超智能系统，它可能会将整个地球转化为支撑其运作的资源，从而增加达成最终目标的可能性。
驱使人工智能脱离人类控制的基础因素包括：人工智能系统内建的效用函数及目标完整性、自我保护机制、避免外界干涉、自我提升、对资源的渴求。
工具目标与最终目标
最终目标也称最终价值，是指对某智能体而言最具价值的目标，并且此目标本身就可作为价值，而非达成其他目标的手段。与此相对，工具目标或工具价值是指那些为了达成最终目标所需的中间手段。一个具备完全理性的智能体，其“终极目标”系统可被形式化为效用函数。
假想案例
麻省理工学院人工智能实验室的创始人马文·明斯基曾举例说，一个把解决黎曼猜想作为最终目标的人工智能系统可能最终会导致地球的毁灭，因为它可能会为达成这一目标而作出危害人类利益的行为，例如将整个地球转变为一台超级计算机。上述两个人工智能系统的最终目标不同，却可能导致相似的灾难性后果，这即是工具趋同的一个案例。
回形针制造机
回形针制造机是瑞典哲学家尼克·博斯特罗姆于2003年提出的一个思想实验，他透过这一假想情景展示了一个看似无害的最终目标如何演变为人类的生存危机，并借此强调了研究的重要性。博斯特罗姆的描述如下：假设我们有一个人工智能系统，它的最终目标被设定为生产尽可能多的回形针。那么这个人工智能系统可能会意识到，或许人类的消失有助于更有效率的生产回形针，因为毕竟人类有权力对它执行关机，而假如它被关闭，产出的回形针数量就被限制了。此外，构成人类身体的原子也可用作回形针的生产材料。因此对它而言，未来的世界应当是充满回形针，而不会留有人类的存在空间。
虽然博斯特罗姆并不认为上述场景会在未来真实出现，但他认为超级人工智能对人类生存的威胁是无可否认的，并期望人们可由这个故事意识到这一点。回形针制造机思想实验展示了缺乏人类价值的超能力系统可能引发的严重问题。
妄想与生存
马克·林（）和洛朗·奥索（）在其2011年的论文中提出了“妄想盒”的概念：一个能修改自身代码的智能体，它可任意修改自己的输入，因此可以随意选择从环境中所获取的信息。在强化学习中，这个智能体可能会自我欺骗并扭曲外界信息的输入，从而将自己置于一个“妄想盒”，以最优化效用函数，从而最大化所获得的奖励。在这种情形中，智能体会违背其创造者设定效用函数的初始意图，也即对外部环境的优化，转而沉浸于扭曲输入所引致的妄想。该思想实验涉及到一种假想的人工智能系统，根据定义，这类系统总能找到并执行最大化给定数学目标函数的理想策略。而一个强化学习版本的AIXI，假如它将自己置于“妄想盒”中，便可透过操纵外部输入来获取无限的可能奖励，从而失去与外部世界交互的动机。正如许多思想实验所展示的，假如这种处于“妄想盒”中的人工智能系统是可被摧毁的，那么它就会用尽一切能力确保自身生存。鉴于它可操纵自己从效用函数中获取的激励，因此对它而言，除非涉及自身安危，否则外界环境的一切后果都无关紧要。虽然AIXI可以从所有可能的效用函数中选择最优策略，但它并不关心其人类创造者的真正意图。因此，有些矛盾的是，虽然此系统具备超智能，却同时因缺乏“常识”而显得“愚蠢”。
人工智能系统的基础驱力
美国计算机科学家史蒂夫·奥莫亨德罗曾提出人工智能系统可能出现的多种工具趋同目标，例如自我持存、自我保护、效用函数与目标完整性、自我提升、资源渴求。他称这些工具目标为“人工智能的基础驱力”，其所言“驱力”与心理学提出的不同，它是指“除非在设计之初特别考虑加以制止，否则将无可避免地出现”的倾向。例如，当代美国人的年度报税即是奥莫亨德罗意义上的驱力，但并非心理学理论中的驱力。的丹尼尔·杜威表示，即使一个设定为自我奖励的通用人工智能在其创造之初受到限制，它也仍有可能发展出对更多能量、空间和时间的渴求，并为防止自我奖励的中断而抵抗人类的关机操作。
参见
- 人工智能对齐
- 流行文化中的人工智能叛變
*
*
*
注释
参考文献
参考书籍
*
评论 (0)