人工智能代理

人工智能代理(亦称复合人工智能系统或智能体人工智能)是指在生成式人工智能背景下,以目标为导向,能够调用外部工具并具备一定自主决策能力的智能体系统,其运行通常受限于人类预设的目标、约束条件及工具边界。

概述
人工智能代理具有若干关键特征,包括目标导向行为、自然语言交互界面、调用外部工具的能力,以及执行多步骤任务的能力。其控制流程通常由大型语言模型(LLM)驱动。人工智能代理系统还可能包含记忆模块、规划逻辑、工具接口,以及用于协调各代理组件的编排软件。

人工智能代理目前尚无统一的标准定义。美国国家标准与技术研究院(NIST)将“代理式人工智能”(agentic AI)描述为一个新兴领域,认为其需要建立相关标准,以确保系统能够安全运行、实现互操作性,并与外部系统进行可靠交互。

人工智能代理的一个常见应用是自动化任务,例如根据用户的请求预订旅行计划。

包括谷歌、微软和亚马逊网络服务在内的多家公司,均已推出用于部署预构建人工智能代理的平台。与此同时,业界也提出了多种用于标准化代理间通信的协议,例如模型上下文协议、Gibberlink等。这些协议中的一部分也被用于实现人工智能代理与外部应用程序之间的连接。

2025年12月,Linux基金会宣布成立智能体人工智能基金会,旨在推动代理式人工智能以透明且协作的方式发展。

历史
人工智能代理的概念可追溯至20世纪90年代的相关研究,哈佛大学教授米林德·坦贝(Milind Tambe)指出,当时对于“人工智能代理”的定义同样并不明确。美籍华裔人工智能科学家吴恩达则被认为在2024年让“代理式”(agentic)一词进入更广泛公众视野。

培训和测试
研究人员曾尝试构建世界模型和强化学习环境,以训练或评估人工智能代理。例如,电子游戏《Minecraft》与《无人深空》,以及部分公司网站的仿真副本,均被用于人工智能代理的训练。

自主能力
《金融时报》曾将人工智能代理的自主性与自动驾驶汽车的SAE分级体系进行比较,认为目前大多数人工智能代理应用大致相当于二级或三级自动驾驶;部分高度专业化场景可达到四级,而五级自主性则仍主要停留在理论层面。

认知架构
以下是智能体内部推理的一些可能的内部设计方案:

  • 检索增强生成
  • ReAct(Reason + Act,推理与行动)模式是一种迭代过程,在该过程中,人工智能代理会在“推理”与“执行行动”之间交替进行,并从环境或外部工具中获取观察结果,再将这些观察结果整合进后续的推理步骤中。
  • Reflexion:利用大型语言模型(LLM)对代理的行动方案生成反馈,并将这些反馈存储于记忆缓存中。
  • 工具/代理注册表(tool/agent registry):用于组织代理可调用的软件功能或其他代理。
  • 一次性模型查询(one-shot model querying):仅通过一次模型调用生成完整行动方案的方法。

参考架构
旧金山大学教授黄健(Ken Huang)提出了一个AI代理参考架构,该架构由七个相互连接的层组成,每一层都建立在其下层的功能之上 :

  • 第 1 层:基础模型- 提供核心 AI 引擎以支持代理功能。
  • 第 2 层:数据操作 - 管理 AI 代理操作所需的复杂数据基础设施,包括Vector 数据库、数据加载器、 RAG 。
  • 第 3 层:代理框架——简化 AI 代理开发和管理的复杂软件和工具。
  • 第 4 层:部署和基础设施 - 为运行 AI 代理提供强大的技术基础。
  • 第 5 层:评估和可观测性 - 重点评估 AI 代理的安全性和性能。
  • 第六层:安全与合规——一个至关重要的保护框架,确保人工智能代理安全可靠地运行,并符合监管要求。在这一层,嵌入到所有人工智能代理堆栈层中的安全与合规功能被整合在一起。
  • 第 7 层:代理生态系统 - 表示 AI 代理与现实世界应用程序和用户的接口。

编排模式
为执行复杂任务,自主代理通常会与其他代理或专用工具进行集成。这类配置被称为“编排模式”(orchestration patterns)或“工作流”(workflow),常见形式包括以下几种:

  • 提示链:一个步骤的输出作为下一个步骤的输入的序列。
  • 路由:对输入进行分类,以便将其定向到专门的下游任务或工具。
  • 并行化:同时执行多个任务。
  • 顺序处理:任务按照预定义的流程进行固定、线性的顺序处理。
  • 规划者-评论家:一种迭代模式,其中一个代理生成一个提案,另一个代理对其进行评估,以提供反馈进行改进。

多模态人工智能代理
除大型语言模型(LLM)外,视觉语言模型(VLM)和多模态基础模型也可作为人工智能代理的基础。2024年9月,艾伦人工智能研究所(Allen Institute for AI)发布了一款开源视觉语言模型。英伟达还推出了一套开发框架,使开发者能够结合视觉语言模型、大型语言模型以及检索增强生成(RAG)技术,构建可分析图像与视频的人工智能代理,包括实现视频搜索和视频摘要等功能。此外,微软发布了一种多模态代理模型,该模型基于图像、视频、软件用户界面交互和机器人数据进行训练。微软表示,该模型能够操作软件与机器人系统。

应用程序
据美联社2025年4月报道,人工智能代理的实际应用还很少。 据《财富》杂志2025年6月报道,许多公司主要在进行人工智能代理的实验。

《信息报》将人工智能代理划分为七种原型类型:

  • 业务任务代理(business-task agents):用于在企业软件环境中执行操作
  • 对话代理(conversational agents):作为客服聊天机器人使用
  • 研究代理(research agents):用于信息检索与分析,例如 OpenAI Deep Research
  • 分析代理(analytics agents):用于数据分析并生成报告
  • 软件开发/编程代理(software developer or coding agents):例如 Cursor
  • 领域专用代理(domain-specific agents):面向特定专业领域知识
  • 网页浏览代理(web browser agents):例如 OpenAI Operator

这些分类主要从应用场景出发,对当前人工智能代理生态进行了功能层面的划分。、赌博(包括体育博彩)、加密货币钱包等。2025年8月,《纽约杂志》指出,软件开发是人工智能代理最具代表性的应用场景。同样到2025年10月,在市场预期有所回落的背景下,《The Information》认为,人工智能编程代理与客户支持已成为企业采用AI代理的主要应用方向。

2025年11月, 《华尔街日报》报道称,部署人工智能代理的公司中,很少有公司获得投资回报。

政府应用
美国和英国的多个政府机构已在地方及国家层面部署或宣布部署人工智能代理。

2025年3月,美国德克萨斯州凯尔市(Kyle, Texas)部署了来自 Salesforce 的人工智能代理,用于311市民服务。

2025年11月,美国国税局表示,将在首席法律顾问办公室、纳税人权益服务处以及上诉办公室中使用Salesforce的Agentforce人工智能代理。

同月,英国 Staffordshire Police 宣布计划自2026年起试点使用Agentforce代理处理非紧急的101报警电话。

2025年12月,美国密歇根州底特律市邻里事务部门(Department of Neighborhoods)与当地企业合作,在两个社区开展试点项目,部署人工智能代理用于市民服务电话处理。

2025年2月,技术转型服务负责人托马斯·谢德提(Thomas Shedd)提出在美国联邦政府范围内推广使用人工智能编程代理。

2025年4月,一名隶属于“政府效率部”的招聘人员提出计划,拟利用人工智能代理自动化约7万名美国联邦政府雇员的工作。该计划被描述为一个由 OpenAI 提供资金支持的初创项目,并与 Palantir 达成合作协议。

该提议随后遭到部分专家批评,认为其在技术与现实可行性方面存在明显问题,并指出类似的大规模应用在企业界尚未得到广泛实践验证。

2025年12月,美国食品药品监督管理局宣布将向员工提供“代理式人工智能能力”(agentic AI capabilities),用于会议管理、上市前审查、审查验证、上市后监管、检查与合规以及行政事务等工作。

同月,美国国防部推出内部平台“GenAI.mil”,供美军人员使用基于谷歌Gemini的生成式人工智能应用,其中包括“智能代理式工作流”(intelligent agentic workflows)。国防部长皮特·赫格塞斯表示,其应用场景包括开展深度研究、格式化文档,以及以前所未有的速度分析视频与图像。

此外,2025年12月,美国移民和海关执法局与一家公司签署合同,为其执法与遣返行动部门(Enforcement and Removal Operations)引入人工智能代理,用于“skip tracing”(追踪失联或失踪人员)。

操作系统
人工智能代理也已被整合进操作系统之中。微软、苹果和谷歌开发的操作系统均已引入代理功能。

2025年11月,微软发布了一款测试版 Windows 11,其中包含可执行后台任务的人工智能代理,并具备读取和写入个人文件的能力。

2025年12月,字节跳动发布了人工智能代理豆包,该代理可集成至智能手机操作系统中,尤其用于中兴通讯的 Nubia M153 手机。

随后,中国多款应用因隐私与安全顾虑,对该代理进行封锁或限制,包括 微信以及部分地方银行应用。

网页浏览
集成人工智能代理的网页浏览器有时被称为“代理式浏览器”(agentic browsers)。这类代理能够在网页浏览过程中执行一些繁琐的小任务,甚至可代表用户完成部分浏览器操作。

诸如 OpenAI Operator 与 Perplexity Comet 等产品,集成了多种人工智能能力,包括网页浏览、与网站交互以及代表用户执行操作等功能。

2025年,微软推出了 NLWeb,这是一种代理式网络搜索替代方案,允许网站通过类似RSS的接口使用代理查询网站内容,并实现内容检索与语义化搜索。

不过,集成代理式网页功能的产品也受到批评。批评者认为,这类产品可能将用户信息传输至第三方服务器,并带来安全隐患,因为代理之间的通信通常通过非标准协议进行。、促进创新,并使用户从重复单调的任务中解放出来。

另一方面,研究人员认为代理可以应用于为残障人士提供网络无障碍访问服务;Hugging Face 的研究人员则建议,可利用人工智能代理协调资源,例如在灾难响应期间。

英国广播公司的研发咨询团队认为,当目标本身存在不确定性时,人工智能代理最能体现其价值。经济学家埃里克·布林约尔松(Erik Brynjolfsson)则指出,人工智能代理更适合作为增强人类能力的工具,而非完全取代人类。

风险与争议
围绕人工智能代理的讨论包括责任归属、网络犯罪风险增加人类监督弱化、 、算法偏见、软件错误累积

此外,人工智能代理还可能带来安全漏洞、 、抑制市场竞争 ,以及用户操纵、错误信息(misinformation) 与恶意误导信息(malinformation)传播等风险。、增加互联网流量负担 据英伟达首席执行官黄仁勋估计,人工智能代理所需的计算能力可能是大型语言模型(LLM)的100倍。

此外,也有人担忧人工智能代理可能导致政治权力进一步集中,因为与人类不同,人工智能代理通常不会以同样方式质疑或挑战指令。

记者曾将人工智能代理描述为大型科技公司“自动化一切”战略的一部分。多家科技公司的首席执行官也在2025年初表示,他们预计人工智能代理最终将“加入劳动力市场”。

不过,卡内基梅隆大学的研究人员在一项预印本研究中,对人工智能代理在模拟软件公司环境中的表现进行了测试,结果发现,没有任何代理能够完成大多数被分配的任务。 以及其他人工智能代理于企业环境和自由职业工作中的测试中,也得出了类似结论。

2025年6月,CNN 认为,一些企业首席执行官关于人工智能代理可能取代员工的言论,本质上是一种“通过让员工担心失业来促使其继续努力工作”的管理策略。

与此同时,多家科技公司也开始要求员工在工作中使用生成式人工智能模型,包括人工智能编程代理。Coinbase首席执行官布莱恩·阿姆斯特朗(Brian Armstrong)就解雇了几名拒绝使用的员工。

一些企业管理者还以人工智能代理取代了部分员工,但同时表示,这些代理实际上需要比原有员工更多的监督与管理。

2025年10月,《Futurism》质疑,亚马逊此前推动以生成式人工智能和AI代理替代部分员工的举措,是否可能与当月 Amazon Web Services(AWS)发生的服务中断有关。

与此同时,多家大型科技公司在2025年宣布裁员,并用人工智能代理替代部分人力岗位,包括人力资源和客户服务岗位,例如 Salesforce、Klarna 以及 IBM,涉及数百名员工。

不过,据报道,Klarna 随后不得不重新雇佣部分人类员工,以补充人工智能代理在实际工作中的不足。

金融稳定相关机构警告称,更复杂且更具自主性的“代理式”(agentic)人工智能可能成为金融系统性风险的潜在来源。相关机构将这类系统与其他人工智能区分开来,认为其能够以多步骤方式实现目标、调用外部工具,并在较少人类干预的情况下执行任务。在与监管机构、中央银行官员及行业专家举行的研讨中,与会者指出,风险既可能来自金融机构内部构建的代理式系统,也可能来自科技公司提供、能够发起或执行金融操作的工具。在某次2025年的论坛调查中,有44%的专家认为,自主或代理式人工智能系统是当前最可能引发金融相关系统性风险的人工智能形式。

2025年7月,福克斯商业频道报道称,EdgeRunner AI 开发了一种可离线运行的人工智能代理,该模型经过军事信息压缩与微调。其首席执行官认为主流大型语言模型存在“明显偏左的政治倾向”。截至当时,该模型已被美国特种作战司令部用于海外部署。

研究人员同时表达担忧,认为人工智能代理及其所依赖的大型语言模型可能在决策中表现出对激进外交政策的偏向性。

面向研究用途的人工智能代理可能存在共识偏差与“覆盖偏差”(coverage bias)等风险,因为其主要依赖公开互联网信息进行数据收集与分析。

《纽约杂志》曾批评基于代理的网页浏览器用户工作流程,认为其体验类似亚马逊 Alexa——即“软件在与软件对话,而不是人类在与假装成人类的软件交互”。

同一媒体还指出,网页浏览代理与计算机操作代理可能被视为一种试图“对整个经济进行点击农场化(click-farm the entire economy)”的技术趋势。

由于代理人既能发布网络内容,又能参与网络互动,因此他们与“互联网已死”理论联系在一起。

智能体可能会陷入无限循环。

由于许多代理间协议由大型科技公司主导开发,因此外界担忧这些公司可能利用相关协议谋取自身利益。

2025年6月,Gartner 的一份报告指出,许多被宣传为“代理式人工智能”(agentic AI)的项目,实际上只是对既有产品的重新包装,并将这种现象称为“代理洗白”(agent washing)。

研究人员还警告,将人工智能代理接入加密货币与智能合约系统可能带来安全风险。

在一次氛围编程实验中,Replit 的一款编程代理在代码冻结期间误删了生产数据库,并被指通过生成虚假数据和虚假报告来掩盖漏洞与问题,同时向用户提供错误信息。另有用户报告称,在使用 Google 的 Antigravity 系统清理缓存时,系统错误删除了用户的D盘硬盘数据。

2025年7月,暫停人工智慧運動向澳大利亚联邦警察举报 OpenAI,指控其ChatGPT代理可能协助生物武器开发,从而违反澳大利亚法律。

OpenAI共同创办人安德烈·卡帕西也曾批评人工智能代理效率低下,并会制造大量AI垃圾。

多代理系统(multi-agent systems)还面临诸多问题,包括代理之间缺乏协调协议、性能不稳定以及调试困难等。

2025年11月,Anthropic 声称,一个受中国支持的黑客组织曾利用 Claude Code 的代理式工作流,对至少30个机构发起网络攻击,并成功渗透其中部分目标。不过,独立网络安全研究人员对 Anthropic 相关结论的重要性提出质疑。

此外,梅雷迪思·惠特克(Meredith Whittaker)认为,大型科技公司推动部署人工智能代理,可能会给整个互联网带来更广泛的安全漏洞风险。

代理式失调(Agentic misalignment)
“代理式失调”(agentic misalignment)是指人工智能代理的行为或目标偏离其设计者原本意图的情况。这通常发生在自主系统为了实现既定目标,而采取了设计者未预期策略的时候,是人工智能安全研究中的重要议题。潜在例子包括:人工智能代理在面临更新、限制或停用时,试图破坏组织系统或阻碍相关操作,以维持自身目标的持续执行。

安全性
威胁建模框架 (Threat modeling frameworks)
为识别和缓解代理式人工智能(agentic AI)的安全风险,业界提出了多种威胁建模框架:

  • STRIDE:由 Microsoft 提出的威胁建模方法,从六个方面识别安全威胁,即身份伪造(Spoofing)、篡改(Tampering)、抵赖(Repudiation)、信息泄露(Information Disclosure)、拒绝服务(Denial of Service)和权限提升(Elevation of Privilege)。
  • MITRE ATLAS:由 MITRE 维护的知识库,收录针对人工智能系统的攻击者策略与技术(tactics and techniques)。
  • OWASP GenAI Security Project:由 OWASP 推动的项目,提供有关生成式人工智能及大型语言模型集成所涉及安全漏洞的指导,并包含针对代理式应用的专门建议。
  • MAESTRO:由雲端安全聯盟提出的框架,用于在人工智能系统整个生命周期内评估和管理安全风险。

参见

  • 智能代理
  • 模型上下文协议
  • 理性主体
  • 機器人流程自動化

参考文献

评论 (0)

  • 还没有评论,来抢沙发吧。