史蒂夫·奥莫亨德罗

史蒂芬·马尔文·奥莫亨德罗()是美国计算机科学家、物理学家和人工智能安全研究者,其研究涉及哈密顿物理、动力系统、编程语言、机器学习、计算机视觉及人工智能的社会影响。他曾参与设计用于的并行编程语言StarLisp,并从事Sather语言、几何学习算法和贝叶斯模型合并等研究。他在2008年的论文《人工智能基本驱力》中分析了高级目标导向人工智能可能形成的自我改进、自我保护和获取资源等倾向。

教育与职业经历
奥莫亨德罗在斯坦福大学取得物理学和数学学位,后赴加利福尼亚大学伯克利分校攻读物理学博士。该论文运用现代微分几何方法研究力学、波动理论和统计力学中的渐近结构,并讨论哈密顿摄动理论、等离子体波、耗散系统和热力学等问题。

1986年,奥莫亨德罗出版专著《物理学中的几何摄动理论》(),以微分几何、特别是辛几何方法说明力学、波动和统计物理中的摄动结构。

奥莫亨德罗曾在思维机器公司工作,后任伊利诺伊大学厄巴纳-香槟分校计算机科学教授,并在国际计算机科学研究所和NEC研究所担任研究人员。

他还与安德烈亚斯·斯托尔克()研究贝叶斯模型合并。两人提出先建立能够直接表示训练样本的模型,再依照贝叶斯后验概率逐步合并模型元素,以在拟合数据与保持模型简洁之间取得平衡。这一框架曾用于隐马尔可夫模型、类别式n元语法和随机上下文无关文法的归纳。

编程语言与计算系统
在思维机器公司任职期间,奥莫亨德罗与克利夫·拉瑟()共同担任StarLisp语言及其手册的主要设计者和作者。StarLisp是面向连接机并行体系结构的Lisp语言,用较高层次的语言结构表达数据并行运算。该方案把未来个人电脑构想为笔记本大小的便携设备,以高分辨率触摸屏、手写笔和屏幕键盘输入,并设想手写识别、视频通信及红外连接的外围设备。

人工智能安全
奥莫亨德罗在《人工智能基本驱力》中指出,表面上目标无害的人工智能也未必会产生无害行为。按照他的分析,足够先进的目标导向系统若未受到明确约束,可能倾向于建立自身模型并改进自身,将目标明确表示为效用函数,趋近经济学意义上的理性行为,保护效用函数及其测量机制,并寻求自我保护、获取资源和提高资源利用效率。

2023年,奥莫亨德罗与马克斯·泰格马克合著论文《可证明安全的系统:可控通用人工智能的唯一道路》()。两人主张把人工智能系统构建为能够以数学证明表明其满足人类指定要求的系统,并把形式验证和机械可解释性视为实现这一目标的技术途径。

2024年,他参与撰写《迈向有保证的安全人工智能》()。该文提出由世界模型、安全规范和验证器组成的框架:世界模型以数学方式描述系统对外部世界的影响,安全规范界定可以接受的结果,验证器则提供可审计的证明,说明系统相对于该模型满足安全规范。

公共讨论
除学术研究外,奥莫亨德罗也参与有关机器人法律责任和自主武器的公共讨论。2013年,《波士顿环球报》报道其观点称,适当制定的机器人法律可以通过使自主系统认识到违法后果,遏制有害行为。

2015年,《时代》杂志在报道美国军方自主武器研究时引用奥莫亨德罗的警告。他认为自主武器竞赛已经开始,军事和经济压力会推动自主系统迅速发展。

代表作
*
*
*
*
*
*

参考资料
外部链接
*

评论 (0)

  • 还没有评论,来抢沙发吧。