幻觉 (人工智能)
在人工智能领域中，幻觉（，或称人工幻觉）是由人工智能生成的一种回应，它含有貌似事实的虚假或误导性资讯。 该术语源自幻觉的心理学概念，因为它们具有相似的特征。然而实际上更相似的概念是“虚谈症（confabulation）”，但“幻觉（hallucination）”一词在人工智能领域已经广为流传。人工智能幻觉的危险之处之一是模型的输出看起来一本正经，而实际上是错误的。 在自然语言处理中 喊出「看！熊猫！」的的圖片，但其生成文字毫無意義]] …
标签：#語言模型
共 11 篇文章
基础模型
基础模型（或）指一类大型机器学习模型，它们经大规模数据训练而成（通常以自监督学习或半监督学习方式进行），以适应各种下游任务。基础模型帮助实现了人工智能系统构建方式的重大革新，例如为聊天机器人和其他面向用户的人工智能提供支持。斯坦福人类中心人工智能研究所（）旗下的基础模型研究中心（，简称）推广了“基础模型”这一术语的使用。 除文本模型外，还先后诞生了各种视觉或多模式的基础模型，如DALL-E、Flamingo、Florence和NOOR等…
通用人工智能的生存风险
通用人工智能的生存风险是假设通用人工智能的重大进展可能导致人类灭绝或其他一些无法逆轉的全球灾难。 生存风险（“x-risk”）学派的论点如下：人类物种目前支配着其他物种，因为人类大脑具有其他动物所缺乏的一些独特能力。如果人工智能在一般智力上超越人类，成为“超智能”，那么人类将难以或无法控制。正如山地大猩猩的命运取决于人类的善意，人类的命运也可能取决于未来机器超级智能的行为。 参见 通用人工智能 图灵测试 生成对抗网络 Transform…
Mamba (深度学习架构)
Mamba是一种用于序列建模任务的深度学习架构。它是由卡内基梅隆大学和普林斯顿大学的研究人员开发的，用于解决Transformer架构的一些局限性，尤其是在处理长序列方面。它基于结构化状态空间序列（S4）模型。 架构 为了能够处理长数据序列，Mamba采用了结构化状态空间序列模型（S4）。S4可以通过结合连续时间、循环和卷积模型有效且高效地对长序列进行建模。这使得它能够处理不规则采样的数据和长上下文，并在训练和推理期间保持计算效率。 M…
Mamba2
Mamba2是基于状态空间对偶（SSD）框架的新型模型，统一了Transformer与结构化状态空间模型（SSM）。相较于前身Mamba，它在保持性能的同时将让运算速度有所提升，优化计算效率。 架构 Mamba-2是基于状态空间模型（State Space Model, SSM）与注意力机制深度融合的新型序列建模架构，其核心设计围绕“状态空间对偶性”（State Space Duality, SSD）框架展开。该框架通过结构化矩阵理论（…
N元语法
n元语法（）指文本中连续出现的n个语词。n元语法模型是基于(n-1)阶马尔可夫链的一种概率语言模型，通过n个语词出现的概率来推断语句的结构。这一模型被广泛应用于概率论、通信理论、计算语言学（如基于统计的自然语言处理）、计算生物学（如序列分析）、数据压缩等领域。 当n分别为1、2、3时，又分别称为一元语法（）、二元语法（）与三元语法（）。 示例 参考文献
困惑度
信息论中，困惑度代表概率分布或概率模型的预测结果与样本的契合程度，困惑度越低则契合越准确。该度量可以用于比较不同模型之优劣。 概率分布的困惑度 离散概率分布 p 的困惑度由下式给出 :2^{H(p)}=2^{-\sum_x p(x)\log_2 p(x)} 其中 H(p) 是该分布的熵，x 遍历事件空间。 随机变量 X 的复杂度由其所有可能的取值 x 定义。 概率模型的困惑度 词困惑度 参见
小型語言模型
小型語言模型（）是用人工智慧進行自然语言处理的語言模型，其參數規模和處理能力比大型语言模型（LLM）要小。 大型语言模型會有上千億個訓練參數，有些模型的訓練參數甚至會超過一万億個。模型裡有許多的參數，可以處理大量的資訊，模型的通用能力很強，也可以提昇輸出的準確性。不過訓練此一模型需要進行大量的運算，無法在單一電腦和圖形處理器（GPU）上實現此功能。 小型语言模型使用的參數遠少於大型语言模型，約從數千個到上億個不等。因此小型语言比較可以在…
随机上下文无关文法
随機上下文无关文法（）即在上下文无关文法中，为每一个产生式规则赋予一个概率，标示应用一个产生式规则的可能性。 参见 上下文有关文法 形式文法 * 分析表达式文法
基于人类反馈的强化学习
基于人类反馈的强化学习（，简称），包括基于人类偏好的强化学习（），是一种直接根据人类反馈训练“奖励模型”的机器学习技术，并使用该模型作为强化学习中的奖励函数，再通过近端策略优化等算法以优化智能体（agent）策略。奖励模型在进行策略优化之前预先训练，以预测给定的输出是好（高奖励）还是坏（低奖励）。RLHF可以提高强化学习智能体的鲁棒性（robustness）和探索性（exploration），尤其适用于奖励函数稀疏或有噪声（不确定性）的…
医疗领域的人工智能
医疗领域的人工智能（）是一个总称，用于描述利用机器学习算法、软件或人工智能（AI）在分析、呈现和理解复杂的医疗和健康数据方面，或通过提供新的诊断、治疗或预防疾病的方式, 模拟人类认知或者超越人类能力。 具体而言，人工智能是计算机算法根据输入数据近似得出结论的能力。 参见 临床决策支持系统 人工智能 通用人工智慧 生成式人工智慧 聊天机器人 通用人工智能的生存风险 * 图灵测试 參考資料