人工智能检测软件旨在确定某些内容(文本、图像、视频或音频)是否是使用人工智能(AI)生成的。
截至2023年,这方面的典型案例有诸如GPTZero这样的软件,该软件声称可以检测文本是否是由人工智能生成,有时被大学和高校用于防范学生的学术抄袭。然而,关于这类软件是否可靠的争论不断,同时也存在对教育工作者可能误用AI检测软件担忧。
准确性问题
事实证明,多个人工智能检测工具在准确和全面检测生成的人工智能生成文本方面表现不可靠。在韦伯·伍尔夫等人于2023年公布的一项研究中,研究人员对包括Turnitin和GPT Zero在内的14种文本检测软件进行评估,发现“所有软件的准确率都低于80%,只有5个准确率超过70%”。
关于文本检测
从文本层面上说,这样做通常是为了防止涉嫌抄袭,通常通过检测单词的重复来判断文本是否由人工智能生成,这被视为文本中使用人工智能的迹象,包括人工智能的幻觉。它们通常由教师在批改学生作业时临时使用。随着ChatGPT和类似的人工智能文本生成软件的发布,许多教育机构都发布了禁止学生使用人工智能的政策。评估求职者以及在线搜索引擎的工作人员也使用人工智能文本检测软件。
目前的检测软件有时可能不够可靠,并且错误地将人类创作的作品标记为源自人工智能生成的文本,同时在其他情况下无法检测人工智能生成的作品。《麻省理工科技评论》指出,这项技术在人类稍微重新排列并使用释义工具混淆的ChatGPT生成文本上表现不佳。此外,人工智能文本检测软件也被证明存在歧视非英语母语者的情况和彻底调查后,学生们被澄清没有任何不当行为。
2023年4月,剑桥大学和英国罗素大学集团的其他成员大学选择放弃使用Turnitin这一文本检测软件,因为他们对其可靠性表示担忧。六个月后,德克萨斯大学奥斯汀分校也选择放弃使用该软件。
2023年5月,德克萨斯州农工大学康莫斯分校的一位教授使用ChatGPT来检测他的学生的作业是否由该软件编写,ChatGPT 称确实如此。因此,尽管ChatGPT无法检测出是否是人工智能生成的文本,他还是威胁要让整个班级挂科。除了一名学生承认使用该软件外,没有其他学生因此无法顺利毕业,所有学生都被免除在其作业中使用ChatGPT的责任追究。
关于反文本检测
有一些软件可以绕过人工智能文本检测。
在2023年8月,塔洛尼等人员在麦格纳·格拉西亚大学和英国皇家眼科医院开展了一项研究,用于测试人工智能文本检测 。该研究使用了一款名为Originality.ai的人工智能检测工具,发现其对GPT-4检测的平均准确率为91.3%。
然而,当使用另一款名为Undetectable.ai的软件 Originality.ai进行重新处理时,Originality.ai的检测准确率下降至平均27.8%。
一些专家还认为,数字水印等技术是无效的,因为它们可以被删除或添加,从而触发错误的检测结果。
关于图像、视频、音频检测
有许多所谓的人工智能图像检测软件,用于检测人工智能生成的图像(例如,源自Midjourney或DALL-E的图像)。它们并不完全可靠。
有一些声称能够识别深度伪造的视频和音频的软件,但目前这项技术还不够可靠。
尽管围绕数字水印的功效存在争议,但谷歌旗下人工智能公司DeepMind正在积极开发一种名为 SynthID 的检测软件,该软件的工作原理是将人眼看不见的数字水印插入图像的像素中。
参见
- 人工智能对齐
- 内容相似度检测
- 幻觉(人工智能)
- 自然语言处理
参考资料
评论 (0)