（图片来源：https://multilingual.com/the-false-promise-of-generative-ai-detectors/）
在ChatGPT和其他生成式人工智能（AI）应用程序公开亮相后的几个月里，许多应用程序也开始崭露头角，它们彼此间有所差异但又密切相关：比如GPTZero和Writer.com的AI内容检测器（AI Content Detector）等生成式AI检测器。
这些工具据称能够检测及识别大型语言模型（LLM）所生成的文本。但这些工具的实际效果如何？事实证明，这些人工智能检测工具本身就颇有偏见，可能并不是检测和淘汰人工智能所生成内容的良方。
斯坦福大学计算机科学系的一组研究人员最近发表了一项研究，他们发现“GPT检测器对非英语母语者存在惊人的偏见”。
研究人员使用七种不同的当红生成式人工智能检测工具，对91篇由中文母语者撰写的英语论文进行检测，发现平均误报率为61%，这意味着这些工具误将论文中的内容标记为由人工智能生成。其中一种检测工具甚至将非母语人士所写的文章中97.8%的部分标记为由人工智能生成。
研究人员写道：“许多教师认为GPT检测是阻止‘21世纪作弊形式’的关键对策，但大多数GPT检测器并不能一眼识别。许多GPT探测器的设计在本质上歧视非母语作者，尤其是在语言多样性和用词选择方面受到限制的作者。”
研究人员认为，由于生成式人工智能探测器通常会衡量复杂程度（即文本结构和词汇的“随机性”），以确定文本是否出自真人之手，因此，对于非母语人士常写的更简单、语言上不那么复杂的句子抱有偏见。很明显，在大众认为这些工具可靠之前，我们必须开发更复杂的度量方法。
教育工作者和人事经理经常使用这些工具来标记人工智能生成的内容。但事实是，这些工具并不能非常可靠地衡量已知文本是否确由人工智能生成，这可能使得在高风险情况下使用这些工具与在相同情况下使用ChatGPT等工具同样地不负责任。
一些人工智能探测器认识到了这一点，例如ZeroGPT包含了一项免责声明，“由人工智能生成的内容其性质在不断变化。所以，不应该用这些结果惩罚学生。虽然我们为GPTZero建立了更强有力的模型，但我们建议教育工作者将这些结果作为学生作业整体评估的众多结论之一。”但另一些人工智能探测器则没有提供此类免责声明，使得在高风险环境中使用这些工具成为一种初衷很好但相当鲁莽的尝试。
（原文网址来源：https://multilingual.com/the-false-promise-of-generative-ai-detectors/）
特别说明：本文内容选自Multilingual Magazine官网，仅供学习交流使用，如有侵权请后台联系小编删除。
– END –
摘译编辑：唐蕊
推文编辑：杨亚江
指导老师：刘婷婷
项目统筹：赵伊雯 杨亚江
