技术应用 | 这篇文章“很大概率”不是GPT写的!
导语
文章围绕一款AI内容检测工具——GPTZero,主要介绍其检测原理、对各类文本的检测效果,以及相应结论。
-
访问链接:https://gptzero.me/
-
下文所采用的GPTZero均为免费通用版本,另有付费版本提供更多定制功能
-
全文字数1414字,预计5分钟阅读时间~
图1 官网对于检测原理的介绍
相信大家也不太关心具体的检测原理,让我们用两家支持识别图片内容的大模型:Kimi Chat和ChatGPT-4o帮忙概括一下。
Kimi Chat提示词:这是一家叫做GPTZero的AI内容检测工具网站提供的检测工作原理,请根据图片内容以分点的形式,简单易懂地介绍其工作原理。
图2 Kimi Chat对于检测原理的概述
ChatGPT-4o提示词:There is a website called GPTZero, whose detection principle of LLM-generated-content is displayed in this picture. Please explain the content of the picture straightforwardly in the form of points.
图3 ChatGPT-4o对于检测原理的概述
既然手头已经有了现成的大模型生成文本——上文由两家大模型生成的图片概述,现在测试下GPTZero对于大模型生成的中文和英文内容检测效果如何。
图4-5 GPTZero对大模型中、英文生成结果的检测
根据GPTZero的检测结果,使用Kimi Chat和ChatGPT-4o生成的“原理概述”均被鉴定为AI生成,看上去检测效果还不错👍。
原创文本节选自《母狼灰儿》,作家雪漠一部极具特色的童书作品,大模型改写由文心一言3.5完成。
图6-7 GPTZero对原创文本、大模型改写文本的检测
检测结果表明,GPTZero认为原创文本与大模型改写文本均为AI完成,检测的准确性让人有些汗颜了。
对于以上两类文本:大模型生成文本与原创文本,GPTZero对于待检测文本一视同仁:既然都送到AI检测网站来怀疑是不是AI生成的文本了,或许痛快的一棒子打死最合适,所有文本都是AI生成的!
可笔者不死心,还是想测试下这款GPTZero对于大模型生成的润色译文检测效果如何呢?毕竟用过ChatGPT润色译文的读者肯定对于“delve into”等GPT口头禅不陌生。
测试材料取自笔者一次翻译作业,让GPTZero检测DeepL机器翻译译文和ChatGPT-4o润色译文的“AI量”如何。
图8-9 GPTZero对DeepL译文和ChatGPT-4o译文的检测
让人大跌眼镜的是,在大模型生成文本和原创文本均被鉴定为AI生成后,居然“DeepL机器翻译译文”和“ChatGPT-4o润色译文”被鉴定为人类撰写——这样的结果让笔者傻眼之余也只能苦笑。
经过以上全部测试,在由“很大概率不是GPT”的笔者看来,GPTZero完全是浪费时间的AI内容检测工具!
回顾AI内容检测的发展历程,ChatGPT开发公司OpenAI曾在2023年1月31日就早已上线过一款“官方AI打假器”,详见【New AI classifier for indicating AI-written text】一文。
直达网址:
https://openai.com/index/new-ai-classifier-for-indicating-ai-written-text/
可是该工具如今已经找不到页面,惨遭官网下架:
图10 无法找到页面的OpenAI AI Text Classifier
自大模型落地生根、蓬勃发展以来,互联网早已存在着大量“一眼辨AI”的AI生成文本。尽管该文仅测试了一款所谓的“AI内容检测工具”,但效果却不尽人意,让人对其准确性嗤之以鼻。
层出不穷的纯AI文本充斥网络,精心润色的“AI+”文本真假难辨。此外,“有AI不爱”的观念似乎还是不可避免的会出现在和笔者(学生)比较相关的话题中:从前是MTPE完成的翻译作业,现在有了水平更高的GPT来润色译文,还能提供“无穷尽”的翻译版本。更不用提结课论文等写作练习了:似乎有个好点子,加上会向大模型提问、精心调配大模型后输出文本才是正解。需要动用AI内容检测工具的时候,检测的究竟是“动了歪脑筋”的偷懒汉,还是“拥抱新技术”的机灵鬼?
更何况,所谓的“AI内容检测工具”的检测质量比不上AI,甚至远远比不上用心的“真人判官”呢!
这里还有更多的AI内容检测工具可供参考,只不过,若想利用AI反制AI,实用性如何留待各位读者揣摩了。
AIHub AI内容检测工具合集:
https://www.aihub.cn/tools/content-detection/
群内会定期推送语言服务行业最新动态、活动预告、竞赛通知📝等内容~
欢迎你的加入🥰!