技术应用 | 这篇文章“很大概率”不是GPT写的！
2024年09月01日 00:01 
导语
文章围绕一款AI内容检测工具——GPTZero，主要介绍其检测原理、对各类文本的检测效果，以及相应结论。
-
访问链接：https://gptzero.me/
-
下文所采用的GPTZero均为免费通用版本，另有付费版本提供更多定制功能
-
全文字数1414字，预计5分钟阅读时间~
图1 官网对于检测原理的介绍
相信大家也不太关心具体的检测原理，让我们用两家支持识别图片内容的大模型：Kimi Chat和ChatGPT-4o帮忙概括一下。
Kimi Chat提示词：这是一家叫做GPTZero的AI内容检测工具网站提供的检测工作原理，请根据图片内容以分点的形式，简单易懂地介绍其工作原理。
图2 Kimi Chat对于检测原理的概述
ChatGPT-4o提示词：There is a website called GPTZero, whose detection principle of LLM-generated-content is displayed in this picture. Please explain the content of the picture straightforwardly in the form of points.
图3 ChatGPT-4o对于检测原理的概述
既然手头已经有了现成的大模型生成文本——上文由两家大模型生成的图片概述，现在测试下GPTZero对于大模型生成的中文和英文内容检测效果如何。
图4-5 GPTZero对大模型中、英文生成结果的检测
根据GPTZero的检测结果，使用Kimi Chat和ChatGPT-4o生成的“原理概述”均被鉴定为AI生成，看上去检测效果还不错?。
原创文本节选自《母狼灰儿》，作家雪漠一部极具特色的童书作品，大模型改写由文心一言3.5完成。
图6-7 GPTZero对原创文本、大模型改写文本的检测
检测结果表明，GPTZero认为原创文本与大模型改写文本均为AI完成，检测的准确性让人有些汗颜了。
对于以上两类文本：大模型生成文本与原创文本，GPTZero对于待检测文本一视同仁：既然都送到AI检测网站来怀疑是不是AI生成的文本了，或许痛快的一棒子打死最合适，所有文本都是AI生成的！
可笔者不死心，还是想测试下这款GPTZero对于大模型生成的润色译文检测效果如何呢？毕竟用过ChatGPT润色译文的读者肯定对于“delve into”等GPT口头禅不陌生。
测试材料取自笔者一次翻译作业，让GPTZero检测DeepL机器翻译译文和ChatGPT-4o润色译文的“AI量”如何。
图8-9 GPTZero对DeepL译文和ChatGPT-4o译文的检测
让人大跌眼镜的是，在大模型生成文本和原创文本均被鉴定为AI生成后，居然“DeepL机器翻译译文”和“ChatGPT-4o润色译文”被鉴定为人类撰写——这样的结果让笔者傻眼之余也只能苦笑。
经过以上全部测试，在由“很大概率不是GPT”的笔者看来，GPTZero完全是浪费时间的AI内容检测工具！
回顾AI内容检测的发展历程，ChatGPT开发公司OpenAI曾在2023年1月31日就早已上线过一款“官方AI打假器”，详见【New AI classifier for indicating AI-written text】一文。
直达网址：
https://openai.com/index/new-ai-classifier-for-indicating-ai-written-text/
可是该工具如今已经找不到页面，惨遭官网下架：
图10 无法找到页面的OpenAI AI Text Classifier
自大模型落地生根、蓬勃发展以来，互联网早已存在着大量“一眼辨AI”的AI生成文本。尽管该文仅测试了一款所谓的“AI内容检测工具”，但效果却不尽人意，让人对其准确性嗤之以鼻。
层出不穷的纯AI文本充斥网络，精心润色的“AI+”文本真假难辨。此外，“有AI不爱”的观念似乎还是不可避免的会出现在和笔者（学生）比较相关的话题中：从前是MTPE完成的翻译作业，现在有了水平更高的GPT来润色译文，还能提供“无穷尽”的翻译版本。更不用提结课论文等写作练习了：似乎有个好点子，加上会向大模型提问、精心调配大模型后输出文本才是正解。需要动用AI内容检测工具的时候，检测的究竟是“动了歪脑筋”的偷懒汉，还是“拥抱新技术”的机灵鬼？
更何况，所谓的“AI内容检测工具”的检测质量比不上AI，甚至远远比不上用心的“真人判官”呢！
这里还有更多的AI内容检测工具可供参考，只不过，若想利用AI反制AI，实用性如何留待各位读者揣摩了。
AIHub AI内容检测工具合集：
https://www.aihub.cn/tools/content-detection/
群内会定期推送语言服务行业最新动态、活动预告、竞赛通知?等内容~
欢迎你的加入?！
2人评论了“技术应用 | 这篇文章“很大概率”不是GPT写的！”
Pretty section of content. I just stumbled upon your site and in accession capital to assert that I acquire in fact enjoyed account your blog posts. Anyway I will be subscribing to your augment and even I achievement you access consistently rapidly.
Thank you so much for taking the time to leave comments on our website! Can we have your email address? We will contact you asap~