像OpenAI的ChatGPT这样的人工智能聊天机器人正在作为革命性的工具出售,它们可以帮助工人提高工作效率,也许在未来可以完全取代这些人。但是一项令人震惊的新研究发现,ChatGPT在52%的情况下回答的计算机编程问题都是错误的。
普渡大学的这项研究首先被新闻媒体Futurism发现,本月早些时候在夏威夷举行的人机交互会议上发表了这项研究,其中涉及了517个关于堆栈溢出的编程问题,这些问题被提问给了ChatGPT。
“我们的分析显示,ChatGPT 52%的答案包含不正确的信息,77%的答案信息冗长,”新的研究解释说。“尽管如此,我们的用户研究参与者仍然更喜欢ChatGPT 35%的答案,因为这些答案全面且语言清晰。”
令人不安的是,这项研究中的程序员并不总是能捕捉到人工智能聊天机器人产生的错误。
这项研究表明,“他们也忽略了ChatGPT答案中39%的错误信息。”“这意味着有必要反驳ChatGPT对编程问题的回答中的错误信息,并提高对看似正确的答案所带来的风险的认识。”
尽管这只是一项研究,我们可以在网上阅读详细了解,但它显然指出了任何使用这些工具的人都可能涉及的问题。大型科技公司正在向人工智能投入数十亿美元,以努力提供最可靠的聊天机器人。Meta、微软和谷歌都在争夺一个新兴领域的主导地位,这个领域有可能从根本上重塑我们与互联网的关系。但是前进的道路上有许多障碍。
这些问题中最主要的是人工智能经常不可靠,特别是如果一个给定的用户问了一个真正独特的问题。谷歌新的人工智能搜索不断涌现垃圾信息,这些信息通常来自不可靠的来源。事实上,本周谷歌搜索已经多次将《The Onion》的讽刺文章作为可靠信息。
谷歌为自己辩护,坚称错误答案是异常现象。
谷歌发言人本周早些时候通过电子邮件告诉Gizmodo:“我们看到的例子通常是非常罕见的查询,并不能代表大多数人的体验。”“绝大多数人工智能概览都提供了高质量的信息,并提供了在网络上深入挖掘的链接。”
但是声称“不寻常的查询”显示出错误的答案,这种辩护坦率地说很可笑。用户应该只问这些聊天机器人最常见的问题吗?当承诺这些工具应该具有革命性的时候,这怎么能接受呢?
(机器翻译,轻度译后编辑,仅供参考。)
编辑:李旭媛