斯坦福大学研究发现,AI 聊天机器人 ChatGPT 的表现很不稳定
CTOnews.com 9 月 7 日消息,斯坦福大学的一项新研究发现,热门生成式人工智能(AI)聊天机器人 ChatGPT 的能力在几个月内有所波动。
斯坦福大学的团队评估了 ChatGPT 在几个月内如何处理不同的任务。他们发现,ChatGPT 的能力随时间的推移而出现了不一致。目前,ChatGPT 有两个版本 -- 免费的 GPT-3.5 模型和更智能、更快速的付费 GPT-4 版本。 研究人员发现,GPT-4 在 3 月份能够有效地解决数学问题,识别质数的准确率为 97.6%。三个月后,其准确率下降到了 2.4%。而另一方面,GPT-3.5 却变得更好,从 7.4% 的准确率提高到了 86.8%。
研究人员还注意到,在编写代码和视觉推理方面也有类似的波动。斯坦福大学计算机科学教授 James Zou 称:"当我们调整一个大型语言模型来提高它在某些任务上的表现时,那可能会有很多意想不到的后果,可能会损害这个模型在其他任务上的表现…… 这个模型回答问题的方式有各种各样的相互依赖性,这可能导致我们观察到的一些恶化行为。"
研究人员认为,结果并不能真正反映 ChatGPT 性能的准确性状态,而是显示了微调模型带来的意外后果。本质上,当修改模型的一部分来改善一个任务时,其他任务可能会受到影响。为什么会这样很难确定,因为没有人知道 ChatGPT 是如何运作的,而且它的代码也不是开源的。
随着时间的推移,研究人员注意到,ChatGPT 的回答不仅变得不太准确,而且还停止了解释其推理过程。
由于 ChatGPT 的运作方式,要研究和衡量它的表现可能很困难,这项研究强调了观察和评估驱动 ChatGPT 等工具的大型语言模型(LLM)性能变化的必要性。该研究已经在 arXiv 上发布,并正在等待同行评审,CTOnews.com附链接在此。
相关文章
- 25 周年纪念作,情怀拉满但诚意欠缺:《勇者斗恶龙 怪物仙境 3》
- 联想拯救者 Y700 2023 平板推送 ZUI 15.0.723 系统灰度测试:新增“USB 网络共享”,优化底部小白条
- Streacom 推出 SG10 高端被动散热机箱:可解热 600W,1300 美元
- 3D 角色扮演策略游戏《少女前线 2:追放》公测开启,安卓、iOS、PC 多端互通
- 新能源车市:价格战开局,价值战结束
- 雪天这样拍,照片更为味道
- Cybertruck:未来物种重新定义汽车
- 2022 年我国未成年网民规模突破 1.93 亿,普及率达 97.2%
- 上映 7 天,《名侦探柯南:黑铁的鱼影》内地票房破亿、豆瓣 6.6 分
- 小岛工作室推出《死亡搁浅》联名手机手柄,预计明年发售