GPT-4 不会图形推理？“放水”后准确率依然只有 33%

GPT-4 的图形推理能力，竟然连人类的一半都不到？

美国圣塔菲研究所的一项研究显示，GPT-4 做图形推理题的准确率仅有 33%。

而具有多模态能力的 GPT-4v 表现更糟糕，只能做对 25% 的题目。

△ 虚线表示 16 项任务的平均表现

这项实验结果发表后，迅速在 YC 上引发了广泛热议。

赞同这项结果的网友表示，GPT 确实不擅长抽象图形处理，"位置""旋转"等概念理解起来更加困难。

但另一边，不少网友对这个结论也有所质疑，简单说就是：

不能说是错的，但说完全正确也无法让人信服。

至于具体的原因，我们继续往下看。

GPT-4 准确率仅 33%

为了评估人类和 GPT-4 在这些图形题上的表现，研究者使用了自家机构于今年 5 月推出的 ConceptARC 数据集。

ConceptARC 中一共包括 16 个子类的图形推理题，每类 30 道，一共 480 道题目。

这 16 个子类涵盖了位置关系、形状、操作、比较等多个方面的内容。

具体而言，这些题目都是由一个个像素块组成的，人类和 GPT 需要根据给定的示例寻找出规律，分析出图像经过相同方式处理后的结果。

作者在论文中具体展示了这 16 个子类的例题，每类各一道。

结果 451 名人类受试者平均正确率，在各子项中均不低于 83%，16 项任务再做平均，则达到了 91%。

而 GPT-4（单样本）在"放水"到一道题可以试三次（有一次对就算对）的情况下，准确率最高不超过 60%，平均值只有 33%。

早些时候，这项实验涉及的 ConceptARC Benchmark 的作者也做过类似的实验，不过在 GPT-4 中进行的是零样本测试，结果 16 项任务的平均准确率只有 19%。

而多模态的 GPT-4v，准确率反而更低，在一个 48 道题组成的小规模 ConceptARC 数据集中，零样本和单样本测试的准确率分别只有 25% 和 23%

而研究者在进一步分析了错误答案后，发现人类的有些错误看上去很可能是"粗心导致"，而 GPT 则是完全没有理解题目中的规律。

针对这些数据，网友们普遍没什么疑问，但让这个实验备受质疑的，是招募到的受试人群和给 GPT 的输入方式。

受试者选择方式遭质疑

一开始，研究者在亚马逊的一个众包平台上招募受试者。

研究者从数据集中抽取了一些简单题目作为入门测试，受试者需要答对随机 3 道题目中的至少两道才能进入正式测试。

结果研究人员发现，入门测试的结果显示，有人只是想拿钱，但根本不按要求做题。

迫不得已，研究者将参加测试的门槛上调到了在平台上完成过不少于 2000 个任务，且通过率要达到 99%。

不过，虽然作者用通过率筛人，但是在具体能力上，除了需要受试者会英语，对图形等其他专业能力"没有特殊要求"。

而为了数据的多样化，研究者在实验后期又将招募工作转到了另一个众包平台，最终 一共有 415 名受试者参与了实验。

尽管如此，还是有人质疑实验中的样本"不够随机"。

还有网友指出，研究者用来招募受试者的亚马逊众包平台上，有大模型在冒充人类。

再来看 GPT 这边的操作，多模态版本比较简单，直接传图然后用这样的提示词就可以了：

零样本测试中，则只要去掉相应的 EXAMPLE 部分。

但对于不带多模态的纯文本版 GPT-4（0613），则需要把图像转化为格点，用数字来代替颜色。

针对这种操作，就有人表示不认同了：

把图像转换成数字矩阵后，概念完全变了，就算是人类，看着用数字表示的"图形"，可能也无法理解

One More Thing

无独有偶，斯坦福的华人博士生 Joy Hsu 也用几何数据集测试了 GPT-4v 对图形的理解能力。

这个数据集发表于去年，目的是测试大模型对欧氏几何的理解，GPT-4v 开放后，Hsu 又用这套数据集给它测试了一遍。

结果发现，GPT-4v 对图形的理解方式，似乎"和人类完全不同"。

数据上，GPT-4v 对这些几何问题的回答也明显不如人类。

论文地址：

[1]https://arxiv.org/abs/2305.07141

[2]https://arxiv.org/abs/2311.09247

参考链接：

• [1]https://news.ycombinator.com/item?id=38331669

• [2]https://twitter.com/joycjhsu/status/1724180191470297458

本文来自微信公众号：量子位 （ID：QbitAI），作者：克雷西