2022年1月27日整理发布：测试了深度学习算法在抽象视觉推理中的能力。用于实验的数据基于合成视觉推理测试 (SVRT)，其中 AI 必须回答需要了解图片中不同形状之间关系的问题。测试包括相同-不同的任务(例如，图片中的两个形状是否相同?)和空间任务(例如，较小的形状是否位于较大形状的中心?)。人类观察者可以轻松解决这些问题。
在他们的实验中，研究人员使用了 ResNet-50 并测试了它在不同大小的训练数据集下的表现。结果表明，在 28,000 个样本上微调的预训练模型在相同不同任务和空间任务上都表现良好。(之前的实验在一百万张图像上训练了一个非常小的神经网络。)随着研究人员减少训练示例的数量，人工智能的性能下降，但在相同不同任务中的退化速度更快。
“相同不同的任务比空间推理任务需要更多的训练样本，”研究人员写道，并补充说，“这不能作为前馈神经网络和人类视觉系统之间系统差异的证据。”
研究人员指出，人类视觉系统自然会在大量抽象视觉推理任务上进行预训练。这使得在低数据条件下测试深度学习模型是不公平的，并且几乎不可能就人类和人工智能的内部信息处理差异得出可靠的结论。
研究人员写道：“很有可能，在这两种类型的任务上从头开始训练的人类视觉系统在样本效率上会表现出与 ResNet-50 相似的差异。”
衡量深度学习的识别差距
识别差距是视觉系统最有趣的测试之一。考虑下图。你能告诉它是什么而不进一步向下滚动吗?
下面是同一图像的缩小视图。毫无疑问，它是一只猫。如果我向您展示图像另一部分(可能是耳朵)的特写镜头，您可能有更大的机会预测图像中的内容。我们人类需要看到一定数量的整体形状和图案才能识别图像中的对象。放大得越多，要删除的特征就越多，就越难以区分图像中的内容。
深度学习系统也对特征进行操作，但它们以更微妙的方式工作。神经网络有时会发现人眼无法察觉的微小特征，但即使您放大得很近，也仍然可以检测到。
在他们最后的实验中，研究人员试图通过逐渐放大图像来测量深度神经网络的识别差距，直到 AI 模型的准确性开始大幅下降。
先前的实验表明，人类和深度神经网络的图像识别差距存在很大差异。但在他们的论文中，研究人员指出，之前大多数关于神经网络识别差距的测试都是基于人工选择的图像块。这些补丁有利于人类视觉系统。
当他们在“机器选择的”补丁上测试他们的深度学习模型时，研究人员获得的结果表明人类和人工智能存在类似的差距。
研究人员写道：“这些结果强调了在完全相同的基础上测试人类和机器以及在实验设计中避免人为偏见的重要性。” “所有条件、指令和程序都应该在人和机器之间尽可能接近，以确保所有观察到的差异都是由于固有的不同决策策略而不是测试程序的差异。”