2022年1月26日整理发布:人类水平的表现。人类水平的准确性。这些是你从开发人工智能系统的公司那里听到的很多术语,无论是面部识别、物体检测还是问答。值得称赞的是,近年来已经出现了许多由人工智能算法驱动的伟大产品,这主要归功于机器学习和深度学习的进步。
但其中许多比较只考虑了在有限数据集上测试深度学习算法的最终结果。这种方法可能会对人工智能系统产生错误的期望,并在它们被委托执行关键任务时产生危险的结果。
在最近的一项研究中,来自德国各个组织和大学的一组研究人员强调了评估深度学习在处理视觉数据方面的性能所面临的挑战。在他们的论文《The Notorious Difficulty of Comparing Human and Machine Perception》中,研究人员强调了当前比较深度神经网络和人类视觉系统的方法中存在的问题。
在他们的研究中,这位科学家进行了一系列实验,挖掘深度学习结果的表面,并将其与人类视觉系统的工作原理进行比较。他们的发现提醒我们,在将 AI 与人类进行比较时,我们必须谨慎,即使它在同一任务上表现出相同或更好的性能。
人类和计算机视觉的复杂性
在看似永无止境的重建人类感知的探索中,已经被称为计算机视觉的领域,深度学习迄今为止取得了最有利的成果。卷积神经网络(CNN) 是一种常用于计算机视觉深度学习算法的架构,它正在完成传统软件难以完成的任务。
然而,将神经网络与人类感知进行比较仍然是一个挑战。这部分是因为我们仍然有很多关于人类视觉系统和人类大脑的知识。深度学习系统的复杂运作也使问题更加复杂。深度神经网络以非常复杂的方式工作,这常常使他们自己的创造者感到困惑。
近年来,大量研究试图评估神经网络的内部工作原理及其在处理现实情况时的鲁棒性。“尽管进行了大量研究,但比较人类和机器的感知并不简单,”德国研究人员在他们的论文中写道。
在他们的研究中,科学家们专注于三个领域来衡量人类和深度神经网络如何处理视觉数据。
神经网络如何感知轮廓?
第一个测试涉及轮廓检测。在这个实验中,人类和 AI 参与者都必须说出图像是否包含闭合轮廓。这里的目标是了解深度学习算法是否可以学习封闭和开放形状的概念,以及它们是否可以在各种条件下检测到它们。
“对于人类来说,一个封闭的轮廓两侧是许多开放的轮廓,在感知上很突出。相比之下,对于 DNN 来说,检测闭合轮廓可能很困难,因为它们可能需要长距离的轮廓整合,”研究人员写道。
在实验中,科学家们使用了 ResNet-50,这是一种由微软 AI 研究人员开发的流行卷积神经网络。他们使用迁移学习在 14,000 张封闭和开放轮廓的图像上微调 AI 模型。
然后,他们在各种类似于训练数据的示例上测试了 AI,并逐渐转向其他方向。初步研究结果表明,训练有素的神经网络似乎掌握了闭合轮廓的概念。即使网络是在仅包含直线形状的数据集上训练的,它也可以在曲线上表现良好。
科学家们写道:“这些结果表明,我们的模型实际上确实学习了开放和闭合轮廓的概念,并且它执行了与人类类似的轮廓整合过程。”
然而,进一步的调查表明,其他不影响人类表现的变化会降低 AI 模型结果的准确性。例如,改变线条的颜色和宽度会导致深度学习模型的准确性突然下降。当形状变得大于一定大小时,该模型似乎也难以检测形状。
神经网络对对抗性扰动也非常敏感,这些扰动是精心设计的,人眼无法察觉但会破坏机器学习系统的行为。
为了进一步研究 AI 的决策过程,科学家们使用了 Bag-of-Feature 网络,这是一种试图定位有助于深度学习模型决策的数据位的技术。分析证明,“确实存在局部特征,例如端点与短边相结合,通常可以给出正确的类别标签,”研究人员发现。