2022年1月12日整理发布：在人工智能研究的早期几十年中，符号系统在解决需要逻辑推理的复杂问题方面取得了显着进展。然而，它们在每个人年轻时都会学习的简单任务上表现得很糟糕，例如检测物体、人、声音和声音。他们也不能很好地扩展，需要大量的人工来创建定义他们行为的规则和知识。
最近，人们对机器学习和深度学习的兴趣日益浓厚，这有助于推动计算机视觉、语音识别和自然语言处理，而这些正是符号 AI 苦苦挣扎的领域。机器学习算法随着数据和计算资源的可用性而很好地扩展，这在很大程度上是它们在过去十年中变得如此流行的原因。
但是，尽管机器学习算法取得了非凡的成就，但其核心是复杂的数学函数，可以将观察结果映射到结果。因此，他们和他们的数据一样好，当他们面对的世界数据开始偏离他们在训练期间看到的例子时，他们开始崩溃。
在The Alignment Problem 中，Christian 经历了许多机器学习算法导致尴尬和破坏性失败的例子。一个流行的例子是谷歌照片分类算法，将深色皮肤的人标记为大猩猩。问题不在于 AI 算法，而在于训练数据。如果谷歌在更多黑皮肤人的例子上训练模型，它本可以避免这场灾难。
“当然，一个理论上可以从一组示例中学习任何东西的系统的问题在于，它发现自己受制于所教示例的摆布，”克里斯蒂安写道。
更糟糕的是，机器学习模型无法分辨是非并做出道德决定。机器学习模型的训练数据中存在的任何问题都将反映在模型的行为中，通常以微妙和不显眼的方式。例如，2018 年，亚马逊关闭了一种用于做出招聘决定的机器学习工具，因为它的决定对女性有偏见。显然，没有一个 AI 的创造者希望模型根据他们的性别来选择候选人。在这种情况下，根据公司历史招聘数据训练的模型反映了亚马逊内部的问题。
这只是机器学习模型发现其训练数据中存在的偏差并以自己独特的方式放大它们的几种情况之一。这也是对信任机器学习模型的警告，这些模型是根据我们从自己过去的行为中盲目收集的数据进行训练的。
“对世界进行建模是一回事。但是，一旦您开始使用该模型，您就会以大大小小的方式改变世界。许多机器学习模型都有一个广泛的假设，即模型本身不会改变它所建模的现实。几乎在所有情况下，这都是错误的，”克里斯蒂安写道。“事实上，这些模型的粗心部署可能会产生一个反馈循环，从中恢复变得更加困难或需要更多的干预。”
人类智能与收集数据、发现模式并将这些模式转化为行动有很大关系。但是，虽然我们通常尝试将智能决策简化为一小组输入和输出，但机器学习的挑战表明，我们对数据和机器学习的假设往往是错误的。
“我们需要批判性地考虑......不仅我们从哪里获得训练数据，而且我们从哪里获得标签，这些标签将在系统中作为基本事实的替代品。通常，基本事实并非基本事实，”克里斯蒂安警告说。