这个世界上最受关注的AI会议并没有像往常一样以温哥华或巴塞罗那为背景的风景，但是它是一个组织得很好的为期六天的虚拟会议，在所有通常有趣的演讲和演示中都进行了演示。
每年AI会议的头号瑰宝是NeurIPS会议，该会议经常被超额认购，通常在蒙特利尔，温哥华和巴塞罗那等漂亮城市举行。
今年，由于，这次活动是完全虚拟的。虽然不那么风景优美，但是却是一个组织良好，非常丰富的六天海报会议，口头演讲，教程，讲习班，专题讨论会，受邀演讲以及一些虚拟的葡萄酒和奶酪，这些活动于12月11日星期五结束。组织者甚至在海报发布会上做了一些整洁的事情。通过开源软件Miniconf以及Zoom和RocketChat的使用使整个会议成为可能。
以下是一些要点。这绝不是一项全面的调查。有关完整的会议日程安排，请参见此处的NeurIPS网站。
工业人工智能
12月6日，星期日，世博会开幕，这是机器学习在工业领域的展示。当天的研讨会持续了大约四个小时，其中包括来自苹果，谷歌，Netflix，IBM和Facebook等研究人员的多个演讲。
有趣的演讲包括Google举办的关于以各种方式使用图形的整个研讨会，包括图形上的神经网络操作。苹果公司的一次会议深入探讨了Mac中最近发布的M1芯片如何能够加快TensorFlow中模型的训练的细节。该公司甚至在GitHub上发布了经过调整的TensorFlow代码以供下载。
Netflix当然提供了大量有关个性化的资料，并暗示了有关如何使用ML创建内容的未来工作。
对于那些热爱系统工程和容器的人，Netflix的Benoit Rostykus进行了一次有趣的演讲，谈论该公司如何使用ML使Netflix容器平台更智能。中心问题是，在任何计算机上，容器之间都存在争用高速缓存的问题。在访问内存的延迟方面存在很大差异，优化争用成为一个组合问题。
Rostykus说，Netflix已经能够在操作系统的优化方面进行改进。它通过对缓存访问分布的尾部进行建模来确定性能最差的行为，从而做到这一点。他说：“大型神经网络能够共同预测批处理作业的运行时间的条件分布，或该容器在接下来的十分钟或下一小时的预测CPU使用量分布。”
罗斯蒂库斯总结了所有组合问题，说：“我有点认为数据中心是一个巨大的俄罗斯方块”，试图将类似于游戏中掉落的碎片的工作与类似于奇形怪状的床的资源进行匹配屏幕底部的表单。
IBM举办了关于将深度学习网络与符号AI相结合的研讨会，称为“神经符号AI”，其合作伙伴是斯坦福大学和麻省理工学院。正如IBM研究人员David Cox所解释的那样，也许是时候该象征性AI像深度学习中的连接主义的兴起一样重新兴起了。“我们认为象征性AI一直在等待，也许是神经网络开始起作用。” 他建议，既然神经网络确实起作用了，路径的前言可能是将两者结合起来以相互补充。
正如他的同事Alex Gray所解释的，将传统逻辑门神经元与可微神经元合并的一种方法是使用实值逻辑门，并为其添加权重。然后，使用这些门，人们可以从元组数据中学习以推断有关世界的信息。诀窍是损失函数的一种新形式，即“矛盾损失”，它调和了所有神经元的逻辑值。
ML在现实世界中有一些有趣的应用程序，包括Google的Loon部门讨论了如何通过强化学习使气球在地球上保持静止，澳大利亚初创公司QuantumBlack讨论了如何在美洲杯竞赛中优化帆船的“飞行”，使用强化学习。他们已经准备好使用这项技术来参加明年的杯赛。
一家开发用于药物发现的ML的公司Benevolent AI谈到了如何帮助复苏由药业公司Incyte开发的现有药物Baricitinib作为疗法。他们构建了和所有药物疗法的知识图，并使用网络分析对其进行了查询。该分析提出了可能在Baricitinib中匹配的方法，Baricitinib是一种治疗类风湿性关节炎的方法，该方法已于几年前获得批准。
该药物已能够减少在医院患者的康复时间，并且上个月获得了FDA的紧急使用授权。这一发现并非没有争议，因为一些医生说，这种药物的高成本(每剂1500美元)超过了其相当苗条的收益。
会议上的受邀演讲提供了大主题。
周一，佐治亚理工学院的Charles Isbell教授以一种富有思想和想象力的方式面对偏见的话题，带领观众浏览了多位学者的视频，这些视频反映了工程系统的缺陷。Isbell认为案例偏见是ML的核心问题，布朗大学的计算机科学教授Michael Littman扮演杂技演员，在视频中帮了他的忙，假装ML没什么问题，一切都很好。
Isbell的观点是，为了满足严格的需求，机器学习科学家必须不再只是“编译黑客”，而要成为软件工程师。Isbell说，系统问题不仅是使系统(包括非程序员)都可以访问，而且还要从一开始就在系统设计中追求包容性。
Isbell计划在接下来的几个月中，完整地发布十四名参与者的视频，每个小时一个小时。
伊利诺伊大学香槟分校伊利诺伊大学新任教授杰夫·S·萨玛(Jeff S.Shamma)在周二的邀请演讲中讨论了反馈控制。
正如Shamma所定义的那样，反馈控制是指在动态和不确定的环境中进行实时决策。反馈控制系统存在于必须保持稳定高度的设备(例如飞机)中。Shamma说，也可以将其更广泛地视为学习代理的功能。强化学习是学习代理如何使用反馈的一个示例。
Shamma引导听众描述一种鲁棒性原则，即如何知道在可条件下机器学习系统的学习规则是否会成立。Shamma的演讲反映了系统的控制层次，从细粒度到高层，以及反馈如何成为对控制至关重要的要素。
演讲中提出的一种警示概念是所谓的“水床效应”。这是一个广泛的观察结果，即任何反馈回路的结果是，随着系统中某件事情变得更好，系统的其他部分可能会变得更糟。换句话说，这与权衡取舍有关。Shamma说，学习理论中流行的“免费午餐”概念或多或少是一种水床效应。表征水床效应的另一种方法是Gunter Stein在1990年代提出的，称为“污垢养护”。Shamma解释说，您只能将污垢从一个地方移动到另一个地方，也永远无法摆脱它。
Shamma建议，在系统上工作的人们可能不希望总是考虑这样的限制，但他们应该这样做。
Shamma还具有关于稳定性的有趣观点，即系统如何渐进性地表现出一系列行为。他认为，这种方式的稳定性可能是在ML中使用的有趣的“模块化”概念。
Shamma的离别思想是，控制与学习互动的方式是研究的一个扩展主题。Shamma说：“今天的演讲本来可以换个标题，那就是阅读控制研究人员的思想以及他们对学习的看法。”
同样在星期一，有关推理的教程汇集了Google的Francois Chollet和Christian Szegedy以及Santa Fe Institute的Davis教授Melanie Mitchell的三个补充性演讲。
Chollet提出抽象是智能的关键。您可能还记得，Chollet去年提出了一项称为“抽象和推理语料库”的智力测验。
乔尔特通过讨论关于概括性，意义，将过去的知识转化为现在的处理新颖情况的能力的方法来探讨他的问题。他建议，如果愿意的话，真正的人工智能将具有一种极端的概括能力。
他指出，相反的做法是采取捷径，只是使用更多的训练数据以给定的指标以非常狭窄的方式进行优化。基本上，这就是当今AI的问题：大量的技能优化，但没有智能。
另一方面，抽象将基于一种核心知识，而不是经验。乔莱特说：“抽象是我们进行泛化的引擎。” 根据万花筒理论，抽象是发现可重用的内核，而智能是对相似性的高度敏感性。他指出，这与人类的直觉接壤。
深度学习能够进行某种抽象，例如两个域之间的几何变形，并跟踪多个流形。Chollet说，从这个意义上讲，泛化是在流形上靠在一起的样本之间进行插值的能力。
科尔莱特说，事实恰恰相反，当将扰动注入神经网络时，网络证明是脆弱的，因为它们在很大程度上取决于样本的几何接近度，而不是坚固的拓扑结构。
乔莱特(Chollet)拒绝了深度学习先驱杰弗里·欣顿(Geoffrey Hinton)的说法，后者被引述为深度学习将能够解决所有智力问题。乔莱特说，深度学习不能超越感知和测量问题。特别是，它不能进行程序设计或离散概括，因为流形的采样不是密集的。
对于这些挑战，Chollet建议采用的方法更像软件开发，即重用来自特定领域语言(即通过该语言进行搜索)的模块。
Chollet总结道，未来的道路是将深度学习与特定领域的搜索相结合，将以价值为中心的抽象/感知与程序性抽象相结合，或者像经济学家Daniel Kahneman的“快慢思维”范式那样，将I型和II型思维结合在一起。。
乔莱特说：“如果您想知道人工智能在未来的运作方式，我想您应该看看当今人类工程师的运作方式。”
“工程师不断抽象化在不同任务上开发的程序”，本质上是重用模块。
最重要的是，深度学习将通过由深度学习指导的离散搜索过程来重复使用先验资源。