机器学习领域的杀手级应用？

从未想到过的技巧，神经网络就是其中之一。”他说。

变得更有效率

LeCun这个月在全球最大的机器学习研究会议NeurIPS上的“EMC2节能机器学习”研讨会上发表了讲话。他谈到了硬件局限性如何限制研究人员的想象，并表示好的想法有时候会在硬件太慢、软件不易获得或实验难以重现时被抛弃。

他还谈到了特定的深度学习方法，例如差分联想记忆和卷积神经网络，它们构成了挑战，可能需要新的硬件。差分关联存储器(软RAM)是一种计算方法，目前已在自然语言处理(NLP)中广泛使用，在计算机视觉应用程序中也越来越常见。

“未来几年，深度学习和机器学习架构将发生很大变化。你已经可以看到很多这样的情况了。现在有了NLP，城里唯一的游戏基本上就是变换网络(Transformer networks)。”他说。

他补充说，更有效的批处理和自我监督学习技术，可以帮助AI像人类和动物一样学习更多，也可能有助于提高AI的能效。

在LeCun演讲之后，麻省理工学院的电气工程与计算机科学副教授Vivienne Sze谈到了需要一种系统的方法来评估深度神经网络的需求。SlidesLive报道称，在本周早些时候，Sze关于高效深度神经网络的演讲是这次NeurIPS视频中备受关注的一个，获得了相当多的点击率。

Sze说：“更大更远的存储器往往会消耗更多的电量”， 并指出“所有权重都不相等。” Sze还演示了Accelergy，这是MIT开发的一种能够估算硬件能耗的框架。

除讲座外，研讨会的海报发布会还展示了值得注意的低功耗AI解决方案。其中包括DistilBERT，这是谷歌BERT(Bidirectional Encoder Representations from Transformers)的轻便版本，后者是Hugging Face团队特别为在边缘设备上快速部署而制造的;以及SRI International和Latent AI对深度神经网络的量化比较。

许多知名人士呼吁机器学习社区应对气候变化，并表示这种关

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!