深度学习如何处理人类语言？

些应用程序大部分采用了 Google 发布的 mBERT 模型，用户可以使用多种语言（比如英语、西班牙语、法语、巴斯克语和印尼语等）与基于 mBERT 的系统进行交互。

　　虽然像 mBERT 这样的模型非常强大，但是与经过预先训练的深度学习模型不同，它们实际上包含的信息并不明显，甚至对它们的创造者来说也是如此。

　　这是由于这些模型是经过训练的，而不是经过编程得到的。因此，探究 mBERT 模型的工作原理，成为了许多使用者关心的问题 。理解 mBERT 模型如何对语言进行编码与尝试理解人类如何处理语言并没有太大不同。

　　此次研究的主要目的是，确定 mBERT 矢量模型是否包含关于人类语言及其结构的一些更深层次的信息。更具体地说，他们想确定这些模型，是否能够自动地揭示几十年来语言学研究已经确定的概括，这些概括信息对语言分析来讲是十分有用的。

　　致力于理解 mBERT 模型

　　本质上，mBERT 模型将文本表示为一系列矢量，每个矢量包含数千个数字。每个矢量都对应一个单词，而单词之间的关系则被编码为高维空间的几何关系。

　　加州大学圣巴巴拉分校的语言学家、指导这项研究的高级研究员之一 Kyle Mahowald 表示：“由于这些模型在处理人类语言方面做得很好，因此我们知道这些数字向量一定代表了语言知识。但是它们是如何编码这些信息的，这与人类大脑中知识的表达方式有什么相似之处？我们的工作是努力理解语言的深层神经模型表示和使用语言信息的方式的一部分。”

　　加州大学欧文分校的语言科学家、该项目的另一位高级顾问 Richard Futrell 说：“这是研究计算语言学特别令人兴奋的时刻。多年来，语言学家一直在谈论诸如‘语义空间（semantic space）’之类的概念，认为单词和短语的意义是某个空间中的点，但这都显得有点模糊和印象主义。如今，这些理论已经变得非常精确：我们实际上有一个模型，其中一个单词的含义是空间中的某一个点，并且这个模型确实以一种暗示其理解某些人类语言的方式表现。”

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!