人工智能系统不仅仅是自然语言处理引擎

人工智能系统不仅仅是一个自然语言处理引擎，也不仅仅是一个分类算法，或者仅仅是一个神经网络。即使这些部分是完全安全的，系统仍然需要与用户和后端平台交互。

 

系统是否使用了强认证和最小特权原则?后端数据库的连接安全吗?与第三方数据源的连接又如何?用户界面是否具有抗注入攻击的弹性?

 

另一个与人有关的不安全感来源是人工智能和人工智能项目所独有的:数据科学家。“他们不会无缘无故地被称为科学家，”Othot的Abbatico说。“优秀的数据科学家能够利用数据进行实验，从而得出有洞察力的模型。然而，在数据安全方面，实验可能会导致危险的行为。”他们可能会在处理完数据后，试图将数据移动到不安全的位置或删除样本数据集。Othot在早期就投资获得了SOC II认证，这些控制有助于在整个公司内实施强而有力的数据保护实践，包括在移动或删除数据方面。

 

“事实上，世界各地大多数人工智能模型的最大风险并不在人工智能中，”人工智能机构Urvin AI的产品经理、国际非盈利安全研究机构ISECOM的联合创始人Peter Herzog说。他说，问题出在人的身上。“没有一个人工智能模型是没有安全问题的，因为是人们决定了如何训练他们，是人们决定了包括什么数据，是人们决定了他们想要预测什么，是人们决定了暴露多少信息。”

 

AI和ML系统特有的另一个安全风险是数据中毒，攻击者会将信息馈送到系统中，迫使系统做出不准确的预测。例如，攻击者可以通过向系统提供具有与恶意软件类似指标的合法软件示例，诱使系统认为恶意软件是安全的。

 

Raff说，这是大多数组织高度关注的问题。“现在，我还不知道有任何人工智能系统在现实生活中受到了攻击，”他说。“这是一个真正的威胁，但现在攻击者用来逃避杀毒的经典工具仍然有效，所以他们不需要变得更加花哨。”