数据质量在机器学习中有多关键？
发布时间：2021-08-11 21:04:33 所属栏目：大数据 来源：互联网
导读：如今，机器学习正成为组织多个商业部门的一项重要功能。机器学习程序运行在数据上，需要大量的数据来训练机器，就像一台润滑良好的发动机。但是，与大量数据相比，良好的数据质量对于获得预期的最终结果至关重要。 数据管理处理的是数据质量，这使得分析应用
|
如今，机器学习正成为组织多个商业部门的一项重要功能。机器学习程序运行在数据上，需要大量的数据来训练机器，就像一台润滑良好的发动机。但是，与大量数据相比，良好的数据质量对于获得预期的最终结果至关重要。
数据管理处理的是数据质量，这使得分析应用程序给出的输出可信。分析应用程序让企业了解自己在行业中的地位。目前在技术行业取得的分析进步是显著的，但就数据质量而言，它还没有达到标准，这对依赖机器学习程序的企业来说可能是有害的。
更多的干净数据
机器学习系统需要更多的数据，但是数据在哪里呢?如果我们以零售业为例，数据可以收集多年。一旦数据被提取和收集，就应该确定其质量。机器学习工程师的工作就是这样做，从业务的角度把数据放在一个可理解的场景中。
机器学习工程师的职责
工程师的首要责任应该是了解客户和客户群的需求。这意味着企业应该首先与一位机器学习顾问合作，他将指导如何使用机器学习来适应特定的商业模式。接下来，机器学习工程师将在领域专家的帮助下开始处理来自系统的数据，对数据进行标记和分类。这就是问题所在。大多数机器学习项目都是在没有领域专家的情况下进行的。这会导致错误的数据分类、操作员错误或机器学习系统对输出的错误假设。
机器学习工程师从一开始就把大部分时间花在对数据进行分类上，因此如果机器学习产品在一开始就给出了错误的数据，那么从那以后，错误就会变得更加复杂。这导致了无监督机器学习。
有监督和无监督机器学习
有监督机器学习是指利用输入/输出对的例子将一个函数映射到其相应项的过程。有了这样的模型，就可以在保证零数据误差的前提下，从一开始就可以测量性能。
无监督机器学习与此相矛盾。它没有数据标签，也没有实际的方法来衡量算法的性能。使用这样的程序，目标是找出数据的底层结构，并将其分成不同的类别。但是无监督机器学习有一个好处。这些算法能够看到人类可能不熟悉的数据模式。因此，在选择机器学习方法时，了解它在业务中的用途是很重要的。
数据质量对机器学习很重要。当所需的数据质量无法达到业务要求时，无监督机器学习是一种救星。它能够通过评估基于人工智能的程序的数据来提供精确的业务见解。但对于一个企业来说，没有一个适合所有人的解决方案。
 （编辑：常州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
