气数已尽？

我们可以清楚地看到它已经达到了“大数据”市场的上限。这意味着没有更多的水平增长空间，唯一的前进方法是垂直增长。这就是为什么 2019 年我们不再有 Spark Summit，而出现一个闪亮的新 Spark + AI 峰会。

Big Data

大数据是处理大量数据的问题。但这个词被大肆炒作，现在它有明显的消极成份。在炒作的高峰时期，任何东西都可能被贴上“大数据”的标签来提升销量。然而，很明显“大数据”本身并不是一件事，并且本身没有任何价值。

“大数据”是 2000-2005 年几个大型互联网公司所面临的问题。在那个时间点，这是一个非常具有挑战性的问题。没有关于如何处理它的知识，当然也没有这样做的开源解决方案。许多大型互联网公司已成为该行业的领导者，并向我们赠送了我们现在称之为“大数据”的东西：谷歌的 GFS，MapReduce 和 BigTable，雅虎的 Hadoop，Facebook 的 Cassandra 和 Hive，Twitter 的 Storm，LinkedIn 的 Kafka。大型互联网公司通过发明新方法和工具来利用他们必须处理的大量数据来推动革命。它们中的许多公司都开源了它们的软件，使得这些软件可供全世界使用。这是一个关键时刻，因为它诞生了一系列创业公司，其使命是将所有这些解决方案出售给传统企业。其中包括 Cloudera，Hortonworks，MapR 和其他许多公司。

围绕“大数据”的炒作很大程度上是由于上述创业公司对其营销的巨额投资以及传统企业中 IT 人员的短视而造成的。市场营销已经利用了大型互联网公司生产的“大数据”技术与该公司的成功之间的联系。他们的营销材料并没有直接说明这一点，但它的字面意思是“使用 Cassandra 并且像 Facebook 一样成功”，“使用 Kafka 并达到 LinkedIn 的规模”，“使用 Hadoop 并变得像 Google 一样富有”。总体而言，“大数据”并不是在销售技术，而是将大型 IT 巨头的成功卖给传统公司。

不出所料，许多企业正在购买这些技术，并在其堆栈中实施这些技术。由于这一实施，他们通常大胆宣布他们正在利用“大数据”的力量，他们的企业在这个问题上取得了进步。然而，通常实现本身更像是一个实验 - 除了主要的数据处理管道之外，一些小而孤立的案例，甚至可能无法交付给生产并保留在 PoC 或 MVP 级别。

然而，许多小型企业正在购买大型企业的这一信息及其成功案例，并将其资金和努力投入到“大数据”中。通过这种方式，大肆宣传成为一种大雪球，越来越多的资深人士直言不讳或不能说出完整的真相，营销人员利用他们的话语(有时会删除重要的背景)来进一步推广他们的解决方案。

一个时代的结束

所以，我并不是说一些新的突破性技术已经取代了“大数据”，我也不是说 Hadoop 不再是一种可行的技术，不再值得投资。我说的是“大数据”时代即将结束，从炒作的高峰下降到最低点。新的趋势 AI 和 ML，已经取代它们，生命的循环再次开始，新的技术在炒作图上攀升，营销人员推销新软件，以科技巨头的成功为代表，以及传统企业购买这种软件，消灭了下一个科技泡沫。

Hadoop 时代真的结束了吗?

并没有!Hadoop 是一项伟大的技术，但它本质上是一个很好的解决方案，但是只有少数企业真正需要它。作为一项技术，它与提供替代大规模存储解决方案的主要云厂商竞争：AWS 包含 S3，GCP 包含云存储，Microsoft 包含 Azure 存储等。云计算一点一点地吞噬了自建部署市场，云计算提供商及其分布式存储解决方案在我看来

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!