加入收藏 | 设为首页 | 会员中心 | 我要投稿 常州站长网 (https://www.0519zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

适合大数据工作负载基础架构的最简详解

发布时间:2021-06-24 13:32:28 所属栏目:大数据 来源:互联网
导读:配备传感器和智能设备采集和传输数据的物联网,正迫使企业从 大数据 、大洞察规划自己的行动,从而获得竞争优势。这个过程包括支持TB级的从各种设备产生的流媒体数据集,和在一定的背景下实时分析这些海量数据。 随着组织认识到 大数据 洞察的战略重要性,收

    配备传感器和智能设备采集和传输数据的物联网,正迫使企业从大数据、大洞察规划自己的行动,从而获得竞争优势。这个过程包括支持TB级的从各种设备产生的流媒体数据集,和在一定的背景下实时分析这些海量数据。


    随着组织认识到大数据洞察的战略重要性,收集、连接、思考和适应的大数据活动,将是未来十年驱动商业价值的关键。


    随着大数据趋势的加速,在大中型企业中,复杂的分析工作负载将变得越来越常见。Gabriel咨询集团做了一项调查,询问大数据使用者正在使用什么类型的工作负载。毫不奇怪,MapReduce工作负载排名垫底,而企业分析,复杂事件处理,可视化和数据挖掘等排名较高。


    许多组织一直在试图以静态数据分析模型和多服务器体系结构(低吞吐量和高延迟)解决新出现的大数据工作负载。考虑到这些工作负载的新性质,以及数据规模,组织真正需要的,是一个新的软件和硬件环境,能够支持高计算强度,数据并行,数据流水线,以及变化数据的实时分析处理。


    企业分析/大数据工作负载变得越来越密集运算,与科学和技术计算应用程序具有共同点。数据的数量和处理要求这些工作负载使用小系统集群运行高度并行的代码,以便能够以合理的成本和时限处理工作负载。


    有些人认为,分布式服务器环境中高度的软件定制是答案的问题。但事实正好相反,这往往会导致浪费和资源闲置,天然的低效率,能源和占地空间的问题,安全问题,高昂的软件许可成本和维护恶梦。


    适合现代大数据分析工作负载的企业级服务器需要有以下能力:


    ·更高的计算密度


    ·增加并行处理能力


    ·每个内核的虚拟机增加


    ·先进的虚拟化能力


    ·模块化系统设计


    ·弹性缩放能力


    ·安全性和硬件辅助加密的增强


    ·增加内存和处理器或利用率


    高级的企业级服务器还提供了一个内置的弹性是来自跨硬件,固件,hypervisor,操作系统,数据库和中间件的完整堆栈的整合和优化。这些系统通常一起设计,编译,调试,和支持,并且易于扩展和管理。


    例如,许多大型金融机构已经积极投资于预测分析技术,以提高他们的收入。这带来比现有的计算资源更大的需求。使用企业级的服务器,有助于这些机构以并行的方式运行成千上万个任务,提供更快的分析服务,并创建虚拟化环境,提高服务器利用率和跨业务部门共享服务器资源。服务器整合和虚拟化有助于减少物理服务器的数量,这节省了数据中心的空间,并降低功耗和冷却、硬件维护、软件授权和管理的成本,从而节约组织的开支。


    总体而言,大数据工作负载有三个重要的计算需求:


    ·先进的大数据分析需要一个高度可扩展的系统,具有极致并行处理能力和高密度,模块化封装。一个具有更多内存、带宽和吞吐量的计算系统,可以同时运行多个任务,秒级回应百万次事件,在几秒钟内并行处理高级的分析算法。


    ·大数据需要可靠的和灵活的计算系统,并能吸收临时增加的需求而不失效或改变架构。这限制了安全漏洞并提高工作负载的性能,很少或没有停机时间。


    ·为了支持新的大数据工作负载,计算系统必须使用开放源码技术来构建,并支持开放式创新。开源架构允许更多的互操作性和灵活性,并通过先进的虚拟化和云计算解决方案简化了新的工作负载管理。


    大数据是一个新的、非凡的资源,可以帮助企业获得竞争优势。对大数据采用实时分析,使公司能够更好地服务客户,发现新的创收潜力,和根据市场洞察闪电般地决策。但企业想要利用大数据真正获得商业利益,他们必须先放弃所钟爱的旧技术,热情拥抱新的、优化的替代品。

(编辑:常州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读