您现在所在位置: 首页 > 睿道新闻

常见的大数据计算模式系统是怎样的?

发布时间:2020-09-24点击数:


  运算模式的出现,有力地推动了大数据技术和应用的发展,使之成为当前大数据处理最成功、应用最广泛的主流计算模式。但现实世界的大数据处理问题复杂多样,很难有一种单一的计算模式能够满足所有不同的大数据计算需求。通过研究与实践发现,由于MapReduce主要适用于离线的大数据批量处理,因此对于大数据问题具有很强的不适应性,它以低延迟、复杂数据关系和复杂计算为目标。所以,近年来学术界和工业界不断研究和推出各种不同的大数据计算模式。


  我们所说的大数据计算模式,就是各种高层抽象(abstraction)或模型(model),它们是根据大数据的不同数据特性和计算特性从多样化大数据计算问题和需求中提炼而成的。比如,MapReduce是一种并行计算抽象,加州大学伯克利分校著名的Spark系统中的“分布式内存抽象RDD”,CMU著名的图形计算系统GraphLab中的“图形并行抽象”,等等。在传统并行计算方法中,主要从体系结构和编程语言两个层面上定义了并行计算的一些底层抽象和模型,但由于大数据处理问题有许多高层数据特征和计算特征,因此大数据处理需要将这些高层特征更多地结合在一起来考虑更高层的计算模式。


  基于对大数据处理多样性的需求和上述不同的特征维度的不同,目前出现了许多典型和重要的计算模式。随着这些计算模式的发展,相应的大数据计算系统和工具也层出不穷。因为简单地描述计算模式是比较抽象和空洞的,所以在描述不同的计算模式时,会同时给出相应的典型计算系统和工具,如表1所示,这将有助于理解计算模式,掌握技术发展的现状,也有利于选择合适的计算技术和系统工具用于实际的大数据处理应用。



  • 友情链接

关注东软睿道公众号了解更多IT行业资讯

添加东小萌微信
获取更多IT学习资源