当前位置: > 关于睿道 > 新闻中心 > 行业动态
  • 睿道简介
  • 新闻中心
  • 园区环境
  • 联系我们
  • 相关推荐

    大数据分析核心技术的应用

    2020-09-24 来源:Neutech东软睿道

      近年来,每年在数据采集、存储、处理、分析和可视化等领域都会出现大量的新技术,成为大数据采集、存储和可视化的有效手段。通过大数据技术,可以挖掘隐藏在大规模数据中的信息和知识,为人类社会经济活动提供依据,提高各领域的运作效率,甚至是整个社会经济的集约化程度。


      大数据生命周期


      经典的大数据技术栈。基础设施包括计算资源、存储器和网络互连等,表现为计算节点、集群、机柜和数据中心。上面是数据存储和管理,其中包括文件系统,数据库以及类似YARN的资源管理系统。接下来是计算处理层,比如Hadoop,MapReduce和Spark,以及基于它的各种不同的计算模式,比如批处理,流处理和图形计算等等,包括从BSP,GAS等编程模型衍生的计算模型。计算处理层是数据分析和可视化的基础。分析器包括简单查询分析,流分析和更复杂的分析(比如机器学习,图形计算等等)。查询分析多以表结构和关系函数为基础,流分析以数据、事件流和简单统计分析为基础,而复杂分析则以图、矩阵、迭代计算和线性代数等复杂数据结构为基础。一般而言,视觉是对分析结果的展示。但通过交互可视化,还可以探索性提问,使分析得到新的线索,形成分析的迭代式可视化。对大规模数据的实时交互进行可视化分析,并将自动化因素引入该过程,是当前研究的热点。


      这两个方面垂直打通了上述两个层次,需要整体、协同看待。首先是编程和管理工具,其方向是机器通过学习实现自动化优化,尽可能不需要编程,不需要复杂的配置。另一方面是数据安全,以及在整个技术栈中的应用。除这两个领域垂直打通层外,还有一些技术发展方向跨越了多层,如“内存计算”实际上覆盖了整个技术栈。