大数据分析核心技术的应用

　　近年来，每年在数据采集、存储、处理、分析和可视化等领域都会出现大量的新技术，成为大数据采集、存储和可视化的有效手段。通过大数据技术，可以挖掘隐藏在大规模数据中的信息和知识，为人类社会经济活动提供依据，提高各领域的运作效率，甚至是整个社会经济的集约化程度。

　　大数据生命周期

　　经典的大数据技术栈。基础设施包括计算资源、存储器和网络互连等，表现为计算节点、集群、机柜和数据中心。上面是数据存储和管理，其中包括文件系统，数据库以及类似YARN的资源管理系统。接下来是计算处理层，比如Hadoop,MapReduce和Spark，以及基于它的各种不同的计算模式，比如批处理，流处理和图形计算等等，包括从BSP,GAS等编程模型衍生的计算模型。计算处理层是数据分析和可视化的基础。分析器包括简单查询分析，流分析和更复杂的分析(比如机器学习，图形计算等等)。查询分析多以表结构和关系函数为基础，流分析以数据、事件流和简单统计分析为基础，而复杂分析则以图、矩阵、迭代计算和线性代数等复杂数据结构为基础。一般而言，视觉是对分析结果的展示。但通过交互可视化，还可以探索性提问，使分析得到新的线索，形成分析的迭代式可视化。对大规模数据的实时交互进行可视化分析，并将自动化因素引入该过程，是当前研究的热点。

　　这两个方面垂直打通了上述两个层次，需要整体、协同看待。首先是编程和管理工具，其方向是机器通过学习实现自动化优化，尽可能不需要编程，不需要复杂的配置。另一方面是数据安全，以及在整个技术栈中的应用。除这两个领域垂直打通层外，还有一些技术发展方向跨越了多层，如“内存计算”实际上覆盖了整个技术栈。