Spark简介

Spark,是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.
Spark是加州大学伯克利分校AMP实验室(Algorithms Machines and People Lab)开发的通用内存并行计算框架,用于构建大型的、低延迟的数据分析应用程序.
Spark使用强大的Scala语言开发,它还提供了对Scala、Python、Java(支持Java 8)和R语言的支持.
Apache顶级项目,项目主页:http://spark.apache.org

Spark历史

2009年由Berkeley's AMPLab开始编写最初的源代码.
2010年开放源代码.
2013年6月进入Apache孵化器项目.
2014年2月成为Apache的顶级项目(8个月时间).
2014年5月底Spark1.0.0发布,打破Hadoop保持的基准排序纪录.
2014年12月Spark1.2.0发布.
2015年11月Spark1.5.2发布.
2016年1月Spark1.6发布.
2016年12月Spark2.1发布......

Spark优势

通用性强:   Spark提供了完整而强大的工具,包括SQL查询、流式计算、机器学习和图算法组件.
易用性好:   支持使用Scala、Java、Python和R语言进行编程,可以通过Spark Shell进行交互式编程. 
运行速度快: 使用DAG(全称 Directed Acyclic Graph,有向无环图)执行引擎以支持循环数据流与内存计算(当然也有部分计算基于磁盘,比如shuffle).
随处运行:   可运行于独立的集群模式中,可运行于Hadoop中,也可运行于Amazon EC2等云环境中,并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源.

Spark生态

spark core
实现了spark的基本功能、包括任务调度、内存管理、错误恢复与存储系统交互等模块;spark core中还包含了对弹性分布式数据集(resileent distributed dataset)的定义.

spark sql
是spark用来操作结构化数据的程序,通过SPARK SQL,我们可以使用SQL或者HIVE(HQL)来查询数据,支持多种数据源,比如HIVE表就是JSON等;
除了提供SQL查询接口,还支持将SQL和传统的RDD结合,开发者可以在一个应用中同时使用SQL和编程的方式(API)进行数据的查询分析,SPARK SQL是在1.0中被引入的.

Spark Streaming
是Spark提供的对实时数据进行流式计算的组件,比如网页服务器日志或者是消息队列都是数据流.

MLLib
是Spark中提供的机器学习功能的程序库,包括很多机器学习算法,比如分类、回归、聚类、协同过滤等.

GraphX
是用于图计算的比如社交网络的朋友关系图.

Spark应用

Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和及时查询等.
淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等,应用于内容推荐、社区发现等.
腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在'数据实时采集、算法实时训练、系统实时预测'的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上.
优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算.