学习记录第四弹--大数据学习之Spark
简介
Spark是基于内存计算的大数据并行计算框架;一个可用于大规模数据快速处理的快速、通用引擎。为Apache分布式计算三大框架[hadoop, Spark, Storm]之一。
Spark目的：使数据分析更快，不仅运行速度快，也要能快速、容易地编写程序。为了程序更快，Spark提供了内存运算，减少了迭代计算时的IO开销。
由于Hadoop中MapReduce存在诸多缺陷，Spark可以解决。
特点
-
运算速度快：使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘的执行速度也能快十倍； -
容易使用：Spark支持使用Scala、Java、Python和R语言进行编程，简洁的API设计有助于用户轻松构建并行程序，并且可以通过Spark Shell进行交互式编程； 通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件，这些组件可以无缝整合在同一个应用中，足以应对复杂的计算； 运行模式多样：Spark可运行于独立的集群模式中，或者运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。 优势
HADOOP problem:
hadoop 本身诸多缺陷，最主要：MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，只适用离线批处理；
表达能力有限：所有计算必须转成Map和Reduce；
磁盘IO开销大：每次执行都需从磁盘读取数据，计算完成后需要将中间结果写入磁盘
延迟高：一次计算可能需要分解成一系列按顺序执行的MapReduce，任务之间的衔接由于涉及到IO开销，延迟高；必须等到上一个任务完成才能执行下一个任务
Spark 优势:Spark计算也是MapReduce，但不局限与Map和Reduce，还提供了多种数据集操作类型，编程模型比MapReduce更灵活
提供了内存计算，中间结果直接存内存
基于DAG的任务调度执行机制，要优于MapReduce的迭代执行机制
最大的特点：将计算数据，中间结果都存储在内存中，减少IO开销。
MapReduce要写不少底层代码；Spark封装了API。Spark主要用了替代Hadoop中MapReduce计算模型。
生态系统
实际应用中，大数据处理主要包括：
复杂的批量数据处理：时间跨度长在数十分钟到数小时之间；
基于历史数据的交互式查询：时间跨度在数十秒到数分钟之间；
基于实时数据流的数据处理：时间跨度通常在数百毫秒到数秒之间。
可以利用Hadoop MapReduce来进行批量数据处理，可以用Impala来进行交互式查询（Impala与Hive相似，但底层引擎不同，提供了实时交互式SQL查询），对于流式数据处理可以采用开源流计算框架Storm。
多个软件难以统一；Spark的设计遵循：一个软件栈满足不同应用场景，既能提供内存计算框架，也可支持SQL及时查询，实时流式计算，机器学习和图计算。Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。因此，Spark所提供的生态系统足以应对上述三种场景，即同时支持批处理、交互式查询和流数据处理。
Spark的生态系统: Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX。
Spark Core：Spark Core包含Spark的基本功能，如内存计算、任务调度、部署模式、故障恢复、存储管理等。Spark建立在统一的抽象RDD之上，使其可以以基本一致的方式应对不同的大数据处理场景；通常所说的Apache Spark，就是指Spark Core；
Spark SQL：Spark SQL允许开发人员直接处理RDD，同时也可处理HIVE，HBase等外部数据。Spark SQL特点：能够统一处理关系表和RDD。可使用SQL命令进行查询。
Spark Streaming：Spark Streaming支出高吞吐量、可容错的实时流数据处理：核心是将流式计算分解成一系列短小的批处理作业。
MLlib（机器学习）:MLlib提供；常用的机器学习算法实现，聚类，分类。回归、协同过滤。
Graphx(图计算): Graphx是Spark用于图计算的API。
运行架构
基本概念
RDD:是弹性分布式数据集(Resilient Distributed Dataset)，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型
DAG: Distributed Acyclic Graph（有项无环图）,反映了RDD之间的依赖关系
Executor: 运行在工作节点(Worker Node)上的一个进程，负责运行任务，并为应用程序存储数据。
应用：用户编写的Spark应用程序
任务: 运行在Executor上的工作单元
作业：一个作业包含多个RDD及作用于相应RDD上的各种操作；
阶段：是作业的基本调度单位，一个作业分为多组任务，每组任务被称为“阶段”,也是”任务集”
[应用[作业[阶段[任务…]…]…]]