vlambda博客
学习文章列表

在之前的文章中，我们已经完成了对于Spark核心SparkCore的详细介绍。而今天想为为大家介绍的是SparkSQL的概述。

什么是Spark SQL？

我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

Spark SQL的特点

1）易整合

2）统一的数据访问方式

3）兼容Hive

4）标准的数据连接

什么是DataFrame?

与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。

同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。从API易用性的角度上看，DataFrame API提供的是一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低。

比如下面一个例子:

为了说明查询优化，我们来看上图展示的人口数据分析的示例。图中构造了两个DataFrame，将它们join之后又做了一次filter操作。如果原封不动地执行这个执行计划，最终的执行效率是不高的。因为join是一个代价较大的操作，也可能会产生一个较大的数据集。如果我们能将filter下推到 join下方，先对DataFrame进行过滤，再join过滤后的较小的结果集，便可以有效缩短执行时间。而Spark SQL的查询优化器正是这样做的。

简而言之，逻辑查询计划优化就是一个利用基于关系代数的等价变换，将高成本的操作替换为低成本操作的过程。

3）Dataset支持编解码器，当需要访问非堆上的数据时可以避免反序列化整个对象，提高了效率。

4）样例类被用来在Dataset中定义数据的结构信息，样例类中每个属性的名称直接映射到DataSet中的字段名称。

5）Dataframe是Dataset的特列，DataFrame=Dataset[Row] ，所以可以通过as方法将Dataframe转换为Dataset。Row是一个类型，跟Car、Person这些的类型一样，所有的表结构信息我都用Row来表示。

6）DataSet是强类型的。比如可以有Dataset[Car]，Dataset[Person]

7）DataFrame只是知道字段，但是不知道字段的类型，所以在执行这些操作的时候是没办法在编译的时候检查是否类型失败的，比如你可以对一个String进行减法操作，在执行的时候才报错，而DataSet不仅仅知道字段，而且知道字段类型，所以有更严格的错误检查。就跟JSON对象和类对象之间的类比。

 
   
   
 

  
    
    
  
 
   
 
    
 
     
 
      
 
       
 
        
 
         
 
          
 
           
 
            
 
             
 
              
 
               
 
                
 
                 
 
                  
 
                   
                    
                      
                      
                    

                     
                       
                       
                     
 
                      
 
                       
 
                        
 
                         
 
                          
 
                           
 
                            
 
                             
 
                              
 
                               
 
                                
 
                                 
 
                                  
 
                                   
 
                                    
 
                                     
 
                                      推荐阅读： 
                                     
 
                                     
                                      
                                        
                                        
                                      

                                       
                                         
                                         
                                       


                                       
                                         
                                         
                                       
 
                                        
 
                                         
 
                                        
                                       
                                         
                                         
                                       


                                       
                                         
                                         
                                       


                                       
                                         
                                         
                                       


                                       
                                         
                                         
                                       


                                      
                                        
                                        
                                      
                                      
                                        
                                        
                                      

                                       
                                         
                                         
                                       
 
                                        
 
                                         
 
                                          
 
                                           
 
                                            
 
                                             
 
                                              
 
                                               
 
                                                
 
                                                 
 
                                                  
 
                                                   
 
                                                    
 
                                                     
 
                                                      
 
                                                       
 
                                                        
                                                         
                                                           
                                                           
                                                         

                                                          
                                                            
                                                            
                                                          
 
                                                           
 
                                                            
 
                                                             
 
                                                              
 
                                                               
 
                                                                
 
                                                                 
 
                                                                  
 
                                                                   
 
                                                                    
 
                                                                     
 
                                                                      
 
                                                                       
 
                                                                        
 
                                                                         
 
                                                                          
 
                                                                           真香，朕在看了！