1. 程式人生 > >第8章 SparkSQL願景

第8章 SparkSQL願景

8-1 -A SparkSQL願景之一寫更少的程式碼(程式碼量和可讀性) 

 

 

8-2 -B SparkSQL願景之一寫更少的程式碼(統一訪問操作介面)

 

8-3 -C SparkSQL願景之一寫更少的程式碼(強有力的API支援)

8-4 -D SparkSQL願景之一些更少的程式碼(Schema推導)

 

原始碼地址:

https://gitee.com/sag888/big_data/blob/master/%E4%BB%A5%E6%85%95%E8%AF%BE%E7%BD%91%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E4%B8%BA%E4%BE%8B%20%E8%BF%9B%E5%85%A5%E5%A4%A7%E6%95%B0%E6%8D%AE%20Spark%20SQL%20%E7%9A%84%E4%B8%96%E7%95%8C/project/p1867y/ImoocSparkSQLProject/src/main/scala/com/imooc/spark/SchemaInferApp.scala

package com.imooc.spark

import org.apache.spark.sql.SparkSession

/**

* Schema Infer

*/

object SchemaInferApp {

def main(args: Array[String]) {

val spark = SparkSession.builder().appName("SchemaInferApp").master("local[2]").getOrCreate()

val df = spark.read.format("json").load("file:///Users/rocky/data/json_schema_infer.json")

df.printSchema()

df.show()

spark.stop()

}

}

8-5 -E SparkSQL願景之一寫更少的程式碼(Schema Merge)

8-6 -F SparkSQL願景之一寫更少的程式碼(Partition Discovery)

 

8-7 -G SparkSQL願景之一寫更少的程式碼(執行速度更快)

8-8 -SparkSQL願景之二讀取更少的資料

8-9 -SparkSQL願景之三讓查詢優化器幫助我們優化執行效率

 

 

8-10 -SparkSQL願景總結