第8章 SparkSQL願景
阿新 • • 發佈:2018-12-17
8-1 -A SparkSQL願景之一寫更少的程式碼(程式碼量和可讀性)
8-2 -B SparkSQL願景之一寫更少的程式碼(統一訪問操作介面)
8-3 -C SparkSQL願景之一寫更少的程式碼(強有力的API支援)
8-4 -D SparkSQL願景之一些更少的程式碼(Schema推導)
原始碼地址:
package com.imooc.spark
import org.apache.spark.sql.SparkSession
/**
* Schema Infer
*/
object SchemaInferApp {
def main(args: Array[String]) {
val spark = SparkSession.builder().appName("SchemaInferApp").master("local[2]").getOrCreate()
val df = spark.read.format("json").load("file:///Users/rocky/data/json_schema_infer.json")
df.printSchema()
df.show()
spark.stop()
}
}
8-5 -E SparkSQL願景之一寫更少的程式碼(Schema Merge)
8-6 -F SparkSQL願景之一寫更少的程式碼(Partition Discovery)
8-7 -G SparkSQL願景之一寫更少的程式碼(執行速度更快)
8-8 -SparkSQL願景之二讀取更少的資料
8-9 -SparkSQL願景之三讓查詢優化器幫助我們優化執行效率
8-10 -SparkSQL願景總結