1. 程式人生 > >spark sql csv資料來源

spark sql csv資料來源

package com.ws.jdbc
import org.apache.spark.sql.{DataFrame, SparkSession}
object CsvSource {

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder().appName("JsonSource").master("local[*]").getOrCreate()

    //讀取csv資料,指定一個目錄 ,資料型別都是String
    val data: DataFrame = sparkSession.read.csv("E:\\bigData\\testdata\\move.csv")

    //重新命名欄位
    val dataFrame = data.toDF("id","age","score")
   
    val result = dataFrame.limit(10)
    result.printSchema()
    result.show()
    sparkSession.stop()
  }
}