2. 程式人生 > >RDD/DataFrame/Dataset的區別和各自的優勢

RDD/DataFrame/Dataset的區別和各自的優勢

阿新 • • 發佈：2018-12-10

在spark中，RDD、DataFrame、Dataset是最常用的資料型別，本博文給出筆者在使用的過程中體會到的區別和各自的優勢

共性：

1、RDD、DataFrame、Dataset全都是spark平臺下的分散式彈性資料集，為處理超大型資料提供便利

2、三者都有惰性機制，在進行建立、轉換，如map方法時，不會立即執行，只有在遇到Action如foreach時，三者才會開始遍歷運算，極端情況下，如果程式碼裡面有建立、轉換，但是後面沒有在Action中使用對應的結果，在執行時會被直接跳過，如

1

2

3

4

5

6

7

8

val sparkconf = new SparkConf().setMaster("local").setAppName("test").set("spark.port.maxRetries","1000")

val spark = SparkSession.builder().config(sparkconf).getOrCreate()

val rdd=spark.sparkContext.parallelize(Seq(("a", 1), ("b", 1), ("a", 1)))

rdd.map{line=>

println(

"執行")

line._1

}

map中的println("執行")並不會執行

3、三者都會根據spark的記憶體情況自動快取運算，這樣即使資料量很大，也不用擔心會記憶體溢位

4、三者都有partition的概念，如

1

2

3

4

5

6

7

8

var predata=data.repartition(24).mapPartitions{

PartLine => {

PartLine.map{

line =>

println(“轉換操作”)

}

}

} 

這樣對每一個分割槽進行操作時，就跟在運算元組一樣，不但資料量比較小，而且可以方便的將map中的運算結果拿出來，如果直接用map，map中對外面的操作是無效的，如

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

val rdd=spark.sparkContext.parallelize(Seq(("a", 1), ("b", 1), ("a", 1)))

var flag=0

val test=rdd.map{line=>

println("執行")

flag+=1

println(flag)

line._1

}

println(test.count)

println(flag)

/**

執行

1

執行

2

執行

3

3

0

* */

不使用partition時，對map之外的操作無法對map之外的變數造成影響

5、三者有許多共同的函式，如filter，排序等

6、在對DataFrame和Dataset進行操作許多操作都需要這個包進行支援

1

2

import spark.implicits._

//這裡的spark是SparkSession的變數名

7、DataFrame和Dataset均可使用模式匹配獲取各個欄位的值和型別

DataFrame:

1

2

3

4

5

6

7

testDF.map{

case Row(col1:String,col2:Int)=>

println(col1);println(col2)

col1

case _=>

""

}

為了提高穩健性，最好後面有一個_通配操作，這裡提供了DataFrame一個解析欄位的方法

Dataset:

1

2

3

4

5

6

7

8

case class Coltest(col1:String,col2:Int)extends Serializable //定義欄位名和型別

testDS.map{

case Coltest(col1:String,col2:Int)=>

println(col1);println(col2)

col1

case _=>

""

}

區別：

RDD:

1、RDD一般和spark mlib同時使用

2、RDD不支援sparksql操作

DataFrame:

1、與RDD和Dataset不同，DataFrame每一行的型別固定為Row，只有通過解析才能獲取各個欄位的值，如

1

2

3

4

5

testDF.foreach{

line =>

val col1=line.getAs[String]("col1")

val col2=line.getAs[String]("col2")

}

每一列的值沒法直接訪問

2、DataFrame與Dataset一般與spark ml同時使用

3、DataFrame與Dataset均支援sparksql的操作，比如select，groupby之類，還能註冊臨時表/視窗，進行sql語句操作，如

1

2

dataDF.createOrReplaceTempView("tmp")

spark.sql("select  ROW,DATE from tmp where DATE is not null order by DATE").show(100,false)

4、DataFrame與Dataset支援一些特別方便的儲存方式，比如儲存成csv，可以帶上表頭，這樣每一列的欄位名一目瞭然

1

2

3

4

5

6

//儲存

val saveoptions = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://172.xx.xx.xx:9000/test")

datawDF.write.format("com.databricks.spark.csv").mode(SaveMode.Overwrite).options(saveoptions).save()

//讀取

val options = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://172.xx.xx.xx:9000/test")

val datarDF= spark.read.options(options).format("com.databricks.spark.csv").load()

利用這樣的儲存方式，可以方便的獲得欄位名和列的對應，而且分隔符（delimiter）可以自由指定

Dataset:

這裡主要對比Dataset和DataFrame，因為Dataset和DataFrame擁有完全相同的成員函式，區別只是每一行的資料型別不同

DataFrame也可以叫Dataset[Row],每一行的型別是Row，不解析，每一行究竟有哪些欄位，各個欄位又是什麼型別都無從得知，只能用上面提到的getAS方法或者共性中的第七條提到的模式匹配拿出特定欄位

而Dataset中，每一行是什麼型別是不一定的，在自定義了case class之後可以很自由的獲得每一行的資訊

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

case class Coltest(col1:String,col2:Int)extends Serializable //定義欄位名和型別

/**

rdd

("a", 1)

("b", 1)

("a", 1)

* */

val test: Dataset[Coltest]=rdd.map{line=>

Coltest(line._1,line._2)

}.toDS

test.map{

line=>

println(line.col1)

println(line.col2)

}

可以看出，Dataset在需要訪問列中的某個欄位時是非常方便的，然而，如果要寫一些適配性很強的函式時，如果使用Dataset，行的型別又不確定，可能是各種case class，無法實現適配，這時候用DataFrame即Dataset[Row]就能比較好的解決問題

轉化：

RDD、DataFrame、Dataset三者有許多共性，有各自適用的場景常常需要在三者之間轉換

DataFrame/Dataset轉RDD：

這個轉換很簡單

1

2

val rdd1=testDF.rdd

val rdd2=testDS.rdd

RDD轉DataFrame：

1

2

3

4

import spark.implicits._

val testDF = rdd.map {line=>

(line._1,line._2)

}.toDF("col1","col2")

一般用元組把一行的資料寫在一起，然後在toDF中指定欄位名

RDD轉Dataset：

1

2

3

4

5

import spark.implicits._

case class Coltest(col1:String,col2:Int)extends Serializable //定義欄位名和型別

val testDS = rdd.map {line=>

Coltest(line._1,line._2)

}.toDS

可以注意到，定義每一行的型別（case class）時，已經給出了欄位名和型別，後面只要往case class裡面新增值即可

Dataset轉DataFrame：

這個也很簡單，因為只是把case class封裝成Row

1

2

import spark.implicits._

val testDF = testDS.toDF

DataFrame轉Dataset：

1

2

3

import spark.implicits._

case class Coltest(col1:String,col2:Int)extends Serializable //定義欄位名和型別

val testDS = testDF.as[Coltest]

這種方法就是在給出每一列的型別後，使用as方法，轉成Dataset，這在資料型別是DataFrame又需要針對各個欄位處理時極為方便

特別注意：

在使用一些特殊的操作時，一定要加上 import spark.implicits._ 不然toDF、toDS無法使用

相關推薦

RDD/DataFrame/Dataset的區別和各自的優勢

在spark中，RDD、DataFrame、Dataset是最常用的資料型別，本博文給出筆者在使用的過程中體會到的區別和各自的優勢 共性： 1、RDD、DataFrame、Dataset全都是spark平臺下的分散式彈性資料集，為處理超大型資料提供便利 2、三者

談談RDD、DataFrame、Dataset的區別和各自的優勢

在spark中，RDD、DataFrame、Dataset是最常用的資料型別，本博文給出筆者在使用的過程中體會到的區別和各自的優勢共性：1、RDD、DataFrame、Dataset全都是spark平臺下的分散式彈性資料集，為處理超大型資料提供便利2、三者都有惰性機制，在進行

Spark RDD、DataFrame、DataSet區別和聯絡

左側的RDD[Person]雖然以Person為型別引數，但Spark框架本身不瞭解Person類的內部結構。而右側的DataFrame卻提供了詳細的結構資訊，使得Spark SQL可以清楚地知道該資料集中包含哪些列，每列的名稱和型別各是什麼。DataFrame多了資料的結構資訊，即schema。RDD是分散

L1和L2的區別和各自的優勢

引出 正則化項可以取不同的形式。例如迴歸問題中，損失函式是平方損失，正則化項可以是引數向量的L2範數： 這裡，表示引數向量w的L2範數。 正則化項也可以是引數向量的L1範數： 這裡表示引數向量w的L1範數。 L1和L2的定義 L1是絕

ArrayList、Hashtable、DataTable、DataView、DataReader和DataSet,DataGrid等的區別和各自的優缺點

ArrayList是可變陣列，只能通過索引來查詢資料。通過Add()方法新增資料..        Hashtable是雜湊表..存的是鍵值對...一個鍵對應一個值.優點就是可以通過關鍵字來找到對應的資料.     如:Hashtable   ht   =   new  

APACHE SPARK 2.0 API IMPROVEMENTS: RDD, DATAFRAME, DATASET AND SQL

new limit runtime font blank eth epo rmi syn What’s New, What’s Changed and How to get Started. Are you ready for Apache Spark 2.0? If yo

【PHP面向物件】介面跟抽象類的區別和各自的用法

author：咔咔 wechat：fangkangfk   介面： 介面是用interface宣告的 介面中定義的方法都是公共的 介面只需要宣告自定義方法不需要具體內容 實現介面使用implements實現，介面支援多實現，使用逗號隔開即可 繼承介面的類

CSS 前處理器技術已經非常的成熟了，而且也湧現出了越來越多的 CSS 的前處理器框架。本文便總結下 Sass、Less CSS、Stylus這三個前處理器的區別和各自的基本語法。

CSS 前處理器技術已經非常的成熟了，而且也湧現出了越來越多的 CSS 的前處理器框架。本文便總結下 Sass、Less CSS、Stylus這三個前處理器的區別和各自的基本語法。 1.什麼是 CSS 前處理器 CSS 前處理器是一種語言用來為 CSS 增加一些程式設計的的特性，無需

簡述list，vector，map，set四中STL的資料結構的區別和各自特點

    向量 相當於一個數組     在記憶體中分配一塊連續的記憶體空間進行儲存。支援不指定vector大小的儲存。STL內部實現時，首先分配一個非常大的記憶體空間預備進行儲存，即capacituy（）函式返回的大小，當超過此分配的空間時再整體重新放分配一塊記憶體儲存，這給人以vector可以不指定vect

描述Cookie和Session的作用，區別和各自的應用範圍，Session工作原理

Session用於儲存每個使用者的專用資訊. 每個客戶端使用者訪問時，伺服器都為每個使用者分配一個唯一的會話ID（Session ID) . 她的生存期是使用者持續請求時間再加上一段時間(一般是20分鐘左右).Session中的資訊儲存在Web伺服器內容中,儲存

Spark RDD-DataFrame-DataSet三者異同

三者的共性 RDD、DataFrame、Dataset全都是spark平臺下的分散式彈性資料集，為處理超大型資料提供便利 三者都有惰性機制，在進行建立、轉換，如map方法時，不會立即執行，只有在遇到Action如foreach時，三者才會開始遍歷運算，極端情況下，如果程式碼裡面有

RS-232、RS422和RS-485的區別和各自的實現方式

一、殊途同歸 RS-232、RS422和RS-485 均屬於UART是通用非同步收發傳輸器（Universal Asynchronous Receiver/Transmitter)，僅用兩根訊號線（Rx 和Tx）就可以完成通訊過程； 而由於各自使用的電平有所

spark中RDD，DataSet，DataFrame的區別

接觸到spark不可避免的會接觸spark的Api；           rdd,DataFrame,DataSet， 接下來就大致說一下他們的有點以及各自的區別； 首先DataFrame，Data

DataFrame和RDD之間的區別以及兩者之間的相互轉換

一、DataFrame和RDD之間的區別 從下面的圖中可以看出DataFrame和RDD的區別。RDD是分散式的 Java物件的集合，比如，RDD[Person]是以Person為型別引數，但是，Person類的內部結構對於RDD而言卻是不可知的。DataFrame是一種以RDD為基礎的分散

SparkSQL（8）：DataSet和DataFrame區別和轉換

1.概念： （1）DataSet和RDD   大資料的框架許多都要把記憶體中的資料往磁盤裡寫，所以DataSet取代rdd和dataframe。因為，現階段底層序列化機制使用的是java的或者Kryo的形式。但是，java序列化出來的資料很大，影響儲存Kryo對於小資料量

RDD和DataFrame的區別

1.RDD在建立之後，你知道有這個類，但是你不知道他的內部結構的，DataFrame是以列式儲存，它有schema是可以知道的。 2.DataRrame比RDD的執行效率要高一點，因為在大資料的處理中，RDD即使用mappartition或者foreachRDD都要消耗不少的core，但是Dat

何時使用RDD和DataFrame/DataSet

下面是使用RDD的場景和常見案例： 你希望可以對你的資料集進行最基本的轉換、處理和控制； 你的資料是非結構化的，比如流媒體或者字元流； 你不希望像進行列式處理一樣定義一個模式，通過名字或欄位來處理

RDD,DataFrame與DataSet區別

1.RDD與DataFrame的區別 下面的圖直觀地體現了DataFrame和RDD的區別。左側的RDD[Person]雖然以Person為型別引數，但Spark框架本身不瞭解Person類的內部結構。而右側的DataFrame卻提供了詳細的結構資訊，使得Sp

protocol學習筆記001---RPC和HTTP協議之間的區別_與各自優勢

很長時間以來都沒有怎麼好好搞清楚RPC（即Remote Procedure Call，遠端過程呼叫）和HTTP呼叫的區別，不都是寫一個服務然後在客戶端呼叫麼？這裡請允許我迷之一笑~Naive！本文簡單地介紹一下兩種形式的C/S架構，先說一下他們最本質的區別，就是RPC主要是基

Spark RDD、DataSet、DataFrame--區別（個人理解）

描述：實驗將系統資料分別轉換成RDD，DataSet、DataFrame，然後進行比較，資料有四列，分別起名為a、b、c、d。class People(a:String, b:String, c:String, d:String)RDD：轉換成RDD[People]後，發現每