hadoop的資料序列化型別
阿新 • • 發佈:2018-12-15
hadoop的資料序列化型別
IntWritable,FloatWritable,LongWritable,DoubleWritable,Text,
BooleanWritable,ByteWritable,MapWritable,ArrayWritable
JAVA的資料型別
int,float,long,double,string,boolean,byte,map,array
為什麼要序列化?
序列化就是把記憶體當中的物件,轉換成位元組序列比便於儲存和網路傳輸
儲存“活的物件”
hadoop序列化實現了hadoop的上傳和下載
java序列化實現了網路傳輸
反序列化就是將收到的位元組序列或者硬碟的持久化資料,轉換成記憶體中的物件。
java的序列化->Serializable
為什麼不用java提供的序列化介面?
java的序列化是一個重量級的序列化框架,一個物件被序列化後會附帶很多額外的資訊(校驗資訊,header,繼承體系等)。
不便於在網路中的高效傳輸,所以hadoop開發了一套序列化機制(Writable),精簡/高效。
為什麼序列化在hadoop中很重要?
hadoop通訊是通過遠端呼叫(rpc)實現的,需要進行序列化
特點:
1)緊湊
2)快速
3)可拓展
4)互操作