1. 程式人生 > >SparkSQL奇葩錯誤 UTF8String類 noSerializableException

SparkSQL奇葩錯誤 UTF8String類 noSerializableException

用SparkSQL讀取Hive中的資料後,將DataFrame轉化成JavaRDD,想要foreach列印裡面的內容,或者collect一下,都會報錯:

在這裡插入圖片描述
說是某各類沒有序列化,但是我找來找去沒有在閉包內部使用外部類,連collect一下也報錯。

上網查說是版本的bug,這是Spark2.2.0的bug,後面2.2.1以後就修復了,我就換了2.2.1的版本,就直接可以跑了