1. 程式人生 > 其它 >Class com.hadoop.compression.lzo.LzoCodec not found

Class com.hadoop.compression.lzo.LzoCodec not found

技術標籤:# scala/spark

問題描述

使用Spark beeline連線外接hive之後select語句報錯
Class com.hadoop.compression.lzo.LzoCodec not found
在這裡插入圖片描述

問題原因

Spark on Yarn會預設使用Hadoop叢集配置檔案設定編碼方式,但是Spark在自己的spark-yarn/jars 包裡面沒有找到支援lzo壓縮的jar包,所以報錯。

問題解決

拷貝lzo到spark的jar目錄下

cp /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/spark3/jars/