Pyspark讀取parquet資料過程解析
阿新 • • 發佈:2020-03-29
parquet資料:列式儲存結構,由Twitter和Cloudera合作開發,相比於行式儲存,其特點是:
可以跳過不符合條件的資料,只讀取需要的資料,降低IO資料量;壓縮編碼可以降低磁碟儲存空間,使用更高效的壓縮編碼節約儲存空間;只讀取需要的列,支援向量運算,能夠獲取更好的掃描效能。
那麼我們怎麼在pyspark中讀取和使用parquet資料呢?我以local模式,linux下的pycharm執行作說明。
首先,匯入庫檔案和配置環境:
import os from pyspark import SparkContext,SparkConf from pyspark.sql.session import SparkSession os.environ["PYSPARK_PYTHON"]="/usr/bin/python3" #多個python版本時需要指定 conf = SparkConf().setAppName('test_parquet') sc = SparkContext('local','test',conf=conf) spark = SparkSession(sc)
然後,使用spark進行讀取,得到DataFrame格式的資料:host:port 屬於主機和埠號
parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet"
df = spark.read.parquet(parquetFile)
而,DataFrame格式資料有一些方法可以使用,例如:
1.df.first() :顯示第一條資料,Row格式
print(df.first())
2.df.columns:列名
3.df.count():資料量,資料條數
4.df.toPandas():從spark的DataFrame格式資料轉到Pandas資料結構
5.df.show():直接顯示錶資料;其中df.show(n) 表示只顯示前n行資訊
6.type(df):顯資料示格式
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。