pandas的dataframe轉spark的dataframe 互轉
阿新 • • 發佈:2021-01-13
目錄
pandas的dataframe轉spark的dataframe
spark的dataframe轉pandas的dataframe
本篇介紹Pandas的DataFrame和Spark的DataFrame之間的互轉操作。
pandas的dataframe轉spark的dataframe
import pandas as pd # 載入資料 pd_df = pd.read_csv("./you_csv_file.csv") # 展示columns pd_df.columns # 輸出 Index(['ColA', 'ColB', 'ColC'], dtype='object') # pandas的dataframe轉spark的dataframe spark_df = spark.createD