1. 程式人生 > 其它 >pandas的dataframe轉spark的dataframe 互轉

pandas的dataframe轉spark的dataframe 互轉

技術標籤:sparkpandas資料分析

目錄

pandas的dataframe轉spark的dataframe

spark的dataframe轉pandas的dataframe


本篇介紹Pandas的DataFrame和Spark的DataFrame之間的互轉操作。

pandas的dataframe轉spark的dataframe

import pandas as pd
# 載入資料
pd_df = pd.read_csv("./you_csv_file.csv")
# 展示columns
pd_df.columns
# 輸出 Index(['ColA', 'ColB', 'ColC'], dtype='object')
# pandas的dataframe轉spark的dataframe
spark_df = spark.createD