這篇文章主要介紹了pandas和spark dataframe互相轉換例項詳解,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

from pyspark.sql import SparkSession
# 初始化spark會話
spark = SparkSession \
  .builder \
  .getOrCreate()
spark_df = spark.createDataFrame(pandas_df)

spark的dataframe轉pandas的dataframe

import pandas as pd
pandas_df = spark_df.toPandas()

由於pandas的方式是單機版的，即toPandas()的方式是單機版的，所以參考breeze_lsw改成分散式版本：

import pandas as pd
def _map_to_pandas(rdds):
  return [pd.DataFrame(list(rdds))]
  
def topas(df,n_partitions=None):
  if n_partitions is not None: df = df.repartition(n_partitions)
  df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
  df_pand = pd.concat(df_pand)
  df_pand.columns = df.columns
  return df_pand
  
pandas_df = topas(spark_df)

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。