1. 程式人生 > 其它 >pyspark 中dataframe 轉 pandas時報錯:Can only use .dt accessor with datetimelike values

pyspark 中dataframe 轉 pandas時報錯:Can only use .dt accessor with datetimelike values

技術標籤:pyspark

使用pyspark將spark的dataframe轉化為pandas的dataframe時,如果frame中"date"格式的資料,會報錯:

AttributeError: Can only use .dt accessor with datetimelike values

驗證資料確實是"date“格式的資料:

原因&解決方案

pyspark的datetime格式無法與pandas的時間型別格式datetime直接對應。

需要轉化為pyspark的timestamp格式:

from pyspark.sql.functions import to_timestamp
res2 = res.withColumn('DATE', to_timestamp(res.DATE, 'yyyy-MM-dd')).toPandas(