1. 程式人生 > >spark 中 postgresql資料庫使用

spark 中 postgresql資料庫使用

畢竟是號稱世界上最先進的資料庫,還是要會一點的

一:

最近是在spark裡面使用,需要從資料庫中直接讀出資料構建Dataframe,但是這裡有一個坑點,我需要拿到每天的資料,但是如果不使用spark.sql()執行sql語句,而是使用其他API,就涉及一個日期條件怎麼寫的問題,
最後解決時是使用spark.read.jdbc(),引數除了url,表名,配置檔案,就是一個predicates的條件Array[String],重點就是這個條件string怎麼寫,檢視jdbc方法的原始碼,可以看出,其實這些條件還是形成sql去查詢,那麼就寫成postgresql的查詢語句就可以了,然後在條件這,如何形成一個date型的條件值使用date(日期),比如你要查詢1970-01-01這天的資料,條件應該寫成
columnName = date('1970-01-01')


如果是在程式中,要對單引號轉義\'

未完待續