Spark bug:java.lang.IllegalArgumentException: Illegal pattern component: XXX 解決辦法
阿新 • • 發佈:2019-02-17
一.特點:
1.此問題經常出現在spark2.1.x升級到spark2.2.x的時候出現。比如通過maven構建spark環境的時候,依賴maven進行版本升級。
2.此問題出現在呼叫spark.read.json或者csv的時候出現。
二.原因
maven升級的時候,沒有自動載入完整依賴包,jsonAPI對於timeStampFormat有特殊需求,預設為
`yyyy-MM-dd'T'HH:mm:ss.SSSXXX`這種格式,是無法被scala-lang包識別的。
* <li>`timestampFormat` (default `yyyy-MM-dd'T'HH:mm:ss.SSSXXX`): sets the string that * indicates a timestamp format. Custom date formats follow the formats at * `java.text.SimpleDateFormat`. This applies to timestamp type.</li>
三.解決方式
方法一:修改option選項修改預設的timeStampFormat
spark.read.json
.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
.load
方法二:手動增加lang包的依賴,在pom檔案裡面增加:
<dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.5</version> </dependency>