1. 程式人生 > >hiveSql常見錯誤記錄

hiveSql常見錯誤記錄

增加 ons log 匯總 mod 行數據 階段 font pan

1. In strict mode, if ORDER BY is specified, LIMIT must also be specified.

這個錯誤提示是因為在hive下寫的sql使用了order by對數據進行數據排序,因為order by事實上是全局排序,因此,在reduce階段僅為一個reduce做匯總,為此,數據量龐大,在hive的嚴格模式下禁止全局排序的。

兩種解決方案

  • 更改hive嚴格模式設定set hive.mapred.mode = nonstrict
  • SQL末尾增加limit限定

hiveSql常見錯誤記錄