Java 8 中的 Streams API 詳解
Streams 的背景,以及 Java 8 中的使用詳解
陳 爭雲, 佔 宇劍, 和 司 磊 2014 年 9 月 11 日釋出
為什麼需要 Stream
Stream 作為 Java 8 的一大亮點,它與 java.io 包裡的 InputStream 和 OutputStream 是完全不同的概念。它也不同於 StAX 對 XML 解析的 Stream,也不是 Amazon Kinesis 對大資料實時處理的 Stream。Java 8 中的 Stream 是對集合(Collection)物件功能的增強,它專注於對集合物件進行各種非常便利、高效的聚合操作(aggregate operation),或者大批量資料操作 (bulk data operation)。Stream API 藉助於同樣新出現的 Lambda 表示式,極大的提高程式設計效率和程式可讀性。同時它提供序列和並行兩種模式進行匯聚操作,併發模式能夠充分利用多核處理器的優勢,使用 fork/join 並行方式來拆分任務和加速處理過程。通常編寫並行程式碼很難而且容易出錯, 但使用 Stream API 無需編寫一行多執行緒的程式碼,就可以很方便地寫出高效能的併發程式。所以說,Java 8 中首次出現的 java.util.stream 是一個函式式語言+多核時代綜合影響的產物。
什麼是聚合操作
在傳統的 J2EE 應用中,Java 程式碼經常不得不依賴於關係型資料庫的聚合操作來完成諸如:
- 客戶每月平均消費金額
- 最昂貴的在售商品
- 本週完成的有效訂單(排除了無效的)
- 取十個資料樣本作為首頁推薦
這類的操作。
但在當今這個資料大爆炸的時代,在資料來源多樣化、資料海量化的今天,很多時候不得不脫離 RDBMS,或者以底層返回的資料為基礎進行更上層的資料統計。而 Java 的集合 API 中,僅僅有極少量的輔助型方法,更多的時候是程式設計師需要用 Iterator 來遍歷集合,完成相關的聚合應用邏輯。這是一種遠不夠高效、笨拙的方法。在 Java 7 中,如果要發現 type 為 grocery 的所有交易,然後返回以交易值降序排序好的交易 ID 集合,我們需要這樣寫:
清單 1. Java 7 的排序、取值實現
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
|
而在 Java 8 使用 Stream,程式碼更加簡潔易讀;而且使用併發模式,程式執行速度更快。
清單 2. Java 8 的排序、取值實現
1 2 3 4 5 |
|
Stream 總覽
什麼是流
Stream 不是集合元素,它不是資料結構並不儲存資料,它是有關演算法和計算的,它更像一個高階版本的 Iterator。原始版本的 Iterator,使用者只能顯式地一個一個遍歷元素並對其執行某些操作;高階版本的 Stream,使用者只要給出需要對其包含的元素執行什麼操作,比如 “過濾掉長度大於 10 的字串”、“獲取每個字串的首字母”等,Stream 會隱式地在內部進行遍歷,做出相應的資料轉換。
Stream 就如同一個迭代器(Iterator),單向,不可往復,資料只能遍歷一次,遍歷過一次後即用盡了,就好比流水從面前流過,一去不復返。
而和迭代器又不同的是,Stream 可以並行化操作,迭代器只能命令式地、序列化操作。顧名思義,當使用序列方式去遍歷時,每個 item 讀完後再讀下一個 item。而使用並行去遍歷時,資料會被分成多個段,其中每一個都在不同的執行緒中處理,然後將結果一起輸出。Stream 的並行操作依賴於 Java7 中引入的 Fork/Join 框架(JSR166y)來拆分任務和加速處理過程。Java 的並行 API 演變歷程基本如下:
- 1.0-1.4 中的 java.lang.Thread
- 5.0 中的 java.util.concurrent
- 6.0 中的 Phasers 等
- 7.0 中的 Fork/Join 框架
- 8.0 中的 Lambda
Stream 的另外一大特點是,資料來源本身可以是無限的。
流的構成
當我們使用一個流的時候,通常包括三個基本步驟:
獲取一個數據源(source)→ 資料轉換→執行操作獲取想要的結果,每次轉換原有 Stream 物件不改變,返回一個新的 Stream 物件(可以有多次轉換),這就允許對其操作可以像鏈條一樣排列,變成一個管道,如下圖所示。
圖 1. 流管道 (Stream Pipeline) 的構成
有多種方式生成 Stream Source:
- 從 Collection 和陣列
-
- Collection.stream()
- Collection.parallelStream()
- Arrays.stream(T array) or Stream.of()
- java.io.BufferedReader.lines()
- 靜態工廠
- java.util.stream.IntStream.range()
- java.nio.file.Files.walk()
- 自己構建
-
- java.util.Spliterator
- Random.ints()
- BitSet.stream()
- Pattern.splitAsStream(java.lang.CharSequence)
- JarFile.stream()
流的操作型別分為兩種:
- Intermediate:一個流可以後面跟隨零個或多個 intermediate 操作。其目的主要是開啟流,做出某種程度的資料對映/過濾,然後返回一個新的流,交給下一個操作使用。這類操作都是惰性化的(lazy),就是說,僅僅呼叫到這類方法,並沒有真正開始流的遍歷。
- Terminal:一個流只能有一個 terminal 操作,當這個操作執行後,流就被使用“光”了,無法再被操作。所以這必定是流的最後一個操作。Terminal 操作的執行,才會真正開始流的遍歷,並且會生成一個結果,或者一個 side effect。
在對於一個 Stream 進行多次轉換操作 (Intermediate 操作),每次都對 Stream 的每個元素進行轉換,而且是執行多次,這樣時間複雜度就是 N(轉換次數)個 for 迴圈裡把所有操作都做掉的總和嗎?其實不是這樣的,轉換操作都是 lazy 的,多個轉換操作只會在 Terminal 操作的時候融合起來,一次迴圈完成。我們可以這樣簡單的理解,Stream 裡有個操作函式的集合,每次轉換操作就是把轉換函式放入這個集合中,在 Terminal 操作的時候迴圈 Stream 對應的集合,然後對每個元素執行所有的函式。
還有一種操作被稱為 short-circuiting。用以指:
- 對於一個 intermediate 操作,如果它接受的是一個無限大(infinite/unbounded)的 Stream,但返回一個有限的新 Stream。
- 對於一個 terminal 操作,如果它接受的是一個無限大的 Stream,但能在有限的時間計算出結果。
當操作一個無限大的 Stream,而又希望在有限時間內完成操作,則在管道內擁有一個 short-circuiting 操作是必要非充分條件。
清單 3. 一個流操作的示例
1 2 3 4 |
|
stream() 獲取當前小物件的 source,filter 和 mapToInt 為 intermediate 操作,進行資料篩選和轉換,最後一個 sum() 為 terminal 操作,對符合條件的全部小物件作重量求和。
流的使用詳解
簡單說,對 Stream 的使用就是實現一個 filter-map-reduce 過程,產生一個最終結果,或者導致一個副作用(side effect)。
流的構造與轉換
下面提供最常見的幾種構造 Stream 的樣例。
清單 4. 構造流的幾種常見方法
1 2 3 4 5 6 7 8 9 |
|
需要注意的是,對於基本數值型,目前有三種對應的包裝型別 Stream:
IntStream、LongStream、DoubleStream。當然我們也可以用 Stream<Integer>、Stream<Long> >、Stream<Double>,但是 boxing 和 unboxing 會很耗時,所以特別為這三種基本數值型提供了對應的 Stream。
Java 8 中還沒有提供其它數值型 Stream,因為這將導致擴增的內容較多。而常規的數值型聚合運算可以通過上面三種 Stream 進行。
清單 5. 數值流的構造
1 2 3 |
|
清單 6. 流轉換為其它資料結構
1 2 3 4 5 6 7 8 9 |
|
一個 Stream 只可以使用一次,上面的程式碼為了簡潔而重複使用了數次。
流的操作
接下來,當把一個數據結構包裝成 Stream 後,就要開始對裡面的元素進行各類操作了。常見的操作可以歸類如下。
- Intermediate:
map (mapToInt, flatMap 等)、 filter、 distinct、 sorted、 peek、 limit、 skip、 parallel、 sequential、 unordered
- Terminal:
forEach、 forEachOrdered、 toArray、 reduce、 collect、 min、 max、 count、 anyMatch、 allMatch、 noneMatch、 findFirst、 findAny、 iterator
- Short-circuiting:
anyMatch、 allMatch、 noneMatch、 findFirst、 findAny、 limit
我們下面看一下 Stream 的比較典型用法。
map/flatMap
我們先來看 map。如果你熟悉 scala 這類函式式語言,對這個方法應該很瞭解,它的作用就是把 input Stream 的每一個元素,對映成 output Stream 的另外一個元素。
清單 7. 轉換大寫
1 2 3 |
|
這段程式碼把所有的單詞轉換為大寫。
清單 8. 平方數
1 2 3 4 |
|
這段程式碼生成一個整數 list 的平方數 {1, 4, 9, 16}。
從上面例子可以看出,map 生成的是個 1:1 對映,每個輸入元素,都按照規則轉換成為另外一個元素。還有一些場景,是一對多對映關係的,這時需要 flatMap。
清單 9. 一對多
1 2 3 4 5 6 7 |
|
flatMap 把 input Stream 中的層級結構扁平化,就是將最底層元素抽出來放到一起,最終 output 的新 Stream 裡面已經沒有 List 了,都是直接的數字。
filter
filter 對原始 Stream 進行某項測試,通過測試的元素被留下來生成一個新 Stream。
清單 10. 留下偶數
1 2 3 |
|
經過條件“被 2 整除”的 filter,剩下的數字為 {2, 4, 6}。
清單 11. 把單詞挑出來
1 2 3 4 |
|
這段程式碼首先把每行的單詞用 flatMap 整理到新的 Stream,然後保留長度不為 0 的,就是整篇文章中的全部單詞了。
forEach
forEach 方法接收一個 Lambda 表示式,然後在 Stream 的每一個元素上執行該表示式。
清單 12. 列印姓名(forEach 和 pre-java8 的對比)
1 2 3 4 5 6 7 8 9 10 |
|
對一個人員集合遍歷,找出男性並列印姓名。可以看出來,forEach 是為 Lambda 而設計的,保持了最緊湊的風格。而且 Lambda 表示式本身是可以重用的,非常方便。當需要為多核系統優化時,可以 parallelStream().forEach(),只是此時原有元素的次序沒法保證,並行的情況下將改變序列時操作的行為,此時 forEach 本身的實現不需要調整,而 Java8 以前的 for 迴圈 code 可能需要加入額外的多執行緒邏輯。
但一般認為,forEach 和常規 for 迴圈的差異不涉及到效能,它們僅僅是函式式風格與傳統 Java 風格的差別。
另外一點需要注意,forEach 是 terminal 操作,因此它執行後,Stream 的元素就被“消費”掉了,你無法對一個 Stream 進行兩次 terminal 運算。下面的程式碼是錯誤的:
1 2 |
|
相反,具有相似功能的 intermediate 操作 peek 可以達到上述目的。如下是出現在該 api javadoc 上的一個示例。
清單 13. peek 對每個元素執行操作並返回一個新的 Stream
1 2 3 4 5 6 |
|
forEach 不能修改自己包含的本地變數值,也不能用 break/return 之類的關鍵字提前結束迴圈。
findFirst
這是一個 termimal 兼 short-circuiting 操作,它總是返回 Stream 的第一個元素,或者空。
這裡比較重點的是它的返回值型別:Optional。這也是一個模仿 Scala 語言中的概念,作為一個容器,它可能含有某值,或者不包含。使用它的目的是儘可能避免 NullPointerException。
清單 14. Optional 的兩個用例
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
|
在更復雜的 if (xx != null) 的情況中,使用 Optional 程式碼的可讀性更好,而且它提供的是編譯時檢查,能極大的降低 NPE 這種 Runtime Exception 對程式的影響,或者迫使程式設計師更早的在編碼階段處理空值問題,而不是留到執行時再發現和除錯。
Stream 中的 findAny、max/min、reduce 等方法等返回 Optional 值。還有例如 IntStream.average() 返回 OptionalDouble 等等。
reduce
這個方法的主要作用是把 Stream 元素組合起來。它提供一個起始值(種子),然後依照運算規則(BinaryOperator),和前面 Stream 的第一個、第二個、第 n 個元素組合。從這個意義上說,字串拼接、數值的 sum、min、max、average 都是特殊的 reduce。例如 Stream 的 sum 就相當於
Integer sum = integers.reduce(0, (a, b) -> a+b); 或
Integer sum = integers.reduce(0, Integer::sum);
也有沒有起始值的情況,這時會把 Stream 的前面兩個元素組合起來,返回的是 Optional。
清單 15. reduce 的用例
1 2 3 4 5 6 7 8 9 10 11 12 |
|
上面程式碼例如第一個示例的 reduce(),第一個引數(空白字元)即為起始值,第二個引數(String::concat)為 BinaryOperator。這類有起始值的 reduce() 都返回具體的物件。而對於第四個示例沒有起始值的 reduce(),由於可能沒有足夠的元素,返回的是 Optional,請留意這個區別。
limit/skip
limit 返回 Stream 的前面 n 個元素;skip 則是扔掉前 n 個元素(它是由一個叫 subStream 的方法改名而來)。
清單 16. limit 和 skip 對執行次數的影響
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
|
輸出結果為:
1 2 3 4 5 6 7 8 9 10 11 |
|
這是一個有 10,000 個元素的 Stream,但在 short-circuiting 操作 limit 和 skip 的作用下,管道中 map 操作指定的 getName() 方法的執行次數為 limit 所限定的 10 次,而最終返回結果在跳過前 3 個元素後只有後面 7 個返回。
有一種情況是 limit/skip 無法達到 short-circuiting 目的的,就是把它們放在 Stream 的排序操作後,原因跟 sorted 這個 intermediate 操作有關:此時系統並不知道 Stream 排序後的次序如何,所以 sorted 中的操作看上去就像完全沒有被 limit 或者 skip 一樣。
清單 17. limit 和 skip 對 sorted 後的執行次數無影響
1 2 3 4 5 6 7 8 |
|
上面的示例對清單 13 做了微調,首先對 5 個元素的 Stream 排序,然後進行 limit 操作。輸出結果為:
1 2 3 4 5 6 7 8 9 |
|
即雖然最後的返回元素數量是 2,但整個管道中的 sorted 表示式執行次數沒有像前面例子相應減少。
最後有一點需要注意的是,對一個 parallel 的 Steam 管道來說,如果其元素是有序的,那麼 limit 操作的成本會比較大,因為它的返回物件必須是前 n 個也有一樣次序的元素。取而代之的策略是取消元素間的次序,或者不要用 parallel Stream。
sorted
對 Stream 的排序通過 sorted 進行,它比陣列的排序更強之處在於你可以首先對 Stream 進行各類 map、filter、limit、skip 甚至 distinct 來減少元素數量後,再排序,這能幫助程式明顯縮短執行時間。我們對清單 14 進行優化:
清單 18. 優化:排序前進行 limit 和 skip
1 2 3 4 5 6 7 |
|
結果會簡單很多:
1 2 3 |
|
當然,這種優化是有 business logic 上的侷限性的:即不要求排序後再取值。
min/max/distinct
min 和 max 的功能也可以通過對 Stream 元素先排序,再 findFirst 來實現,但前者的效能會更好,為 O(n),而 sorted 的成本是 O(n log n)。同時它們作為特殊的 reduce 方法被獨立出來也是因為求最大最小值是很常見的操作。
清單 19. 找出最長一行的長度
1 2 3 4 5 6 7 |
|
下面的例子則使用 distinct 來找出不重複的單詞。
清單 20. 找出全文的單詞,轉小寫,並排序
1 2 3 4 5 6 7 8 9 |
|
Match
Stream 有三個 match 方法,從語義上說:
- allMatch:Stream 中全部元素符合傳入的 predicate,返回 true
- anyMatch:Stream 中只要有一個元素符合傳入的 predicate,返回 true
- noneMatch:Stream 中沒有一個元素符合傳入的 predicate,返回 true
它們都不是要遍歷全部元素才能返回結果。例如 allMatch 只要一個元素不滿足條件,就 skip 剩下的所有元素,返回 false。對清單 13 中的 Person 類稍做修改,加入一個 age 屬性和 getAge 方法。
清單 21. 使用 Match
1 2 3 4 5 6 7 8 9 10 11 12 |
|
輸出結果:
1 2 |
|
進階:自己生成流
Stream.generate
通過實現 Supplier 介面,你可以自己來控制流的生成。這種情形通常用於隨機數、常量的 Stream,或者需要前後元素間維持著某種狀態資訊的 Stream。把 Supplier 例項傳遞給 Stream.generate() 生成的 Stream,預設是序列(相對 parallel 而言)但無序的(相對 ordered 而言)。由於它是無限的,在管道中,必須利用 limit 之類的操作限制 Stream 大小。
清單 22. 生成 10 個隨機整數
1 2 3 4 5 6 |
|
Stream.generate() 還接受自己實現的 Supplier。例如在構造海量測試資料的時候,用某種自動的規則給每一個變數賦值;或者依據公式計算 Stream 的每個元素值。這些都是維持狀態資訊的情形。
清單 23. 自實現 Supplier
1 2 3 4 5 6 7 8 9 10 11 |
|
輸出結果:
1 2 3 4 5 6 7 8 9 10 |
|
Stream.iterate
iterate 跟 reduce 操作很像,接受一個種子值,和一個 UnaryOperator(例如 f)。然後種子值成為 Stream 的第一個元素,f(seed) 為第二個,f(f(seed)) 第三個,以此類推。
清單 24. 生成一個等差數列
1 |
|
輸出結果:
1 |
|
與 Stream.generate 相仿,在 iterate 時候管道必須有 limit 這樣的操作來限制 Stream 大小。
進階:用 Collectors 來進行 reduction 操作
java.util.stream.Collectors 類的主要作用就是輔助進行各類有用的 reduction 操作,例如轉變輸出為 Collection,把 Stream 元素進行歸組。
groupingBy/partitioningBy
清單 25. 按照年齡歸組
1 2 3 4 5 6 7 8 |
|
上面的 code,首先生成 100 人的資訊,然後按照年齡歸組,相同年齡的人放到同一個 list 中,可以看到如下的輸出:
1 2 3 4 5 6 7 |
|
清單 26. 按照未成年人和成年人歸組
1 2 3 4 5 |
|
輸出結果:
1 2 |
|
在使用條件“年齡小於 18”進行分組後可以看到,不到 18 歲的未成年人是一組,成年人是另外一組。partitioningBy 其實是一種特殊的 groupingBy,它依照條件測試的是否兩種結果來構造返回的資料結構,get(true) 和 get(false) 能即為全部的元素物件。
結束語
總之,Stream 的特性可以歸納為:
- 不是資料結構
- 它沒有內部儲存,它只是用操作管道從 source(資料結構、陣列、generator function、IO channel)抓取資料。
- 它也絕不修改自己所封裝的底層資料結構的資料。例如 Stream 的 filter 操作會產生一個不包含被過濾元素的新 Stream,而不是從 source 刪除那些元素。
- 所有 Stream 的操作必須以 lambda 表示式為引數
- 不支援索引訪問
- 你可以請求第一個元素,但無法請求第二個,第三個,或最後一個。不過請參閱下一項。
- 很容易生成陣列或者 List
- 惰性化
- 很多 Stream 操作是向後延遲的,一直到它弄清楚了最後需要多少資料才會開始。
- Intermediate 操作永遠是惰性化的。
- 並行能力
- 當一個 Stream 是並行化的,就不需要再寫多執行緒程式碼,所有對它的操作會自動並行進行的。
- 可以是無限的
- 集合有固定大小,Stream 則不必。limit(n) 和 findFirst() 這類的 short-circuiting 操作可以對無限的 Stream 進行運算並很快完成。