使用spark進行wordcount後可以通過Linux自帶的wc命令進行驗證

比如 spark命令是求出某個文件中spark的數量   使用wc驗證    grep spark README.md | wc   求出README.md中spark的數量

下面介紹一下用到的grep 和 wc命令

grep (global search regular expression(RE) and print out the line,全面搜尋正則表示式並把行打印出來)

[[email protected]
 
 ~]# grep [-acinv] [--color=auto] '搜尋字串' filename
選項與引數：
-a ：將 binary 檔案以 text 檔案的方式搜尋資料
-c ：計算找到 '搜尋字串' 的次數
-i ：忽略大小寫的不同，所以大小寫視為相同
-n ：順便輸出行號
-v ：反向選擇，亦即顯示出沒有 '搜尋字串' 內容的那一行！
--color=auto ：可以將找到的關鍵詞部分加上顏色的顯示喔

Linux系統中的wc(Word Count)命令的功能為統計指定檔案中的位元組數（-c）、字數（-w）、行數（-l），並將統計結果顯示輸出。

預設分別輸出    檔案的行數、單詞數、位元組數