1. 程式人生 > >linux-grep和正則

linux-grep和正則

grep

選項 效果
-i 忽略大小寫
--color
--colour
重點顯示搜尋字元
-v 反向過濾
顯示不匹配字元
-o 只顯示查詢字元
不包含行內其他資訊

正則

  • 區分

正則表示式要和萬用字元進行區分,有些地方相似,但是更多的是區別。

符號 萬用字元含義 正則含義
* 任意長度任意字元 任意個數
? 單個長度任意字元 01
表示式 匹配字元 萬用字元 正則
a*b acb 不匹配 匹配
  • 正則全集
    字元 描述
    \ 將下一個字元標記為一個特殊字元、或一個原義字元、或一個向後引用、或一個八進位制轉義符。例如,“n”匹配字元“n”。“\n”匹配一個換行符。序列“\\”匹配“\”而“\(”則匹配“(”。
    ^ 匹配輸入字串的開始位置。如果設定了RegExp物件的Multiline屬性,^也匹配“\n”或“\r”之後的位置。
    $ 匹配輸入字串的結束位置。如果設定了RegExp物件的Multiline屬性,$也匹配“\n”或“\r”之前的位置。
    * 匹配前面的子表示式零次或多次。例如,zo*能匹配“z
    ”以及“zoo”。*等價於{0,}。
    + 匹配前面的子表示式一次或多次。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等價於{1,}。
    ? 匹配前面的子表示式零次或一次。例如,“do(es)?”可以匹配“does”或“does”中的“do”。?等價於{0,1}。
    {n} n是一個非負整數。匹配確定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的兩個o。
    {n,} n是一個非負整數。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等價於“o+”。“o{0,}”則等價於“o*”。
    {n,m} mn均為非負整數,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”將匹配“fooooood”中的前三個o。“o{0,1}”等價於“o?”。請注意在逗號和兩個數之間不能有空格。
    ? 當該字元緊跟在任何一個其他限制符(*,+,?,{n},{n,},{n,m})後面時,匹配模式是非貪婪的。非貪婪模式儘可能少的匹配所搜尋的字串,而預設的貪婪模式則儘可能多的匹配所搜尋的字串。例如,對於字串“oooo”,“o+?”將匹配單個“o”,而“o+”將匹配所有“o”。
    . 匹配除“\n”之外的任何單個字元。要匹配包括“\n”在內的任何字元,請使用像“(.|\n)”的模式。
    (pattern) 匹配pattern並獲取這一匹配。所獲取的匹配可以從產生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中則使用$0…$9屬性。要匹配圓括號字元,請使用“\(”或“\)”。
    (?:pattern) 匹配pattern但不獲取匹配結果,也就是說這是一個非獲取匹配,不進行儲存供以後使用。這在使用或字元“(|)”來組合一個模式的各個部分是很有用。例如“industr(?:y|ies)”就是一個比“industry|industries”更簡略的表示式。
    (?=pattern) 正向肯定預查,在任何匹配pattern的字串開始處匹配查詢字串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以後使用。例如,“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”,但不能匹配“Windows3.1”中的“Windows”。預查不消耗字元,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜尋,而不是從包含預查的字元之後開始。
    (?!pattern) 正向否定預查,在任何不匹配pattern的字串開始處匹配查詢字串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以後使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”,但不能匹配“Windows2000”中的“Windows”。預查不消耗字元,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜尋,而不是從包含預查的字元之後開始
    (?<=pattern) 反向肯定預查,與正向肯定預查類擬,只是方向相反。例如,“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”,但不能匹配“3.1Windows”中的“Windows”。
    (?<!pattern) 反向否定預查,與正向否定預查類擬,只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”,但不能匹配“2000Windows”中的“Windows”。
    x|y 匹配x或y。例如,“z|food”能匹配“z”或“food”。“(z|f)ood”則匹配“zood”或“food”。
    [xyz] 字元集合。匹配所包含的任意一個字元。例如,“[abc]”可以匹配“plain”中的“a”。
    [^xyz] 負值字元集合。匹配未包含的任意字元。例如,“[^abc]”可以匹配“plain”中的“p”。
    [a-z] 字元範圍。匹配指定範圍內的任意字元。例如,“[a-z]”可以匹配“a”到“z”範圍內的任意小寫字母字元。
    [^a-z] 負值字元範圍。匹配任何不在指定範圍內的任意字元。例如,“[^a-z]”可以匹配任何不在“a”到“z”範圍內的任意字元。
    \b 匹配一個單詞邊界,也就是指單詞和空格間的位置。例如,“er\b”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。
    \B 匹配非單詞邊界。“er\B”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。
    \cx 匹配由x指明的控制字元。例如,\cM匹配一個Control-M或回車符。x的值必須為A-Z或a-z之一。否則,將c視為一個原義的“c”字元。
    \d 匹配一個數字字元。等價於[0-9]。
    \D 匹配一個非數字字元。等價於[^0-9]。
    \f 匹配一個換頁符。等價於\x0c和\cL。
    \n 匹配一個換行符。等價於\x0a和\cJ。
    \r 匹配一個回車符。等價於\x0d和\cM。
    \s 匹配任何空白字元,包括空格、製表符、換頁符等等。等價於[ \f\n\r\t\v]。
    \S 匹配任何非空白字元。等價於[^ \f\n\r\t\v]。
    \t 匹配一個製表符。等價於\x09和\cI。
    \v 匹配一個垂直製表符。等價於\x0b和\cK。
    \w 匹配包括下劃線的任何單詞字元。等價於“[A-Za-z0-9_]”。
    \W 匹配任何非單詞字元。等價於“[^A-Za-z0-9_]”。
    \xn 匹配n,其中n為十六進位制轉義值。十六進位制轉義值必須為確定的兩個數字長。例如,“\x41”匹配“A”。“\x041”則等價於“\x04&1”。正則表示式中可以使用ASCII編碼。.
    \num 匹配num,其中num是一個正整數。對所獲取的匹配的引用。例如,“(.)\1”匹配兩個連續的相同字元。
    \n 標識一個八進位制轉義值或一個向後引用。如果\n之前至少n個獲取的子表示式,則n為向後引用。否則,如果n為八進位制數字(0-7),則n為一個八進位制轉義值。
    \nm 標識一個八進位制轉義值或一個向後引用。如果\nm之前至少有nm個獲得子表示式,則nm為向後引用。如果\nm之前至少有n個獲取,則n為一個後跟文字m的向後引用。如果前面的條件都不滿足,若nm均為八進位制數字(0-7),則\nm將匹配八進位制轉義值nm
    \nml 如果n為八進位制數字(0-3),且m和l均為八進位制數字(0-7),則匹配八進位制轉義值nml。
    \un 匹配n,其中n是一個用四個十六進位制數字表示的Unicode字元。例如,\u00A9匹配版權符號(©)。
    • 常用表示式
    使用者名稱 /^[a-z0-9_-]{3,16}$/
    密碼 /^[a-z0-9_-]{6,18}$/
    十六進位制值 /^#?([a-f0-9]{6}|[a-f0-9]{3})$/
    電子郵箱 /^([a-z0-9_\.-]+)@([\da-z\.-]+)\.([a-z\.]{2,6})$/
    /^[a-z\d]+(\.[a-z\d]+)*@([\da-z](-[\da-z])?)+(\.{1,2}[a-z]+)+$/
    URL /^(https?:\/\/)?([\da-z\.-]+)\.([a-z\.]{2,6})([\/\w \.-]*)*\/?$/
    IP 地址 /((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)/
    /^(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)$/
    HTML 標籤 /^<([a-z]+)([^<]+)*(?:>(.*)<\/\1>|\s+\/>)$/
    刪除程式碼\\註釋 (?<!http:|\S)//.*$
    Unicode編碼中的漢字範圍 /^[\u2E80-\u9FFF]+$/
  • 其他

雖然同樣是正則,但是linux中的正則依舊有自己一些特殊點

符號 含義
^$ 空白行
\< 詞首
\> 詞尾
\b 放在前同\<
放在後同\>
^ 行首
$ 行尾
\N(N N + N^+ ) 分組後向引用

查詢同名使用者組

grep "\(^.*\).*\b\1\b" /etc/group
  • 轉義

linux的正則,括號算字元,使用需轉義

  • 引用

()分組之後,可以進行引用,同一個表示式中,引用第N個分組中的匹配字元,用\N引用。

  • 全詞匹配

\b\1\b\<\1\>,以全詞作為開頭,全詞作為結束,表示精準全詞匹配。

  • 解讀

\(^.*\):組名提取

.*:中間字元忽略

\b\1\b:同用戶名匹配

擴充套件

選項 引數 說明
-E - 使用擴充套件表示式
-A n after,列印匹配行及後n
-B n before,列印匹配行及前n
-C n context,列印匹配行及前後n行上下文
  • 宣告

ABC三個選項一直都能用,非擴充套件也可以用。

  • 差別

()不用再轉義\(\),新增或|,支援萬用字元[[:space:]]

  • 迴歸

使用正則的時候,我們總會有疑問,感覺linux的正則和我們所知的正則有區別。

回顧一下萬用字元 --> 基本正則 --> 擴充套件正則

我們正是站在了巨人的肩膀上,我們一開始使用的正是擴充套件正則

寫了許多python的正則,發現和linux格格不入,其實不是我們知道的太少了,而是太多了。

而採用的模式也太舊了而已。

回顧一下曾經以為的高深奧祕

grep -E "[one]|[two]" godme.file

當時驚為天人,其實只是非擴充套件不能或|罷了。

如果很熟悉擴充套件那就-E,拋棄基本正則算了。

  • egrep

egrep = grep -E

嗯,grep啟用啦,估計另覓新歡了egrep,畢竟敲程式碼的更喜歡擴充套件表示式

疏忽

前面的正則,講道理的確是擴充套件正則。

畢竟基本正則,的確是範圍不廣,畢竟程式碼裡面都是擴充套件正則不是。