1. 程式人生 > >文本處理 awk

文本處理 awk

oot res lar bin gin 指定 一個 字符 不同

文本處理 awk

awk

  • print格式:print item1, item2, ...

    要點:

  • 逗號分隔符
  • 輸出item可以字符串,也可是數值;當前記錄的字段、變量或awk的表達式
  • 如省略item,相當於print $0

    示例:

  • awk ‘{print "hello,awk"}‘
  • awk –F: ‘{print}‘ /etc/passwd
  • awk –F: ‘{print “wang”}’ /etc/passwd
  • awk –F: ‘{print $1}’ /etc/passwd
  • awk –F: ‘{print $0}’ /etc/passwd
  • awk –F: ‘{print $1”\t”$3}’ /etc/passwd
  • grep “^UUID”/etc/fstab | awk ‘{print $2,$4}’

awk變量

變量:內置和自定義變量

FS:輸入字段分隔符,默認為空白字符

  • awk -v FS=‘:‘ ‘{print $1,FS,$3}’ /etc/passwd
  • awk –F: ‘{print $1,$3,$7}’ /etc/passwd

    OFS:輸出字段分隔符,默認為空白字符

  • awk -v FS=‘:’ -v OFS=‘:’ ‘{print $1,$3,$7}’ /etc/passwd

    RS:輸入記錄分隔符,指定輸入時的換行符(行)

  • awk -v RS=‘ ‘ ‘{print }’ /etc/passwd

    ORS:輸出記錄分隔符,輸出時用指定符號代替換行符(行)

  • awk -v RS=‘ ‘ -v ORS=‘###‘‘{print }’ /etc/passwd

    NF:字段數量

  • awk -F:‘{print NF}’ /etc/fstab 引用變量時,變量前不需加$
  • awk -F:‘{print $(NF-1)}‘ /etc/passwd

    NR:記錄號

  • awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab

    FNR:各文件分別計數,記錄號(行)

  • awk ‘{print FNR}‘ /etc/fstab /etc/inittab

    FILENAME:當前文件名

  • awk ‘{print FILENAME}’ /etc/fstab

    ARGC:命令行參數的個數

  • awk ‘{print ARGC}’ /etc/fstab /etc/inittab
  • awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab

    ARGV:數組,保存的是命令行所給定的各參數

  • awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
  • awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

    自定義變量(區分字符大小寫)

  • (1) -v var=value
  • (2) 在program中直接定義

    示例:

  • awk -v test=‘hello gawk‘ ‘{print test}‘ /etc/fstab
  • awk -v test=‘hello gawk‘ ‘BEGIN{print test}‘
  • awk ‘BEGIN{test="hello,gawk";print test}‘
  • awk -F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd

    printf命令

    格式化輸出:printf “FORMAT”, item1, item2, ...

  • (1) 必須指定FORMAT
  • (2) 不會自動換行,需要顯式給出換行控制符,\n
  • (3) FORMAT中需要分別為後面每個item指定格式符

    格式符:與item一一對應

  • %c:顯示字符的ASCII碼
  • %d, %i:顯示十進制整數
  • %e, %E:顯示科學計數法數值
  • %f:顯示為浮點數
  • %g, %G:以科學計數法或浮點形式顯示數值
  • %s:顯示字符串
  • %u:無符號整數
  • %%:顯示%自身

    修飾符

  • #[.#] 第一個數字控制顯示的寬度;第二個#表示小數點後精度,%3.1f
    • 左對齊(默認右對齊) %-15s
    • 顯示數值的正負符號 %+d

      printf示例

  • awk -F: ‘{printf "%s",$1}’ /etc/passwd
  • awk -F: ‘{printf "%s\n",$1}’ /etc/passwd
  • awk -F: ‘{printf "%-20s %10d\n",$1,$3}‘ /etc/passwd
  • awk -F:‘ {printf "Username: %s\n",$1}’ /etc/passwd
  • awk -F: ‘{printf “Username: %s,UID:%d\n",$1,$3}’ /etc/passwd
  • awk -F: ‘{printf "Username: %15s,UID:%d\n",$1,$3}’ /etc/passwd
  • awk -F: ‘{printf "Username: %-15s,UID:%d\n",$1,$3}’ /etc/passwd

    操作符

    算術操作符:

  • x+y, x-y, x*y, x/y, x^y, x%y
    • x:轉換為負數
  • +x:將字符串轉換為數值

    字符串操作符:沒有符號的操作符,字符串連接

    賦值操作符:

  • =, +=, -=, *=, /=, %=, ^=,++, --
  • 下面兩語句有何不同
  • awk ‘BEGIN{i=0;print ++i,i}’
  • awk ‘BEGIN{i=0;print i++,i}’

    比較操作符

  • ==, !=, >, >=, <, <=

    模式匹配符:

  • ~:左邊是否和右邊匹配,包含
  • !~:是否不匹配

    示例:

  • awk -F: ‘$0 ~ /root/{print $1}‘ /etc/passwd
  • awk ‘$0~“^root"‘ /etc/passwd
  • awk ‘$0 !~ /root/‘ /etc/passwd
  • awk -F: ‘$3==0’ /etc/passwd

    邏輯操作符:與&&,或||,非!

    示例:

  • awk -F: ‘$3>=0 && $3<=1000 {print $1}‘ /etc/passwd
  • awk -F: ‘$3==0 || $3>=1000 {print $1}‘ /etc/passwd
  • awk -F: ‘!($3==0) {print $1}‘ /etc/passwd
  • awk -F: ‘!($3>=500) {print $3}’ /etc/passwd

    條件表達式(三目表達式)

  • selector?if-true-expression:if-false-expression

    示例:

  • awk -F: ‘{$3>=1000?usertype="Common User":usertype="
    SysUser";printf "%15s:%-s\n",$1,usertype}‘ /etc/passwd

    awk PATTERN

    PATTERN:根據pattern條件,過濾匹配的行,再做處理

  • (1)如果未指定:空模式,匹配每一行
  • /regular expression/:僅處理能夠模式匹配到的行,需要用/ /括起來
  • awk ‘/^UUID/{print $1}‘ /etc/fstab
  • awk ‘!/^UUID/{print $1}‘ /etc/fstab
  • (3) relational expression: 關系表達式,結果為“真”才會被處理

    示例

  • awk -F: ‘i=1;j=1{print i,j}‘ /etc/passwd
  • awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
  • Awk -F: ‘$3>=1000{print $1,$3}‘ /etc/passwd
  • awk -F: ‘$3<1000{print $1,$3}‘ /etc/passwd
  • awk -F: ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd
  • awk -F: ‘$NF ~ /bash$/{print $1,$NF}‘ /etc/passwd

文本處理 awk