《拉鉤課程 - 重學作業系統 - Linux 指令入門》
1、程序是什麼?程序是應用的執行副本。應用的可執行檔案是放在檔案系統裡,把可執行檔案啟動,就會在作業系統裡(具體來說是記憶體中)形成一個應用的副本,這個副本就是程序。
2、Linux 管道(Pipeline)的作用是在命令和命令之間,傳遞資料。比如說一個命令的結果,就可以作為另一個命令的輸入。這裡說的命令就是程序。更準確地說,管道在程序間傳遞資料。
3、每個程序擁有自己的標準輸入流、標準輸出流、標準錯誤流。
- 標準輸入流(用 0 表示)可以作為程序執行的上下文(程序執行可以從輸入流中獲取資料)。
- 標準輸出流(用 1 表示)中寫入的結果會被列印到螢幕上。
- 如果程序在執行過程中發生異常,那麼異常資訊會被記錄到標準錯誤流(用 2 表示)中。
4、重定向:具體來說 >
符號叫作覆蓋重定向;>>
叫作追加重定向。>
每次都會把目標檔案覆蓋,>>
會在目標檔案中追加(ls -l > out
)。另外一種情況,可以把標準錯誤流重定向到標準輸出流,然後再重定向到檔案(ls1 &> out
或者 ls1 > out 2>&1
)。
5、管道和重定向很像,但是管道是一個連線一個進行計算,重定向是將一個檔案的內容定向到另一個檔案,這二者經常會結合使用。Linux 中的管道也是檔案,有兩種型別的管道:
- 匿名管道(Unnamed Pipeline),這種管道也在檔案系統中,但是它只是一個儲存節點,不屬於任何一個目錄。說白了,就是沒有路徑。
- 命名管道(Named Pipeline),這種管道就是一個檔案,有自己的路徑。用
mkfifo
指令可以建立一個命名管道(mkfifo pipe1
)。
6、去重可以使用 uniq
指令,uniq
指令能夠找到檔案中相鄰的重複行,然後去重。
7、grep -v
是匹配不包含的結果, 比如:我們希望包含 Spring 但不包含 MyBatis 就可以這樣操作:
find ./ | grep Spring | grep -v MyBatis ^ # 錨定行的開始 如:'^grep'匹配所有以grep開頭的行。 $ # 錨定行的結束 如:'grep$' 匹配所有以grep結尾的行。 . # 匹配一個非換行符的字元 如:'gr.p'匹配gr後接一個任意字元,然後是p。 * # 匹配零個或多個先前字元 如:'*grep'匹配所有一個或多個空格後緊跟grep的行。 --color=auto # 標記匹配顏色。
8、wc -l
用來統計行數。比如:統計 Java 檔案有多少行?(wc -l Client.java
), 統計當前目錄下有多少個檔案?(ls | wc -l
)。
# 利用 nginx 的 access_log 統計網站的 PV(Page View),使用者每訪問一次頁面就是一次 PV
wc -l access.log
9、tee
指令從標準輸入流中讀取資料到標準輸出流,可以把中間的結果儲存下來。比如:從當前目錄中找到所有含有 Spring 關鍵字的 Java 檔案。tee
本身不影響指令的執行,但是 tee
會把 find 指令的結果儲存到 JavaList 檔案中。
find ./ -iname "*.java" | tee JavaList | grep Spring
10、xargs
指令從標準資料流中構造並執行一行行的指令。xargs
從輸入流獲取字串,然後利用空白、換行符等切割字串,在這些字串的基礎上構造指令,最後一行行執行這些指令。比如:統計目錄下所有 Java 檔案的行數。
find ./ -iname "*.java" | xargs wc -l
11、cat pipe1
後面增加了一個 &
符號。這個 &
符號代表指令在後臺執行,不會阻塞使用者繼續輸入。
cat pipe1 &
12、檔案被建立後,初始的許可權如何設定?檔案被建立後的許可權通常是 rw-rw-r--
,也就是使用者、組維度不可以執行,所有使用者可讀。檔案被建立後,檔案的所屬使用者會被設定成建立檔案的使用者,所屬使用者組是當時使用者所在的工作分組,如果沒有特別設定,那麼就屬於使用者所在的同名分組。
13、需要全部使用者都可以執行的指令,比如 ls
,它們的許可權如何分配?使用者維度可讀寫和執行,組維度和所有使用者可以讀和執行。到這裡你可能會有一個疑問:如果一個檔案設定為不可讀,但是可以執行,那麼結果會怎樣?答案當然是不可以執行,無法讀取檔案內容自然不可以執行。
[root@apm-0001 ~]# ls -l /usr/bin/ls
-rwxr-xr-x. 1 root root 117680 10月 31 2018 /usr/bin/ls
14、當用戶輸入一個檔名,如果沒有指定完整路徑,Linux 就會在一部分目錄中查詢這個檔案,你可以通過 echo $PATH
看到 Linux 會在哪些目錄中查詢可執行檔案。
15、核心是作業系統連線硬體、提供操作硬體、磁碟、記憶體分頁、程序等最核心的能力,並擁有直接操作全部記憶體的許可權,因此核心不能把自己的全部能力都提供給使用者,而且也不能允許使用者通過 shell
指令進行呼叫。Linux 下核心把部分程序需要的系統呼叫以 C 語言 API 的形式提供出來。
16、優秀的許可權架構主要目標是讓系統安全、穩定且使用者、程式之間相互制約、相互隔離。這要求許可權系統中的許可權劃分足夠清晰,分配許可權的成本足夠低。因此,優秀的架構,應該遵循最小許可權原則(Least Privilege)。
17、請簡述 Linux 許可權劃分的原則? Linux 遵循最小許可權原則。
- 每個使用者掌握的許可權應該足夠小,每個組掌握的許可權也足夠小。實際生產過程中,最好管理員許可權可以拆分,互相牽制防止問題。
- 每個應用應當儘可能小的使用許可權。最理想的是每個應用單獨佔用一個容器(比如 Docker),這樣就不存在互相影響的問題。即便應用被攻破,也無法攻破 Docker 的保護層。
- 儘可能少的
root
。如果一個使用者需要root
能力,那麼應當進行許可權包圍——馬上提升許可權(比如 sudo),處理後馬上釋放許可權。 - 系統層面實現許可權分級保護,將系統的許可權分成一個個 Ring,外層 Ring 呼叫內層 Ring 時需要內層 Ring 進行許可權校驗。
18、可不可以多個使用者都登入 root
,然後只用 root
賬戶?當然不行!舉個例子,你有一個 MySQL 程序執行在 root(最大許可權)賬戶上,如果有黑客攻破了你的 MySQL 服務,獲得了在 MySQL 上執行 SQL 的許可權,那麼,你的整個系統就都暴露在黑客眼前了。這會導致非常嚴重的後果。
黑客可以利用 MySQL 的 Copy From Prgram 指令為所欲為,比如先備份你的關鍵檔案,然後再刪除他們,並要挾你通過指定賬戶打款。如果執行最小許可權原則,那麼黑客即便攻破我們的 MySQL 服務,他也只能獲得最小的許可權。當然,黑客拿到 MySQL 許可權也是非常可怕的,但是相比拿到所有許可權,這個損失就小多了。
19、ifconfig
命令被用於配置和顯示 Linux 核心中網路介面的網路引數。
ifconfig #處於啟用狀態的網路介面
ifconfig -a #所有配置的網路介面,不論其是否啟用
ifconfig eth0 #顯示eth0的網絡卡資訊
ifconfig eth0 #顯示eth0的網絡卡資訊
ifconfig eth0 mtu 1500 #設定能通過的最大資料包大小為 1500 bytes
ifconfig eth0 arp #開啟網絡卡eth0 的arp協議
ifconfig eth0 -arp #關閉網絡卡eth0 的arp協議
ifconfig eth0 up #啟動網絡卡
ifconfig eth0 down #關閉網絡卡
20、netstat
命令用來列印 Linux 中網路系統的狀態資訊,可以讓你得知 Linux 系統的網路情況。
# -a或--all:顯示所有連線中的Socket;
# -n或--numeric:直接使用ip地址,而不通過域名伺服器;
# -l或--listening:顯示監控中的伺服器的Socket;
# -r或--route:顯示Routing Table;
# -t或--tcp:顯示TCP傳輸協議的連線狀況;
# -u或--udp:顯示UDP傳輸協議的連線狀況;
# -p或--programs:顯示正在使用Socket的程式識別碼和程式名稱;
# -i或--interfaces:顯示網路介面資訊表單;
netstat -ap | grep java # 找出程式執行的埠
netstat -anp | grep 8081 | grep LISTEN | awk '{printf $7}' | cut -d/ -f1 # 通過埠找程序ID
netstat -ntu | grep :80 | awk '{print $5}' | cut -d: -f1 | awk '{++ip[$1]} END {for(i in ip) print ip[i],"\t",i}' | sort -nr # 檢視連線某服務埠最多的的IP地址
netstat -nt | grep -e 127.0.0.1 -e 0.0.0.0 -e ::: -v | awk '/^tcp/ {++state[$NF]} END {for(i in state) print i,"\t",state[i]}' # TCP各種狀態列表
netstat -an | tail -n +3| grep TIME_WAIT | wc -l # 檢視正在 TIME_WAIT 狀態的連線數量(netstat 會有兩行表頭,這兩行可以用 tail 過濾掉)
21、ss
比 netstat 好用的 socket 統計資訊,iproute2 包附帶的另一個工具,允許你查詢 socket 的有關統計資訊。
當伺服器的 socket 連線數量變得非常大時,無論是使用 netstat 命令還是直接 cat /proc/net/tcp
,執行速度都會很慢。可能你不會有切身的感受,但請相信我,當伺服器維持的連線達到上萬個的時候,使用 netstat 等於浪費生命,而用 ss 才是節省時間。
ss 快的祕訣在於,它利用到了 TCP 協議棧中 tcp_diag。tcp_diag 是一個用於分析統計的模組,可以獲得Linux 核心中第一手的資訊,這就確保了 ss 的快捷高效。當然,如果你的系統中沒有 tcp_diag,ss 也可以正常執行,只是效率會變得稍慢。
# -a, --all:顯示所有套接字(sockets)
# -n, --numeric:不解析服務名稱
# -l, --listening:顯示監聽狀態的套接字(sockets)
# -t, --tcp :僅顯示 TCP套接字(sockets)
# -u, --udp: 僅顯示 UCP套接字(sockets)
# -p, --processes:顯示使用套接字(socket)的程序
ss -s # 顯示 Sockets 摘要
ss -l # 列出所有開啟的網路連線埠
ss -pl # 檢視程序使用的 socket
ss -tan|awk 'NR>1{++S[$1]}END{for (a in S) print a,S[a]}' # 檢視TCP的連線狀態
22、awk 是一個處理文字的領域專有語言。那麼什麼是領域專有語言呢?英文是 Domain Specific Language。領域專有語言,就是為了處理某個領域專門設計的語言。比如 awk 是用來分析處理文字的 DSL,html 是專門用來描述網頁的 DSL,SQL 是專門用來查詢資料的 DSL。
# 對 nginx 的 access.log 進行 pv (Page views)分組
awk '{print substr($4, 2, 11)}' access.log | sort | uniq -c
# 對 nginx 的 access.log 進行 UV(Uniq Visitor)分析,統計訪問人數,利用 IP 訪問進行統計
awk '{print $1}' access.log | sort | uniq -c | wc -l
# 對 nginx 的 access.log 進行按天分組分析每天的 UV 情況
awk '{print substr($4,2,11) " " $1}' access.log | sort | uniq | awk '{uv[$1]++;next}END{for (day in uv) print day, uv[day]}'
# 對 nginx 的 access.log 分組統計出哪些終端訪問了這些網站
awk -F\" '{print $6}' access.log | sort | uniq -c | sort -fr
# 對 nginx 的 access.log 分析出訪問量 Top 前三的網頁
awk '{print $7}' access.log | sort | uniq -c | head -n 3