winserver中通過IIS配置篩選規則遮蔽蜘蛛、爬蟲非法抓取
一、IIS7版本以上，部署篩選規則：
1、 此功能可以攔截IIS日誌對應欄位中符合內容的訪問請求，或只允許符合內容的來源請求訪問站點。
2、 示例如下：（標頭參考二）
此例中的有來源中帶有“Bing Spider”內容的訪問請求都將被IIS所拒絕。
二、IIS日誌相應欄位解釋：
1、 IIS日誌欄位示例：
|
#Software: Microsoft Internet Information Services 10.0 #Version: 1.0 #Date: 2021-10-14 00:00:00 #Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status time-taken 2021-10-14 00:00:00 192.168.10.23 GET /Orders/NewsList/13087 - 80 - 122.112.219.229 Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10.6;+rv:2.0.1)+Gecko/20100101+Firefox/4.0.1 - 403 503 5 30 |
其中字首定義：
s- 伺服器操作
c- 客戶端操作
cs- 客戶端到伺服器的操作
sc- 伺服器到客戶端的操作
2、 日誌各欄位含義：
|
序號 |
欄位 |
欄位含義 |
格式及示例 |
備註 |
|
1 |
date |
日期 |
2021-10-14 |
請求發生的日期。 |
|
2 |
time |
時間 |
11:33:25 |
請求發生的時間 |
|
3 |
s-sitename |
服務名 |
W3SVC2 |
客戶端所訪問的站點的Internet服務和例項的號碼。 |
|
4 |
s-computername |
伺服器名 |
baiinfo-web001 |
部署站點的伺服器名稱。 |
|
5 |
s-ip |
伺服器IP |
192.168.10.23 |
生成日誌的伺服器IP地址。 |
|
6 |
cs-method |
方法 |
GET/POST |
客戶端試圖執行的操作。 |
|
7 |
cs-uri-stem |
URL |
/Orders/NewsList/13087 |
請求訪問的頁面 |
|
8 |
cs-uri-query |
字串 |
categoryID=187&ProductID=775 |
客戶端正在嘗試執行的查詢語句。（查詢請求中？後的字串） |
|
9 |
s-port |
埠 |
8080 |
客戶端連線的伺服器埠。 |
|
10 |
cs-username |
- |
通過身份驗證的使用者格式“域\使用者名稱”； 匿名使用者，是一個連線字元“-” |
|
|
11 |
c-ip |
客戶端IP |
122.112.219.229 |
真實的客戶端IP（中間IP已過濾） |
|
12 |
cs-version |
協議 |
HTTP/1.1 |
客戶端使用的協議。 |
|
13 |
cs(User-Agent) |
使用者代理 |
Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10.6;+rv:2.0.1)+Gecko/20100101+Firefox/4.0.1 |
在客戶端使用的瀏覽器。 |
|
14 |
cs(Cookie) |
Cookie |
Session=……. |
傳送或接收的Cookie內容（如果有） |
|
15 |
cs(Referer) |
引用站點 |
http://www.baiinfo.cn/ |
使用者訪問的前一個站點。 |
|
16 |
cs-host |
主機 |
http://www.baiinfo.cn/ |
顯示主機頭的內容，域名或IP都可。 |
|
17 |
sc-status |
返回狀態 |
200、404 |
IIS的訪問操作反饋狀態，詳情百度。 |
|
18 |
sc-substatus |
子協議 |
0 |
HTTP的子協議狀態。 |
|
19 |
sc-win32-status |
系統狀態 |
0 |
Windows系統服務狀態反饋。 |
|
20 |
sc-bytes |
傳送位元組 |
503 |
伺服器傳送到客戶端的位元組數。 |
|
21 |
cs-bytes |
接受位元組 |
5 |
伺服器接收到的位元組數。 |
|
22 |
time-taken |
用時總長 |
30 |
傳送和接收操作總用時長（毫秒）。 |