NodeJs 入門到放棄 — 常用模組及網路爬蟲(二)
阿新 • • 發佈：2021-03-03
### 碼文不易啊，轉載請帶上本文連結呀，感謝感謝 https://www.cnblogs.com/echoyya/p/14473101.html
[toc]
### Buffer (緩衝區)
JavaScript 語言自身只有字串資料型別，沒有二進位制資料型別。二進位制可以儲存任意型別的資料，電腦中所有的資料都是二進位制。
在處理像TCP流或檔案流時，必須使用到二進位制資料。因此在 Node.js中，定義了一個 Buffer 類，該類用來建立一個專門存放二進位制資料的快取區。
**Buffer 與字元編碼**：當在 `Buffer` 和字串之間轉換時，可以指定字元編碼。 如果未指定字元編碼，則預設使用 UTF-8 。
#### Buffer 建立
Buffer物件可以通過多種方式建立，v6.0之前直接使用new Buffer()建構函式來建立物件例項，v6.0以後，官方文件建議使用**Buffer.from()** 建立物件。[nodejs中文網](http://nodejs.cn/api/buffer.html)、[菜鳥教程-nodejs](https://www.runoob.com/nodejs/nodejs-buffer.html)
`Buffer.from(buffer)`：複製傳入的 Buffer ,返回一個新的 Buffer 例項
`Buffer.from(string[, encoding])`：要編碼的字串。字元編碼。**預設值:** `'utf8'`。
`Buffer.alloc(size[, fill[, encoding]])`： 返回一個指定大小的 Buffer 例項，如果沒有設定 fill，則預設填滿 0
```js
var buf = Buffer.from('Echoyya');
var buf1 = Buffer.from(buf);
console.log(buf); //
buf1[0] = 0x65;
console.log(buf.toString());// Echoyya
console.log(buf1.toString()); // echoyya
var buf2 = Buffer.from('4563686f797961', 'hex'); // 設定編碼
console.log(buf2); //
console.log(buf2.toString()); // Echoyya
var buf3 = Buffer.from('4563686f797961'); // 預設編碼
console.log(buf3); //
console.log(buf3.toString()); // 4563686f797961
var buf4 = Buffer.alloc(4);
console.log(buf4); //
```
#### Buffer 寫入
`buf.write(string[, offset[, length]][, encoding])`
**引數描述：**
- **string** - 寫入緩衝區的字串。
- **offset** - 緩衝區開始寫入的索引值，預設為 0 。
- **length** - 寫入的位元組數，預設為 buffer.length
- **encoding** - 使用的編碼。預設為 'utf8' 。
根據 encoding 的字元編碼寫入 string 到 buf 中的 offset 位置。 length 引數是寫入的位元組數。
**返回值：**返回實際寫入的大小。如果 buffer 空間不足， 則只會寫入部分字串。
```js
//buffer的大小一旦被確定則不能被修改
var buf5 = Buffer.alloc(4);
console.log(buf5.length); // 4
var len = buf5.write("Echoyya");
console.log(buf5.toString()); // Echo
console.log("寫入位元組數 : "+ len); // 寫入位元組數 : 4
```
#### Buffer 讀取
讀取 Node 緩衝區資料：`buf.toString([encoding[, start[, end]]])`
**引數描述：**
- **encoding** - 使用的編碼。預設為 'utf8' 。
- **start** - 指定開始讀取的索引位置，預設為 0。
- **end** - 結束位置，預設為緩衝區的末尾。
**返回值：**解碼緩衝區資料並使用指定的編碼返回字串。
```js
buf = Buffer.alloc(26);
for (var i = 0 ; i < 26 ; i++) {
buf[i] = i + 97;
}
console.log(buf); //
console.log( buf.toString('ascii')); // abcdefghijklmnopqrstuvwxyz
console.log( buf.toString('ascii',0,5)); // abcde
console.log( buf.toString('utf8',0,5)); // abcde
console.log( buf.toString(undefined,0,5)); // abcde 預設utf8
```
#### 更多>>
除上述最基本的讀寫操作外，還有許多強大的API：
- 緩衝區合併：**Buffer.concat(list[, totalLength])**
- 緩衝區比較：**Buffer.compare(target[, targetStart[, targetEnd[, sourceStart[, sourceEnd]]]])**
- 緩衝區判斷：**Buffer.isBuffer(obj)**
- 緩衝區拷貝：**Buffer.copy(target[, targetStart[, sourceStart[, sourceEnd]]])**
### fs (檔案系統)
Node.js提供一組檔案操作API，`fs` 模組可用於與檔案系統進行互動。所有的檔案系統操作都具有同步的、回撥的、以及基於 promise 的形式。同步與非同步的區別，主要在於有無回撥函式，**同步方法直接在非同步方法後面加上**`Sync`
`const fs = require('fs');`
#### 讀取檔案
非同步：`fs.readFile(path, callback)`
同步：`fs.readFileSync(path)`
```js
fs.readFile('檔名', (err, data) => {
if (err) throw err;
console.log(data);
});
var data = fs.readFileSync('檔名');
````
#### 獲取檔案資訊
非同步模式獲取檔案資訊：`fs.stat(path, callback)`
- **path** - 檔案路徑。
- **callback** - 回撥函式，帶有兩個引數如：(err, stats), **stats** 是 fs.Stats 物件。
fs.stat(path)執行後，將stats例項返回給回撥函式。可以通過提供方法判斷檔案的相關屬性。
```
var fs = require('fs');
fs.stat('./data', function (err, stats) {
// stats 是檔案的資訊物件，包含常用的檔案資訊
// size: 檔案大小（位元組）
// mtime: 檔案修改時間
// birthtime：檔案建立時間
// 等等...
console.log(stats.isDirectory()); //true
})
```
stats類中的方法有：
| 方法 | 描述 |
| :------------------ | :------------------------------------ |
| **stats.isFile()** | 判斷是檔案返回 true，否則返回 false。 |
| **stats.isDirectory()** | 判斷是目錄返回 true，否則返回 false。 |
```
var fs = require("fs");
console.log("準備開啟檔案！");
fs.stat('./data', function (err, stats) {
if (err) {
return console.error(err);
}
console.log(stats);
console.log("讀取檔案資訊成功！");
// 檢測檔案型別
console.log("是否為檔案(isFile) ? " + stats.isFile());
console.log("是否為目錄(isDirectory) ? " + stats.isDirectory());
});
```
#### 寫入檔案
非同步：`fs.writeFile(file, data, callback)`
同步：`fs.writeFileSync(file, data)`，沒有返回值
如果檔案存在，該方法寫入的內容會覆蓋原有內容，反之檔案不存在，呼叫該方法寫入將建立一個新檔案
```js
const fs = require('fs')
var hello = ' )
/ig
var result = ''
var imgArr = []
while(result = reg.exec(data)){
imgArr.push(result[1])
}
// 根據陣列中的圖片地址 獲取圖片資料
for (var i in imgArr) {
setTimeout(function(i){
getImg(imgArr[i])
},1000*i,i)
}
// fs.writeFileSync('./b.txt',imgArr) // 可寫入檔案，檢視圖片地址
})
})
function getImg(url){
http.get(url,function(res){
res.pipe(fs.createWriteStream(path.join('./img',path.basename(url))))
})
}
````
for迴圈請求資料時，為避免對其伺服器造成壓力，設定定時器，每隔一秒請求一次，將讀到的資料，儲存為與伺服器上同名。利用上述path模組提供的方法，**path.basename(url)**
![](https://img2020.cnblogs.com/blog/1238759/202103/1238759-20210303104241549-12194820