Node.js 多程序處理CPU密集任務
Node.js單執行緒與多程序
大家都知道 Node.js效能很高,是以非同步事件驅動、非阻塞 I/O 而被廣泛使用。但缺點也很明顯,由於 Node.js 是單執行緒程式,如果長時間運算,會導致 CPU 不能及時釋放,所以並不適合 CPU 密集型應用。
當然,也不是沒有辦法解決這個問題。雖然 Node.js 不支援多執行緒,但是可建立多子程序來執行任務。
Node.js 提供了child_process和cluster兩個模組可用於建立多子程序
下面我們就分別使用單執行緒和多程序來模擬查詢大量斐波那契數進行 CPU 密集測試
以下程式碼是查詢 500 次位置為 35 的斐波那契數(方便測試,定了一個時間不需要太長也不會太短的位置)
單執行緒處理
程式碼:single.js
function fibonacci(n) {
if (n == 0 || n == 1) {
return n;
} else {
return fibonacci(n - 1) + fibonacci(n - 2);
}
}
let startTime = Date.now();
let totalCount = 500;
let completedCount = 0;
let n = 35;
for (let i = 0; i < totalCount; i++) {
fibonacci(n);
completedCount++;
console.log(`process: ${completedCount}/${totalCount}`);
}
console.info(`任務完成,用時: ${Date.now() - startTime}ms`);
執行node single.js檢視結果
在我的電腦上顯示結果為44611ms(電腦配置不同也會有差異)。
...
process: 500/500
任務完成,用時: 44611ms
查詢 500 次需要 44 秒,太慢了。可想而知如果位置更大,數量更多...
那我們來嘗試用多程序試試 ⬇️
資源搜尋網站大全 https://www.renrenfan.com.cn 廣州VI設計公司https://www.houdianzi.com
多程序
採用cluster模組,Master-Worker模式來測試
共 3 個 js,分別為主執行緒程式碼:master.js、子程序程式碼:worker.js、入口程式碼:cluster.js(入口可無需單獨寫一個 js、這裡是為了看起來更清楚一些)
主執行緒程式碼:master.js
const cluster = require("cluster");
const numCPUs = require("os").cpus().length;
// 設定子程序執行程式
cluster.setupMaster({
exec: "./worker.js",
slient: true
});
function run() {
// 記錄開始時間
const startTime = Date.now();
// 總數
const totalCount = 500;
// 當前已處理任務數
let completedCount = 0;
// 任務生成器
const fbGenerator = FbGenerator(totalCount);
if (cluster.isMaster) {
cluster.on("fork", function(worker) {
console.log(`[master] : fork worker ${worker.id}`);
});
cluster.on("exit", function(worker, code, signal) {
console.log(`[master] : worker ${worker.id} died`);
});
for (let i = 0; i < numCPUs; i++) {
const worker = cluster.fork();
// 接收子程序資料
worker.on("message", function(msg) {
// 完成一個,記錄並列印進度
completedCount++;
console.log(`process: ${completedCount}/${totalCount}`);
nextTask(this);
});
nextTask(worker);
}
} else {
process.on("message", function(msg) {
console.log(msg);
});
}
/**
* 繼續下一個任務
*
* @param {ChildProcess} worker 子程序物件,將在此程序上執行本次任務
*/
function nextTask(worker) {
// 獲取下一個引數
const data = fbGenerator.next();
// 判斷是否已經完成,如果完成則呼叫完成函式,結束程式
if (data.done) {
done();
return;
}
// 否則繼續任務
// 向子程序傳送資料
worker.send(data.value);
}
/**
* 完成,當所有任務完成時呼叫該函式以結束程式
*/
function done() {
if (completedCount >= totalCount) {
cluster.disconnect();
console.log("");
console.info(`任務完成,用時: ${Date.now() - startTime}ms`);
console.log("");
}
}
}
/**
* 生成器
*/
function* FbGenerator(count) {
var n = 35;
for (var i = 0; i < count; i++) {
yield n;
}
return;
}
module.exports = {
run
};
1.這裡是根據當前電腦的邏輯 CPU 核數來建立子程序的,不同電腦數量也會不一樣,我的 CPU 是 6 個物理核數,由於支援超執行緒處理,所以邏輯核數是 12,故會創建出 12 個子程序2.主執行緒與子程序之間通訊是通過send方法來發送資料,監聽message事件來接收資料
3.不知道大家有沒有注意到我這裡使用了 ES6 的 Generator 生成器來模擬生成每次需要查詢的斐波那契數位置(雖然是寫死的 ,為了和上面的單執行緒保證統一)。這麼做是為了不讓所有任務一次性扔出去,因為就算扔出去也會被阻塞,還不如放在程式端就給控制住,完成一個,放一個。
子程序程式碼:worker.js
function fibonacci(n) {
if (n == 0 || n == 1) {
return n;
} else {
return fibonacci(n - 1) + fibonacci(n - 2);
}
}
// 接收主執行緒傳送過來的任務,並開始查詢斐波那契數
process.on("message", n => {
var res = fibonacci(n);
// 查詢結束後通知主執行緒,以便主執行緒再度進行任務分配
process.send(res);
});
入口程式碼:cluster.js
// 引入主執行緒js,並執行暴露出來的run方法
const master = require("./master");
master.run();
執行node cluster.js檢視結果
在我的電腦上顯示結果為10724ms(電腦配置不同也會有差異)。
process: 500/500
任務完成,用時: 10724ms
結果
進過上面兩種方式的對比,結果很明顯,多程序處理速度是單執行緒處理速度的 4 倍多。而且有條件的情況下,如果電腦 CPU 足夠,程序數更多,那麼速度也會更快。
如果有更好的方案或別的語言能處理你的需求那就更好,誰讓 Node.js 天生就不適合 CPU 密集型應用呢。。