2. 程式人生 > >大規模資料處理的難點--記憶體和磁碟

大規模資料處理的難點--記憶體和磁碟

阿新 • • 發佈：2019-02-13

以下內容轉載自《大規模Web服務開發技術》

大規模資料的難點在於無法在記憶體中計算，這是因為：

無法再記憶體中計算的話，就必須搜尋磁碟上的資料

但是磁碟十分緩慢，I/O十分耗費時間

記憶體和磁碟的速度差異--記憶體快10萬-100萬倍

為什麼這麼慢？

因為記憶體是電子產品，其搜尋速度和物料結構基本無關。而磁碟讀取資料需要磁頭移動和碟片旋轉兩種物理移動。記憶體搜尋一次要幾微秒，而磁碟要花費幾毫秒。

傳輸速度和匯流排的速度差異

接下來看看傳輸速度的差異吧。不論是記憶體還是磁碟，都用匯流排與CPU連線。不過這些匯流排也有速度差異啊，連線記憶體的和CPU的匯流排相當快，能達到7.5GB/秒。但磁碟只能達到58MB/秒。因此傳輸過程也要花費時間。資料量越大，磁碟和記憶體的速度差異就越明顯，傳輸速度也是磁碟慢一些。

相關推薦

大規模資料處理的難點--記憶體和磁碟

以下內容轉載自《大規模Web服務開發技術》大規模資料的難點在於無法在記憶體中計算，這是因為：無法再記憶體中計算的話，就必須搜尋磁碟上的資料但是磁碟十分緩慢，I/O十分耗費時間記憶體和磁碟的速度差異--記憶體快10萬-100萬倍為什麼這麼慢？因為記憶體是電子產品，其搜尋速度和物

Ubuntu16下檢視CPU、記憶體和磁碟相關資訊

1.記憶體 檢視記憶體#free -m total used free shared buff/cache available Mem: 96685 986 94887

RabbitMQ 記憶體和磁碟警告

記憶體和磁碟警告 有兩種情況下，Rabbit MQ會停止讀取客戶端的連線socket,為了防止crash崩潰，這兩種情況是： 記憶體使用達到配置值 磁碟空間下降到配置值下 在這兩種情況下，伺服器會臨時阻塞連線—伺服器會暫停讀取釋出訊息的客戶端的連線，連線心跳監控也會被禁用，在rabbitmqctl和管

測試go多協程併發寫入記憶體和磁碟對效能的影響

最近希望能把一些過程，由傳統的順序執行改變成併發執行，看這樣的優化是否能帶來效能的提高。於是寫了幾個test來測試帶來的影響。 測試的環境為mac pro，2.3 GHz Intel Core i5（雙核），16GB記憶體。 （1）先測試併發寫入記憶體是否能夠得到效能的提高

Linux檢視記憶體和磁碟以及CPU資訊

檢視CPU個數 cat /proc/cpuinfo | grep "physical id" | uniq | wc -l 檢視CPU核數 cat /proc/cpuinfo | grep "cpu cores" | uniq 檢視CPU情況 cat /proc/cpuinfo | gr

python大規模資料處理技巧之一：資料常用操作

面對讀取上G的資料，python不能像做簡單程式碼驗證那樣隨意，必須考慮到相應的程式碼的實現形式將對效率的影響。如下所示，對pandas物件的行計數實現方式不同，執行的效率差別非常大。雖然時間看起來都微不足道，但一旦執行次數達到百萬級別時，其執行時間就根本不可能

python爬蟲（3）——python爬取大規模資料的的方法和步驟

python爬取大規模資料的的方法和步驟： 一、爬取我們所需要的一線連結 channel_extract.py 這裡的一線連結也就是我們所說的大類連結： from bs4 import BeautifulSoup import requests

BloomFilter——大規模資料處理利器

Bloom Filter是由Bloom在1970年提出的一種多雜湊函式對映的快速查詢演算法。通常應用在一些需要快速判斷某個元素是否屬於集合，但是並不嚴格要求100%正確的場合。 例項 　　為了說明Bloom Filter存在的重要意義，舉一個例項：

Excel較大規模資料處理例項（可直接用）python實現

問題是這樣的， 我是我們學校的寒招隊伍的負責人。但是管理的人數實在是太多了。所以在這個地方的，我就想用下指令碼去幫助自己進行管理。從效果來看，還是非常方便的。 故事情節： 這次，我和兩三個小夥伴們要一起先舉辦個去全員大會。但是本來會議人員數量

python資料處理之numpy和pandas（上）

import numpy as np a = np.random.random((2,4)) print(a) print(np.sum(a)) print(np.max(a)) print(np.min(a)) print(np.sum(a,axis=1)) print(np.min(a,axis=0))

利用shell指令碼監控linux中CPU、記憶體和磁碟利用率。（centos7）

　　這篇部落格中所寫的，在實際工作中並沒有什麼卵用，工作中並不會用到這種指令碼去監控。不過自己寫一遍，可以讓初學者對CPU、記憶體、磁碟等一些基礎知識和基礎命令更加了解。 1、利用vmstat工具監控CPU詳細資訊，然後基於/proc/stat計算CPU利用率進行監控，超過80報警並提取出佔用cpu最高的前十

大規模資料處理漫談【2】

   上回說到了磁碟的一些特性，感覺不說說檔案不太妥。以及對比檔案系統和raw device的優劣。    在目前的各種檔案系統中，JFS是一種比較適合大規模資料處理的檔案系統，但常用的依然是ext2,ext3. 不同的檔案系統受到特定業務的影響在保持通用的前提下，各有側重

BloomFilter–大規模資料處理利器(解決空查問題)尋找共同的URL

給定a、b兩個檔案，各存放50億個url，每個url各佔64位元組，記憶體限制是4G，讓你找出a、b檔案共同的url？ 原文 BloomFilter–大規模資料處理利器 Bloom Filter是由Bloom在1970年提出的一種多雜湊函式對映的快速查詢演算法

那些優雅的資料結構(1) : BloomFilter——大規模資料處理利器

import java.util.BitSet;publicclass BloomFilter  {/* BitSet初始分配2^24個bit */privatestaticfinalint DEFAULT_SIZE =1<<25; /* 不同雜湊函式的種子，一般應取質數 */privatesta

大規模資料處理利器：BloomFilter

#include <stdio.h>#include <stdlib.h>#include <string.h>unsigned int jshash(const char *s, unsigned size);unsigned int sdbmhash(const ch

大規模資料處理漫談【1】

當然也是我發的了，以後我計劃在這裡以及我的另外一個部落格 繼續該連載，希望廣大網友關注，感興趣的網頁可以轉載，不註明也沒關係，我只是希望推廣大規模資料處理技術，如果能對大家學習工作有所幫助，十分欣慰。 我此前寫過《走進搜尋引擎》，翻譯了《Managing gigabyte

ZZ那些優雅的資料結構(1) : BloomFilter——大規模資料處理利器

原文來自：http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html BloomFilter——大規模資料處理利器 　　Bloom Filter是由Bloom在1970年提出的一種多雜湊函式對映的快速

BloomFilter–大規模資料處理利器

Bloom Filter是由Bloom在1970年提出的一種多雜湊函式對映的快速查詢演算法。通常應用在一些需要快速判斷某個元素是否屬於集合，但是並不嚴格要求100%正確的場合。 一. 例項 　　為了說明Bloom Filter存在的重要意義，舉一個例項： 　　假設要你寫一

bloomfilter大規模資料處理利器

import java.util.BitSet;publicclass BloomFilter  {/* BitSet初始分配2^24個bit */privatestaticfinalint DEFAULT_SIZE =1<<25; /* 不同雜湊函式的種子，一般應取質數 */privatesta

組合語言之第五章至第八章知識彙總 組合語言之第五章【BX】和loop指令 組合語言之第六章包含多個段的程式 組合語言之第七章更靈活的定位記憶體地址的方法 彙編實驗之第八章資料處理的兩個基本問題

      組合語言之第五章【BX】和loop指令   一：【bx】 　　【bx】和之前用過的【0】有些類似，都是表示記憶體單元，而它的偏移地址在bx中。段地址預設在ds中 　　描述一個記憶體單元 需要知道，1記憶體單元的地址，