1. 程式人生 > >大資料--論文讀後感

大資料--論文讀後感

  讀了有關Goodle的File-System、MapReduce和Bigtable的論文。

  其中File-System中的GFS是一個面向大規模資料密集型應用的、可伸縮的分散式檔案系統,它不僅滿足了人們對記憶體的需求,而且該系統還將檔案管理得有序不亂,該系統在現在的電腦中應用範圍廣泛,它也有許多的優點。其中GFS將整個系統的節點分為三類角色:客戶端、主伺服器和資料塊伺服器。它的特點也十分具有特色,如:1.GFS實現了資料流和控制流的分離;2.採用中心伺服器模式;3.無論是客戶端還是chunk伺服器都不需要快取檔案資料。

  僅它的特點在當時的時代裡就十分出色,也影響了現在檔案系統的走向,谷歌的這一發明不僅便捷了人們的工作,而且還簡化了人們的工作,使檔案中的資料不易混亂且對於資料的控制也井然有序,完全將資料流和控制流分離開,使系統更快速的、更有效的控制儲存在檔案中的資料,同時也為當今的大資料時代奠定了基礎。該系統通過建立一個master,使它的許可權大於其他的chunk sever,讓master來管理電腦中的每一個chunk sever方便進行負載均衡,且不存在元資料的一致性問題,使系統在執行時減少了一定量的複雜過程。然後檔案操作大部分是流式讀寫,不存在大量的重複讀寫,這樣大大減少了繁雜的一部分程式;其GDS只需要少量和master的節點的通訊就可以獲取chunk的位置資訊,之後就可以進行多次讀寫操作,選用較大的chunk尺寸減少了master節點需要儲存的雲資料的數量,這就允許我們把雲資料儲存在記憶體中,不易丟失。其中GDS中還有一致性模型,該模型使一臺電腦上的同一份資料不因為複製多次而發生改變,只改變其中的字數多少,保證了分散式檔案的高可用性。這使得這種資料寫入方式的效能更高,而且也能提高更強的一致性語義。

  Goodle的File-System實用性非常高,它的誕生就是一個新時代的開始,希望在未來會有更大的超越。