搭建分散式檔案系統步驟
一..分散式檔案系統介紹
是一款開源的輕量級分散式檔案系統,採用純C實現,目前提供了C,Java和PHP的API,主要用它來對檔案進行管理,功能包括檔案儲存,檔案同步,檔案訪問
FastDFS服務端有兩個角色:跟蹤器(tracker)和儲存節點(storage)。
跟蹤器主要做排程工作,在訪問上起負載均衡的作用。
儲存節點主要的工作:儲存、同步和提供存取介面。
二.上傳檔案流程上傳檔案互動過程:
1. client詢問tracker可以執行上傳操作的storage,不需要附加引數;
2. tracker返回一臺可用的storage;
3. client直接和storage通訊完成檔案上傳
三.下載檔案流程
1. client詢問tracker下載檔案的storage,引數為檔案標識(卷名和檔名);
2. tracker返回一臺可用的storage;
3. client直接和storage通訊完成檔案下載。
四:搭建圖片伺服器
1.上傳依賴的環境
安裝FastDFS需要先從官網下載原始碼,然後進行編譯,但編譯依賴gcc環境,
如果沒有gcc環境,需要安裝gcc:
yum -y install gcc-c++
FastDFS依賴libevent庫,需要安裝:
yum -y install libevent
2.上傳安裝檔案
FastDFS_v5.0.5
fastdfs-nginx-module_v1.16
libfastcommonV1.0.7
nginx-1.8.1
3.安裝libfastcommon
libfastcommon是FastDFS官方提供的,libfastcommon包含了FastDFS執行所需要的一些基礎庫。
cd /usr/local
tar -zxvf libfastcommonV1.0.7.tar.gz
cd libfastcommon-1.0.7
./make.sh
./make.sh install
注意:libfastcommon安裝好後會自動將庫檔案拷貝至/usr/lib64下,由於FastDFS程式引用usr/lib目錄,所以需要將/usr/lib64下的庫檔案拷貝至/usr/lib
4.安裝
FastDFS_v5.05.
i,解壓FastDFS_v5.05.tar.gz
tar -zxvf FastDFS_v5.05.tar.gz
ii,cd FastDFS
./make.sh
./make.sh install
a.啟動tracker服務
修改/etc/fdfs /tracker.conf檔案
base-path=/usr/local/software/FastDFS/tracker啟動tracker。/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
重啟使用命令:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
b.安裝storage服務
如果是在不同的伺服器安裝,則前面的兩步需要重新執行。
配置storage服務。修改/etc/fdfs /storage.conf檔案
啟動storage服務,此處會時間長一些
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
5.配置客戶端
將/usr/local/FastDFS/client 裡面的libfdfsclient.so 拷貝到 /usr/lib 這一步非常重要(nginx)
修改配置檔案/etc/fdfs/client.conf
測試 /usr/bin/fdfs_test / etc/fdfs/client.conf upload /home/hgz/shuai.jpg
6.安裝nginx以及nginx外掛
nginx需要依賴一些環境
n gcc(前面已經安裝,所以不用再安裝)
yum install gcc-c++
n PCRE
yum install -y pcre pcre-devel
n zlib
yum install -y zlib zlib-devel
n openssl
yum install -y openssl openssl-devel
安裝nginx,和nginx外掛,兩者結合
可以使用官方提供的nginx外掛。要使用nginx外掛需要重新編譯。
fastdfs-nginx-module_v1.16.tar.gz
1、解壓外掛壓縮包
2、修改fastdfs-nginx-module/src/config檔案,把其中的local去掉。
3、把fastdfs-nginx-module/src/mod_fastdfs.conf檔案複製到/etc/fdfs目錄下。編輯:
4、解壓nginx,進入nginx目錄
5、對nginx重新config
./configure --add-module=/usr/local/fastdfs-nginx-module/src
6、make
7、make install
注意:nginx預設安裝到了/usr/local/nginx目錄下,所以接下來要進入此目錄中
8.、nginx的配置 cd /usr/local/nginx/conf
在nginx的配置檔案中新增一個location:
9、啟動nginx
10、進入/usr/local/nginx/sbin目錄
11、[[email protected] sbin]# ./nginx
相關推薦
搭建分散式檔案系統步驟
一..分散式檔案系統介紹 是一款開源的輕量級分散式檔案系統,採用純C實現,目前提供了C,Java和PHP的API,主要用它來對檔案進行管理,功能包括檔案儲存,檔案同步,檔案訪問 FastDFS服務端有兩個角色:跟蹤器(tracker)和儲存節點(storage)。 跟蹤
fastdfs + nginx 搭建分散式檔案系統(單機模式)
FastDFS安裝手冊 FastDFS之叢集部署: http://blog.csdn.net/zhu_
Docker搭建分散式檔案系統fastDFS及SpringBoot整合fastDFS
docker安裝fastdfs映象 docker pull morunchang/fastdfs 執行tracker docker run -d --name tracker --net=host morunchang/fastdfs sh tr
從零搭建分散式檔案系統MinIO比FastDFS要更合適
前兩天跟大家分享了一篇關於如何利用FastDFS元件來自建分散式檔案系統的文章,有興趣的朋友可以閱讀下《[用asp.net core結合fastdfs打造分散式檔案儲存系統](https://www.cnblogs.com/yilezhu/p/12797543.html)》。通過留言發現大家雖然感興趣,但是都
Hadoop分散式檔案系統搭建以及基本操作
1. 環境搭建 jdk-1.8 jdk下載地址 export JAVA_HOME = /usr/lib/java/jdk1.7.0_21 export PATH =$JAVA_HOME/bin:$PATH hadoop-2.7.3 hadoop各個版本
如何搭建MFS分散式檔案系統(二)
chunkServer資料儲存節點上的操作記錄 1)關閉防火牆(selinux也要關閉,執行setenforce 0) [[email protected] ~]# /etc/init.d/iptables stop 2)建立mfs使用者和組 [[email protec
如何搭建MFS分散式檔案系統
1什麼是分散式檔案系統? 是一個具有容錯性的網路分散式檔案系統,它將資料分散存放在多個物理伺服器或單獨磁碟或分割槽上,確保一份資料 有多個備份副本,對於訪問MFS的客戶端或者使用者來說,整個分散式網路檔案系統叢集看起來就像一個資源一樣,也就是說呈現給使用者的是一個統一的資源。
(三)CentOS7搭建FastDFS V5.11分散式檔案系統
第一篇主要講下載相關的軟體安裝包; 第二篇主要講FastDFS的搭建; 第三篇主要講FastDFS與Nginx的整合; 1、FastDFS與Nginx的整合並測試 前面兩篇博文已對FastDFS的安裝和配置,做了比較詳細的講解。FastDFS的基礎模組都搭好了,現在開始測試下載。
(二)CentOS7搭建FastDFS V5.11分散式檔案系統
第一篇主要講下載相關的軟體安裝包; 第二篇主要講FastDFS的搭建; 第三篇主要講FastDFS與Nginx的整合; 1、CentOS7中FastDFS搭建 1.1整理一下我們下載的軟體包 fastdfs-5.11 fastdfs-nginx-m
(一)CentOS7搭建FastDFS V5.11分散式檔案系統
宣告:本文章參考 https://blog.csdn.net/m0_37797991/article/details/73381648,此博文連線為我老師的博文連結,在搭建FastDFS V5.11分散式檔案系統環境中為記錄適合自己的環境搭建過程,特重寫此博文! 1、緒論 因學習以
大資料-Hadoop-HDFS(分散式檔案系統)環境搭建
1:Hadoop三大核心元件 A:分散式檔案系統HDFS B:分散式資源排程器 C:分散式計算框架MapReduce 2:HDFS簡介: HDFS架構:HDFS採用Master/Slave架構 即:一個Master(NameNode)對應多個Slave(DataNode)
CentOS7搭建FastDFS V5.11分散式檔案系統及Java整合詳細過程(一)
1.緒論 最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的過程中遇到過很多的問題,為了能幫忙到以後搭建FastDFS的同學,少走彎路,與大家分享一下。FastDFS的作者淘寶資深架構餘慶,這個優秀的輕量及的分散式檔案系統的開源沒多久
centos7下glusterFs 分散式檔案系統環境搭建
1、GlusterFS簡介: GlusterFS是一個開源的分散式檔案系統 相關術語如下: - Brick:GFS中的儲存單元,通過是一個受信儲存池中的伺服器的一個匯出目錄。可以通過主機名和目錄名來標識,如’SERVER:EXPORT’ - Clien
Nginx服務搭建負載均衡,反向代理,快取加速,訪問分散式檔案系統高可用
主配置檔案如下:[[email protected]~]#vim /usr/local/nginx/conf/nginx.conf server{ listen 8099 //埠號 location / { autoindex on; autoinde
在linux Ubuntu16上搭建ceph分散式檔案系統(四節點)實測有效!
特別注意:如果命令直接複製粘貼出現錯誤,則手動輸入可解決參考教程:第一步~~~.準備 4個Ubuntu 16.04 Server 虛擬機器(可以使用VMware或者VirtualBox)配置好每個虛擬機器的IP 以及hostname (很重要!)我的四臺虛擬機器配置如下:(
CentOS7搭建FastDFS V5.11分散式檔案系統及Java整合詳細過程(三)
1.測試 前面兩篇博文已對FastDFS的安裝和配置,做了比較詳細的講解。FastDFS的基礎模組都搭好了,現在開始測試下載。 1.1 配置客戶端 同樣的,需要修改客戶端的配置檔案: vim /etc/fdfs/client.conf
GlusterFs 分散式檔案系統環境搭建
1.關閉防火牆和SELinux (對於這個安全模組,有興趣可以看看)systemctl stop firewalld systemctl disable firewalld vi/etc/selinu
【GlusterFS學習之一】:GlusterFS分散式檔案系統的基本概念及搭建
最近因為工作的需要在接觸GlusterFS,在未來的一段時間之內應該都要與之打交道,剛剛接觸分散式檔案系統,對很多概念和機制都不是很清楚,通過一段時間的學習有一點淺顯的認識,那麼就把這段時間的瞭解到的
linux學習之搭建高可用分散式檔案系統MFS
停止mfs [[email protected] ~]# umount /mnt/mfs/ [[email protected] chunk1]# mfschunkserver stop [[email protected] chunk1]# mfschunkserver sto
分散式檔案系統FastDFS簡介、搭建、與SpringBoot整合實現圖片上傳
之前大學時搭建過一個FastDFS的圖片伺服器,當時只是抱著好奇的態度搭著玩一下,當時搭建採用了一臺虛擬機器,tracker和storage服務在一臺機器上放著,最近翻之前的部落格突然想著在兩臺機器上搭建試一下,順便整合了SpringBoot實現了一下圖片的上傳服務。 新的閱讀體驗地址:http://www