趣講檔案上傳功能的巧妙設計

大家好，我是魚皮。

不知道大家有沒有想過製作一款自己的網盤呢？這不，我學程式設計的老弟小阿巴做了一個，非常激動地找我來體驗。

開啟網盤，介面仿的還不錯，我簡單試了下檔案的上傳和下載，沒有什麼問題。

正當小阿巴洋洋得意時，我試著上傳一個 1 GB 大小的檔案。結果檔案上傳到 99% 時，網路一抖，檔案上傳失敗，竟然還要從 0 開始重新上傳？！

小阿巴無奈地撓撓頭：網路不好，怪我咯？

我直接一巴掌甩過去，要知道，製作網盤可不是一件容易的事！

先從最基礎的功能來說，要實現檔案的上傳、儲存、下載、檔案和目錄管理。如果要真正上線、開放給其他人使用，還要考慮到許可權管理、介面訪問、CDN 加速，無論哪點自己來做都是很麻煩的。

所以除了學習之外，如果想要搭建自己的私人網盤，建議直接選擇一些開源的，比如主流的 Seafile、Nextcloud、Cloudreve、OwnCloud 都可以。

當然，公用網盤最要命的還是頻寬、儲存等資源的費用，所以為了節約成本、支援更多使用者訪問，很多網盤都採取了限速、限制容量策略。

小阿巴：做了網盤這麼麻煩啊，我放棄我放棄。。。

我笑到：雖然想做好網盤很難，但我們可以一步步來，學習每個功能中的優秀設計，相信最後也能做出一款不錯的網盤。今天就先從 檔案上傳 講起吧，解決下剛剛上傳失敗必須從 0 重新上傳的問題等。

檔案上傳設計

檔案上傳顧名思義就是把檔案從本地電腦傳送到儲存檔案的遠端伺服器上，小檔案的上傳倒沒有什麼好說的，主要考慮的是大檔案上傳怎麼 更快、更穩定、更靈活、更快響應

這裡分享幾個經典的大檔案上傳設計，包括檔案分塊、併發上傳、斷點續傳、秒傳、非同步上傳。

檔案分塊

既然小檔案的處理相對容易，那不妨在傳送前，把大檔案分割為多個連續的小檔案，一塊一塊地傳送。

此外，需要在傳送每一個檔案塊時，額外傳輸一些資訊，比如當前塊數、檔案總塊數、檔案大小、所屬原檔案標識（MD5）等：

這樣，伺服器就能一塊一塊地接收，把這些檔案塊儲存到臨時目錄中。當接收到最後一塊時，把之前的所有檔案塊再拼接到一起，就能組成完成的原檔案啦。

併發上傳

將大檔案分塊後，就可以通過多執行緒併發上傳，同時傳輸多個塊：

要根據網路情況決定是否併發上傳、同時併發上傳多少個塊，不是併發數越多越好。網路好的話，併發數量調大一些，能夠大大提高檔案整體上傳效率；相反，盲目調整併發數，上傳可能會更慢。

斷點續傳

對於大檔案來說，上傳中斷後如果要從 0 開始重傳，就太讓人崩潰了！

推薦使用斷點續傳技術，原理很簡單，在檔案分塊的基礎上，伺服器記錄一下原檔案對應的上傳進度，每接收到一個塊，就更新一下進度。這樣，即使網路故障導致上傳失敗，也能從上傳進度中知道哪些檔案塊已上傳、接下來需要從哪一塊重新開始了，而不用從第 1 塊開始重新傳輸。

該原理同樣適用於檔案下載。

斷點續傳有很多種實現方式，自主實現、HTTP 協議 1.1 等，感興趣的同學可以瞭解下。

秒傳

不知道大家有沒有發現，有時，我們上傳一個幾 GB 的超大檔案竟然可以在 1 秒內完成！

這是咋實現的呢？真相只有一個，該檔案肯定之前已經被上傳過了！

這就是經典的秒傳技術。

上傳檔案前，先在客戶端（比如瀏覽器）根據檔案內容計算出檔案的 MD5 值，相同內容的檔案 MD5 值必然相同。然後在伺服器已上傳檔案資料庫中查詢該 MD5 對應的檔案是否已存在。如果不存在，上傳檔案並在上傳成功後將該檔案資訊插入資料庫，過程如下：

若檔案已存在，直接新建一個對該檔案的引用就行了，不必重複上傳，過程如下：

不過要注意，不同內容檔案的 MD5 值也可能會相同（碰撞），導致使用者下載到不是自己上傳的檔案，所以檢驗重複時，還可以補充一些校驗，比如針對檔案前幾位再生成一個 MD5、用其他 Hash 演算法再生成一個校驗值等。

非同步上傳

除了同步上傳外，當我們要上傳的檔案不在本地而是已經存在對應 url 時，也可以採用 全非同步上傳 的方式，將檔案上傳變成一個 任務 。

使用者輸入要上傳的檔案 url，點選上傳後，不需要一直在檔案上傳頁面等著，而是隻需要告訴後臺 “我要執行檔案上傳”，並向後臺新建一個檔案上傳任務，就可以快速響應使用者了，比如 “檔案上傳中，請留意通知”。等後臺取出並真正完成檔案上傳的任務後，給使用者傳送通知就可以了。

整體步驟如下：

最後，如果只是需要在開發中用到檔案上傳，大可不必自己實現上述功能，用個現成的物件儲存服務就好了。比如七牛雲，分塊上傳什麼的都給我們做好了，也可以參考七牛雲 SDK 文件（https://github.com/qiniu）來了解它們的實現方式。

我是魚皮，最後再送大家一些 幫助我拿到大廠 offer 的學習資料：

跑了，留下 6T 的資源！

歡迎閱讀 我從 0 自學進入騰訊的程式設計學習、實習、求職、考證、寫書經歷，不再迷茫！

我學計算機的四年，共勉！

以上就是本期分享，有幫助的話點個贊吧 ❤️