php結合webuploader斷點續傳的實現
阿新 • • 發佈：2018-12-21
最近公司專案需要用到斷點續傳,所以記錄一下其中的坑 使用到的主要技術
- webuploader
- thinkphp5
斷點續傳的思路:
-
客戶端:
1.獲取檔案md5(MD5是檔案唯一標識,用來判斷是否存在此檔案,並且用作分片的資料夾名) 2.將檔案分片 3.驗證分片是否上傳過,上傳過直接跳過當前分片 3.上傳分片到md5的資料夾(儲存檔名建議按分片序號來,因為分片的順序很重要) 4.最後一個分片上傳完成後傳送合併分片請求並由伺服器返回檔案資訊 -
服務端
1.獲取md5資料夾下的檔案數量並返回用作分片驗證 2.接收檔案分片並儲存到檔案md5的資料夾,檔名稱使用分片序號:如0.mp4,1.mp4 3.合併分片時將md5資料夾下的所有檔案按檔名順序提取並寫入到最終的檔案內 4.寫入完成獲取最終檔案hash並判斷是否存在,存在則返回已存在檔案,刪除當前檔案,不存在則寫入資料庫並返回檔案資訊
大體思路是這樣,實際還要加入許多驗證,比客戶端獲取到md5後馬上要驗證檔案是否存在,存在就不上傳,直接使用檔案資訊,不存在則上傳
分片上傳前也要驗證,不過分片的跳過規則需要注意,伺服器只需要返回已有的分片數量,客戶端根據已有的分片和當前分片索引即可判斷是否應該跳過,因為分片是按順序上傳的,如:
,服務端需要注意合併的時候順序不能亂,順序亂了就無法還原原始檔,所以建議用分片索引作為檔名,獲取的時候直接按0,1,2這樣獲取就行了.
並且儲存時要注意儲存在自定義的目錄下需要確保該目錄存在,不存在的目錄需要新建後才可以儲存檔案
完整程式碼如下:
客戶端:
var uploader;
var fileMd5; 伺服器:
//分片上傳
function chunkUpload($name = 'file')
{
$md5 = request()->param()\['md5'\];
$object_info = request()->file($name);
//儲存檔案的順序很重要!
$object = $object_info->rule('uniqid')->move(PATH_FILE . $md5 . '/',request()->param()\['chunk'\]);
if($object)
{
return \['chunks'=>request()->param()\['chunks'\],'chunk'=>request()->param()\['chunk'\]\];
}else{
return false;
}
}
//最終合併檔案
function videoUpload()
{
$md5 = request()->param()\['md5'\];
$dir = PATH_FILE . $md5;
if(is_dir($dir)) {
//獲取檔案的順序很重要!!!
$files = \[\];
$chunk_id = 0;
$chunk_file = PATH_FILE . $md5 . '/';
while (file_exists($chunk_file . $chunk_id . '.mp4')){
$files\[\] = $chunk_file . $chunk_id . '.mp4';
$chunk_id++;
}
$file_name = randomStr().'.mp4';
$path_file = date('Ymd') . SYS_DS_PROS . $file_name;
//日期目錄不存在則建立目錄
if(!is_dir(PATH_FILE . date('Ymd')))
{
mkdir(PATH_FILE . date('Ymd'));
}
$count = 0;
foreach ($files as $v)
{
$_file = file_get_contents($v);
$_res = file_put_contents(PATH_FILE . $path_file,$_file,FILE_APPEND);
if($_res)
{
unlink($v);
}else{
$count++;
}
}
if($count == 0)
{
rmdir($dir);
//檢查合併後的檔案hash
$_hash = hash_file('sha1', PATH_FILE . $path_file);
//合併後的檔案已存在則刪除已合併檔案並返回已有檔案資訊
$file_info = $this->modelFile->getInfo(\['sha1'=>$_hash\],'id,name,path,sha1,guid,md5');
if(!empty($file_info))
{
unlink(PATH_FILE . $path_file);
return $file_info;
}
//合併後的檔案入庫並返回
$_data = \['name' => $file_name, 'path' => $path_file, 'sha1' => $_hash,'guid'=>'','md5'=>request()->param()\['md5'\]\];
$result = $this->modelFile->addInfo($_data);
$_data\['id'\] = $result;
return $_data;
}else{
$this->error = '合併檔案失敗';
return false;
}
}else{
$this->error = '分片目錄不存在!';
return false;
}
}
//分片驗證
function checkChunk()
{
$md5 = request()->param()\['md5'\];
$dir = PATH_FILE . $md5;
if(is_dir($dir)) {
$files = $this->getFileByPath($dir);
return count($files);
}else{
return false;
}
}
========================================================================= 最新更新: 分片驗證存在bug,當上傳分片不小心刪除了前面的分片時就導致無法合成檔案(檔案數量導致跳過了),因此,更新分片驗證 前端:
//時間點2：如果有分塊上傳，則每個分塊上傳之前呼叫此函式
beforeSend:function(block){
var deferred = WebUpload