java超大檔案上傳方案
我們平時經常做的是上傳檔案,上傳資料夾與上傳檔案類似,但也有一些不同之處,這次做了上傳資料夾就記錄下以備後用。
這次專案的需求:
支援大檔案的上傳和續傳,要求續傳支援所有瀏覽器,包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全瀏覽器,並且重新整理瀏覽器後仍然能夠續傳,重啟瀏覽器(關閉瀏覽器後再開啟)仍然能夠繼續上傳,重啟電腦後仍然能夠上傳
支援資料夾的上傳,要求服務端能夠保留層級結構,並且能夠續傳。需要支援10萬個以上的資料夾上傳。
支援低版本的系統和瀏覽器,因為這個專案的最終執行環境在政府,政府的配置都一般,職員都是辦公用,記憶體都不大,基本上以Windows XP的系統為主。
1、介紹enctype
enctype 屬性規定傳送到伺服器之前應該如何對錶單資料進行編碼。
enctype作用是告知伺服器請求正文的MIME型別(請求訊息頭content-type的作用一樣)
1、1 enctype的取值有三種
javaweb上傳檔案 上傳檔案的jsp中的部分 上傳檔案同樣可以使用form表單向後端發請求,也可以使用 ajax向後端發請求 1.通過form表單向後端傳送請求 <form id="postForm" action="${pageContext.request.contextPath}/UploadServlet" method="post" enctype="multipart/form-data"> <div class="bbxx wrap"> <inputtype="text" id="side-profile-name" name="username" class="form-control"> <inputtype="file" id="example-file-input" name="avatar"> <button type="submit" class="btn btn-effect-ripple btn-primary">Save</button> </div> </form> 改進後的程式碼不需要form標籤,直接由控制元件來實現。開發人員只需要關注業務邏輯即可。JS中已經幫我們封閉好了 this.post_file = function () { $.each(this.ui.btn, function (i, n) { n.hide();}); this.ui.btn.stop.show(); this.State = this.Config.state.Posting;// this.app.postFile({ id: this.fileSvr.id, pathLoc: this.fileSvr.pathLoc, pathSvr:this.fileSvr.pathSvr,lenSvr: this.fileSvr.lenSvr, fields: this.fields }); }; 通過監控工具可以看到控制元件提交的資料,非常的清晰,除錯也非常的簡單。 2.通過ajax向後端傳送請求 $.ajax({ url : "${pageContext.request.contextPath}/UploadServlet", type : "POST", data : $( '#postForm').serialize(), success : function(data) { $( '#serverResponse').html(data); }, error : function(data) { $( '#serverResponse').html(data.status + " : " + data.statusText + " : " + data.responseText); } }); ajax分為兩部分,一部分是初始化,檔案在上傳前通過AJAX請求通知服務端進行初始化操作 this.md5_complete = function (json) { this.fileSvr.md5 = json.md5; this.ui.msg.text("MD5計算完畢,開始連線伺服器..."); this.event.md5Complete(this, json.md5);//biz event var loc_path = encodeURIComponent(this.fileSvr.pathLoc); var loc_len = this.fileSvr.lenLoc; var loc_size = this.fileSvr.sizeLoc; var param = jQuery.extend({}, this.fields, this.Config.bizData, { md5: json.md5, id: this.fileSvr.id, lenLoc: loc_len, sizeLoc: loc_size, pathLoc: loc_path, time: new Date().getTime() }); $.ajax({ type: "GET" , dataType: 'jsonp' , jsonp: "callback" //自定義的jsonp回撥函式名稱,預設為jQuery自動生成的隨機函式名 , url: this.Config["UrlCreate"] , data: param , success: function (sv) { _this.svr_create(sv); } , error: function (req, txt, err) { _this.Manager.RemoveQueuePost(_this.fileSvr.id); alert("向伺服器傳送MD5資訊錯誤!" + req.responseText); _this.ui.msg.text("向伺服器傳送MD5資訊錯誤"); _this.ui.btn.cancel.show(); _this.ui.btn.stop.hide(); } , complete: function (req, sta) { req = null; } }); }; 在檔案上傳完後向伺服器傳送通知 this.post_complete = function (json) { this.fileSvr.perSvr = "100%"; this.fileSvr.complete = true; $.each(this.ui.btn, function (i, n) { n.hide(); }); this.ui.process.css("width", "100%"); this.ui.percent.text("(100%)"); this.ui.msg.text("上傳完成"); this.Manager.arrFilesComplete.push(this); this.State = this.Config.state.Complete; //從上傳列表中刪除 this.Manager.RemoveQueuePost(this.fileSvr.id); //從未上傳列表中刪除 this.Manager.RemoveQueueWait(this.fileSvr.id); var param = { md5: this.fileSvr.md5, uid: this.uid, id: this.fileSvr.id, time: new Date().getTime() }; $.ajax({ type: "GET" , dataType: 'jsonp' , jsonp: "callback" //自定義的jsonp回撥函式名稱,預設為jQuery自動生成的隨機函式名 , url: _this.Config["UrlComplete"] , data: param , success: function (msg) { _this.event.fileComplete(_this);//觸發事件 _this.post_next(); } , error: function (req, txt, err) { alert("檔案-向伺服器傳送Complete資訊錯誤!" + req.responseText); } , complete: function (req, sta) { req = null; } }); }; 這裡需要處理一個MD5秒傳的邏輯,當伺服器存在相同檔案時,不需要使用者再上傳,而是直接通知使用者秒傳 this.post_complete_quick = function () { this.fileSvr.perSvr = "100%"; this.fileSvr.complete = true; this.ui.btn.stop.hide(); this.ui.process.css("width", "100%"); this.ui.percent.text("(100%)"); this.ui.msg.text("伺服器存在相同檔案,快速上傳成功。"); this.Manager.arrFilesComplete.push(this); this.State = this.Config.state.Complete; //從上傳列表中刪除 this.Manager.RemoveQueuePost(this.fileSvr.id); //從未上傳列表中刪除 this.Manager.RemoveQueueWait(this.fileSvr.id); //新增到檔案列表 this.post_next(); this.event.fileComplete(this);//觸發事件 }; 這裡可以看到秒傳的邏輯是非常 簡單的,並不是特別的複雜。 var form = new FormData(); form.append("username","zxj"); form.append("avatar",file); //var form = new FormData($("#postForm")[0]); $.ajax({ url:"${pageContext.request.contextPath}/UploadServlet", type:"post", data:form, processData:false, contentType:false, success:function(data){
console.log(data); } }); java部分 檔案初始化的邏輯,主要程式碼如下 FileInf fileSvr= new FileInf(); fileSvr.id = id; fileSvr.fdChild = false; fileSvr.uid = Integer.parseInt(uid); fileSvr.nameLoc = PathTool.getName(pathLoc); fileSvr.pathLoc = pathLoc; fileSvr.lenLoc = Long.parseLong(lenLoc); fileSvr.sizeLoc = sizeLoc; fileSvr.deleted = false; fileSvr.md5 = md5; fileSvr.nameSvr = fileSvr.nameLoc; //所有單個檔案均以uuid/file方式儲存 PathBuilderUuid pb = new PathBuilderUuid(); fileSvr.pathSvr = pb.genFile(fileSvr.uid,fileSvr); fileSvr.pathSvr = fileSvr.pathSvr.replace("\\","/"); DBConfig cfg = new DBConfig(); DBFile db = cfg.db(); FileInf fileExist = new FileInf();
boolean exist = db.exist_file(md5,fileExist); //資料庫已存在相同檔案,且有上傳進度,則直接使用此資訊 if(exist && fileExist.lenSvr > 1) { fileSvr.nameSvr = fileExist.nameSvr; fileSvr.pathSvr = fileExist.pathSvr; fileSvr.perSvr = fileExist.perSvr; fileSvr.lenSvr = fileExist.lenSvr; fileSvr.complete = fileExist.complete; db.Add(fileSvr);
//觸發事件 up6_biz_event.file_create_same(fileSvr); }//此檔案不存在 else { db.Add(fileSvr); //觸發事件 up6_biz_event.file_create(fileSvr);
FileBlockWriter fr = new FileBlockWriter(); fr.CreateFile(fileSvr.pathSvr,fileSvr.lenLoc); } 接收檔案塊資料,在這個邏輯中我們接收檔案塊資料。控制元件對資料進行了優化,可以方便除錯。如果用監控工具可以看到控制元件提交的資料。 boolean isMultipart = ServletFileUpload.isMultipartContent(request); FileItemFactory factory = new DiskFileItemFactory(); ServletFileUpload upload = new ServletFileUpload(factory); List files = null; try { files = upload.parseRequest(request); } catch (FileUploadException e) {// 解析檔案資料錯誤 out.println("read file data error:" + e.toString()); return;
} FileItem rangeFile = null; // 得到所有上傳的檔案 Iterator fileItr = files.iterator(); // 迴圈處理所有檔案 while (fileItr.hasNext()) { // 得到當前檔案 rangeFile = (FileItem) fileItr.next(); if(StringUtils.equals( rangeFile.getFieldName(),"pathSvr")) { pathSvr = rangeFile.getString(); pathSvr = PathTool.url_decode(pathSvr); } } boolean verify = false; String msg = ""; String md5Svr = ""; long blockSizeSvr = rangeFile.getSize(); if(!StringUtils.isBlank(blockMd5)) { md5Svr = Md5Tool.fileToMD5(rangeFile.getInputStream()); } verify = Integer.parseInt(blockSize) == blockSizeSvr; if(!verify) { msg = "block size error sizeSvr:" + blockSizeSvr + "sizeLoc:" + blockSize; } if(verify && !StringUtils.isBlank(blockMd5)) { verify = md5Svr.equals(blockMd5); if(!verify) msg = "block md5 error"; } if(verify) { //儲存檔案塊資料 FileBlockWriter res = new FileBlockWriter(); //僅第一塊建立 if( Integer.parseInt(blockIndex)==1) res.CreateFile(pathSvr,Long.parseLong(lenLoc)); res.write( Long.parseLong(blockOffset),pathSvr,rangeFile); up6_biz_event.file_post_block(id,Integer.parseInt(blockIndex));
JSONObject o = new JSONObject(); o.put("msg", "ok"); o.put("md5", md5Svr); o.put("offset", blockOffset);//基於檔案的塊偏移位置 msg = o.toString(); } rangeFile.delete(); out.write(msg); 注: 1. 上面的java部分的程式碼可以直接使用,只需要將上傳的圖片路徑及收集資料並將資料寫入到資料庫即可 2. 上面上傳檔案使用到了位元組流,其實還可以使用別的流,這個需要讀者自己在下面完善測試 3. BeanUtils是一個工具 便於將實體對應的屬性賦給實體 4. 上傳檔案不能使用 request.getParameter("")獲取引數了,而是直接將request解析,通過判斷每一項是檔案還是非檔案,然後進行相應的操作(檔案的話就是用流來讀取,非檔案的話,暫時儲存到一個map中。) 後端程式碼邏輯大部分是相同的,目前能夠支援MySQL,Oracle,SQL。在使用前需要配置一下資料庫,可以參考我寫的這篇文章: |
|
1. 當enctype=’application/x-www-form-urlencoded’
2.當enctype=’multipart/form-data’
通過觀察發現這個的請求體就發生了變化。這種請求體被稱之為多部件請求體。
什麼是多部件請求體:就是把每一個表單項分割為一個部件。
以請求頭的content-type的boundary後面的一串隨機字串作為分割標識
普通表單項:
//name的意思是文字框裡面name的屬性值,而admin是我們輸入的文字值
Content-Disposition: form-data; name="username"
admin
檔案表單項
//filename的意思是:我們上傳的檔名稱,content-Type的意思是:MIME型別,asdasdas的意思是:檔案裡面的內容
Content-Disposition: form-data; name="upload"; filename="a.txt"
Content-Type: text/plain
asdasdas
3. 當enctype=’text/plain’
w3c稱:空格會變成”+”加號,但是我這裡沒有發現,只有當get請求的時候,空格會變成”+”號
進入正題
完成上傳需要滿足3個必要的條件
提供form表單,method必須是post,因為get請求的傳輸資料一般為2kb,不同瀏覽器不一樣。
form表單屬性enctype的必須是multipart/form-data
提供input type=”file”類的上傳輸入域
大致實現原理:當enctype的值是multipart/form-data時,瀏覽器會把每個表單項進行分割,分割成不同的部件,以boundary的值為分割標識,這個標識的字串是隨機生成的,最後一個表單項的分割標識字串末尾會多兩個”- -“,代表結束。服務端用request.getHeader(“content-type”)獲取分割字串,然後進行解析。
程式碼實現
一、開發環境搭建
準備兩個第三方jar包
所有依賴包
程式碼實現
<%@ page language="java" import="up6.DBFile" pageEncoding="UTF-8"%>
<%@ page contentType="text/html;charset=UTF-8"%>
<%@ page import="up6.FileBlockWriter" %>
<%@ page import="up6.XDebug" %>
<%@ page import="up6.*" %>
<%@ page import="up6.biz.*" %>
<%@ page import="org.apache.commons.fileupload.FileItem" %>
<%@ page import="org.apache.commons.fileupload.FileItemFactory" %>
<%@ page import="org.apache.commons.fileupload.FileUploadException" %>
<%@ page import="org.apache.commons.fileupload.disk.DiskFileItemFactory" %>
<%@ page import="org.apache.commons.fileupload.servlet.ServletFileUpload" %>
<%@ page import="org.apache.commons.lang.*" %>
<%@ page import="java.net.URLDecoder"%>
<%@ page import="java.util.Iterator"%>
<%@ page import="net.sf.json.JSONObject"%>
<%@ page import="java.util.List"%>
<%
out.clear();
String uid = request.getHeader("uid");//
String id = request.getHeader("id");
String lenSvr = request.getHeader("lenSvr");
String lenLoc = request.getHeader("lenLoc");
String blockOffset = request.getHeader("blockOffset");
String blockSize = request.getHeader("blockSize");
String blockIndex = request.getHeader("blockIndex");
String blockMd5 = request.getHeader("blockMd5");
String complete = request.getHeader("complete");
String pathSvr = "";
//引數為空
if( StringUtils.isBlank( uid )
|| StringUtils.isBlank( id )
|| StringUtils.isBlank( blockOffset ))
{
XDebug.Output("param is null");return;
}
boolean isMultipart = ServletFileUpload.isMultipartContent(request);
FileItemFactory factory = new DiskFileItemFactory();
ServletFileUpload upload = new ServletFileUpload(factory);
List files = null;
try {files = upload.parseRequest(request);}
catch (FileUploadException e)
{out.println("read file data error:" + e.toString());return;}
FileItem rangeFile = null;
Iterator fileItr = files.iterator();
while (fileItr.hasNext())
{
rangeFile = (FileItem) fileItr.next();
if(StringUtils.equals( rangeFile.getFieldName(),"pathSvr"))
{
pathSvr = rangeFile.getString();
pathSvr = PathTool.url_decode(pathSvr);
}
}
boolean verify = false;
String msg = "";
String md5Svr = "";
long blockSizeSvr = rangeFile.getSize();
if(!StringUtils.isBlank(blockMd5)){md5Svr = Md5Tool.fileToMD5(rangeFile.getInputStream());}
verify = Integer.parseInt(blockSize) == blockSizeSvr;
if(!verify){ msg = "block size error sizeSvr:" + blockSizeSvr + "sizeLoc:" + blockSize;}
if(verify && !StringUtils.isBlank(blockMd5))
{
verify = md5Svr.equals(blockMd5); if(!verify) msg = "block md5 error";
}
if(verify)
{
FileBlockWriter res = new FileBlockWriter();
if( Integer.parseInt(blockIndex)==1) res.CreateFile(pathSvr,Long.parseLong(lenLoc));
res.write( Long.parseLong(blockOffset),pathSvr,rangeFile);
up6_biz_event.file_post_block(id,Integer.parseInt(blockIndex));
JSONObject o = new JSONObject();
o.put("msg", "ok");
o.put("md5", md5Svr);
o.put("offset", blockOffset);
msg = o.toString();
}
rangeFile.delete();
out.write(msg);
%>
下載的必須條件
兩個頭一個流
content-type
Content-Type是返回訊息中非常重要的內容,表示文件內容屬於什麼MIME型別。
瀏覽器會根據Content-Type來決定如何顯示返回的訊息體內容。
預設值是text/html
可以使用request.getServletContext().getMimeType(“檔名”)獲取MIME型別。
Content-Disposition
Content-disposition 是 MIME 協議的擴充套件,MIME 協議指示 MIME 使用者代理如何顯示附加的檔案。
預設值是inline,表示在瀏覽器視窗中開啟。
服務端向客戶端遊覽器傳送檔案時,如果是瀏覽器支援的檔案型別,一般會預設使用瀏覽器開啟,比如txt、jpg等,會直接在瀏覽器 中顯示。
如果需要提示使用者儲存,利用Content-Disposition進行一下處理,關鍵在於一定要加上attachment。
例如:Content-Disposition:attachment;filename=xxx,瀏覽器就會啟用下載框對話方塊, attachment 表示附件, filname 後面跟隨的是顯示在下載框中的檔名稱。
流
下載就是向客戶端響應位元組資料! 將一個檔案變成位元組陣列, 使用 response.getOutputStream()
來響應給瀏覽器。
程式碼如下,此程式碼已經實現了斷點續傳功能,使用者在下載過程可以暫停,和繼續下載,對伺服器造成的壓力也比較小。
String fid = request.getHeader("id");
String blockIndex = request.getHeader("blockIndex");//基於1
String blockOffset = request.getHeader("blockOffset");//塊偏移,相對於整個檔案
String blockSize = request.getHeader("blockSize");//塊大小(當前需要下載的大小)
String pathSvr = request.getHeader("pathSvr");//檔案在伺服器的位置
pathSvr = PathTool.url_decode(pathSvr);
if ( StringUtils.isBlank(fid)
||StringUtils.isBlank(blockIndex)
||StringUtils.isEmpty(blockOffset)
||StringUtils.isBlank(blockSize)
||StringUtils.isBlank(pathSvr))
{
response.setStatus(500);
response.setHeader("err","引數為空");
return;
}
File f = new File(pathSvr);
//檔案不存在
if(!f.exists())
{
response.setStatus(500);
OutputStream os = response.getOutputStream();
System.out.println(String.format("%s 檔案不存在",pathSvr));
os.close();
return;
}
long fileLen = f.length();
response.setContentType("application/x-download");
response.setHeader("Pragma","No-cache");
response.setHeader("Cache-Control","no-cache");
response.addHeader("Content-Length",blockSize);
response.setDateHeader("Expires", 0);
OutputStream os = response.getOutputStream();
try
{
RandomAccessFile raf = new RandomAccessFile(pathSvr,"r");
int readToLen = Integer.parseInt(blockSize);
int readLen = 0;
raf.seek( Long.parseLong(blockOffset) );//定位索引
byte[] data = new byte[1048576];
while( readToLen > 0 )
{
readLen = raf.read(data,0,Math.min(1048576,readToLen) );
readToLen -= readLen;
os.write(data, 0, readLen);
}
os.flush();
os.close();
raf.close();
os = null;
response.flushBuffer();
out.clear();
out = pageContext.pushBody();
}
catch(Exception e)
{
response.setStatus(500);
os.close();
out.close();
e.printStackTrace();
}
finally
{
if(os != null)
{
os.close();
os = null;
}
out.clear();
out = pageContext.pushBody();
}%>
載入檔案列表,在下載列表中顯示出來
後端程式碼邏輯大部分是相同的,目前能夠支援MySQL,Oracle,SQL。在使用前需要配置一下資料庫,可以參考我寫的這篇文章:
歡迎入群一起討論“374992201”