1. 程式人生 > 其它 >java超大檔案上傳方案

java超大檔案上傳方案

我們平時經常做的是上傳檔案,上傳資料夾與上傳檔案類似,但也有一些不同之處,這次做了上傳資料夾就記錄下以備後用。

這次專案的需求:

支援大檔案的上傳和續傳,要求續傳支援所有瀏覽器,包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全瀏覽器,並且重新整理瀏覽器後仍然能夠續傳,重啟瀏覽器(關閉瀏覽器後再開啟)仍然能夠繼續上傳,重啟電腦後仍然能夠上傳

支援資料夾的上傳,要求服務端能夠保留層級結構,並且能夠續傳。需要支援10萬個以上的資料夾上傳。

支援低版本的系統和瀏覽器,因為這個專案的最終執行環境在政府,政府的配置都一般,職員都是辦公用,記憶體都不大,基本上以Windows XP的系統為主。

1、介紹enctype

enctype 屬性規定傳送到伺服器之前應該如何對錶單資料進行編碼。

enctype作用是告知伺服器請求正文的MIME型別(請求訊息頭content-type的作用一樣)

1、1 enctype的取值有三種

javaweb上傳檔案

上傳檔案的jsp中的部分

上傳檔案同樣可以使用form表單向後端發請求,也可以使用 ajax向後端發請求

    1.通過form表單向後端傳送請求

         <form id="postForm" action="${pageContext.request.contextPath}/UploadServlet" method="post" enctype="multipart/form-data">

            <div class="bbxx wrap">

                <inputtype="text" id="side-profile-name" name="username" class="form-control">

                <inputtype="file" id="example-file-input" name="avatar">

                <button type="submit" class="btn btn-effect-ripple btn-primary">Save</button>

            </div>

        </form>

改進後的程式碼不需要form標籤,直接由控制元件來實現。開發人員只需要關注業務邏輯即可。JS中已經幫我們封閉好了

    this.post_file = function ()

    {

        $.each(this.ui.btn, function (i, n) { n.hide();});

        this.ui.btn.stop.show();

        this.State = this.Config.state.Posting;//

        this.app.postFile({ id: this.fileSvr.id, pathLoc: this.fileSvr.pathLoc, pathSvr:this.fileSvr.pathSvr,lenSvr: this.fileSvr.lenSvr, fields: this.fields });

    };

通過監控工具可以看到控制元件提交的資料,非常的清晰,除錯也非常的簡單。

2.通過ajax向後端傳送請求

            $.ajax({

                 url : "${pageContext.request.contextPath}/UploadServlet",

                 type : "POST",

                 data : $( '#postForm').serialize(),

                 success : function(data) {

                      $( '#serverResponse').html(data);

                 },

                 error : function(data) {

                      $( '#serverResponse').html(data.status + " : " + data.statusText + " : " + data.responseText);

                 }

            });

ajax分為兩部分,一部分是初始化,檔案在上傳前通過AJAX請求通知服務端進行初始化操作

    this.md5_complete = function (json)

    {

        this.fileSvr.md5 = json.md5;

        this.ui.msg.text("MD5計算完畢,開始連線伺服器...");

        this.event.md5Complete(this, json.md5);//biz event

        var loc_path = encodeURIComponent(this.fileSvr.pathLoc);

        var loc_len = this.fileSvr.lenLoc;

        var loc_size = this.fileSvr.sizeLoc;

        var param = jQuery.extend({}, this.fields, this.Config.bizData, { md5: json.md5, id: this.fileSvr.id, lenLoc: loc_len, sizeLoc: loc_size, pathLoc: loc_path, time: new Date().getTime() });

        $.ajax({

            type: "GET"

            , dataType: 'jsonp'

            , jsonp: "callback" //自定義的jsonp回撥函式名稱,預設為jQuery自動生成的隨機函式名

            , url: this.Config["UrlCreate"]

            , data: param

            , success: function (sv)

            {

                _this.svr_create(sv);

            }

            , error: function (req, txt, err)

            {

                _this.Manager.RemoveQueuePost(_this.fileSvr.id);

                alert("向伺服器傳送MD5資訊錯誤!" + req.responseText);

                _this.ui.msg.text("向伺服器傳送MD5資訊錯誤");

                _this.ui.btn.cancel.show();

                _this.ui.btn.stop.hide();

            }

            , complete: function (req, sta) { req = null; }

        });

    };

在檔案上傳完後向伺服器傳送通知

    this.post_complete = function (json)

    {

        this.fileSvr.perSvr = "100%";

        this.fileSvr.complete = true;

        $.each(this.ui.btn, function (i, n)

        {

            n.hide();

        });

        this.ui.process.css("width", "100%");

        this.ui.percent.text("(100%)");

        this.ui.msg.text("上傳完成");

        this.Manager.arrFilesComplete.push(this);

        this.State = this.Config.state.Complete;

        //從上傳列表中刪除

        this.Manager.RemoveQueuePost(this.fileSvr.id);

        //從未上傳列表中刪除

        this.Manager.RemoveQueueWait(this.fileSvr.id);

        var param = { md5: this.fileSvr.md5, uid: this.uid, id: this.fileSvr.id, time: new Date().getTime() };

        $.ajax({

            type: "GET"

              , dataType: 'jsonp'

              , jsonp: "callback" //自定義的jsonp回撥函式名稱,預設為jQuery自動生成的隨機函式名

              , url: _this.Config["UrlComplete"]

              , data: param

              , success: function (msg)

              {

                  _this.event.fileComplete(_this);//觸發事件

                  _this.post_next();

              }

              , error: function (req, txt, err) { alert("檔案-向伺服器傳送Complete資訊錯誤!" + req.responseText); }

              , complete: function (req, sta) { req = null; }

        });

    };

這裡需要處理一個MD5秒傳的邏輯,當伺服器存在相同檔案時,不需要使用者再上傳,而是直接通知使用者秒傳

    this.post_complete_quick = function ()

    {

        this.fileSvr.perSvr = "100%";

        this.fileSvr.complete = true;

        this.ui.btn.stop.hide();

        this.ui.process.css("width", "100%");

        this.ui.percent.text("(100%)");

        this.ui.msg.text("伺服器存在相同檔案,快速上傳成功。");

        this.Manager.arrFilesComplete.push(this);

        this.State = this.Config.state.Complete;

        //從上傳列表中刪除

        this.Manager.RemoveQueuePost(this.fileSvr.id);

        //從未上傳列表中刪除

        this.Manager.RemoveQueueWait(this.fileSvr.id);

        //新增到檔案列表

        this.post_next();

        this.event.fileComplete(this);//觸發事件

    };

這裡可以看到秒傳的邏輯是非常 簡單的,並不是特別的複雜。

            var form = new FormData();

            form.append("username","zxj");

            form.append("avatar",file);

            //var form = new FormData($("#postForm")[0]);

            $.ajax({

                url:"${pageContext.request.contextPath}/UploadServlet",

                type:"post",

                data:form,

                processData:false,

                contentType:false,

                success:function(data){

        

                    console.log(data);

                }

            });

java部分

檔案初始化的邏輯,主要程式碼如下

FileInf fileSvr= new FileInf();

fileSvr.id = id;

fileSvr.fdChild = false;

fileSvr.uid = Integer.parseInt(uid);

fileSvr.nameLoc = PathTool.getName(pathLoc);

fileSvr.pathLoc = pathLoc;

fileSvr.lenLoc = Long.parseLong(lenLoc);

fileSvr.sizeLoc = sizeLoc;

fileSvr.deleted = false;

fileSvr.md5 = md5;

fileSvr.nameSvr = fileSvr.nameLoc;

//所有單個檔案均以uuid/file方式儲存

PathBuilderUuid pb = new PathBuilderUuid();

fileSvr.pathSvr = pb.genFile(fileSvr.uid,fileSvr);

fileSvr.pathSvr = fileSvr.pathSvr.replace("\\","/");

DBConfig cfg = new DBConfig();

DBFile db = cfg.db();

FileInf fileExist = new FileInf();

    

boolean exist = db.exist_file(md5,fileExist);

//資料庫已存在相同檔案,且有上傳進度,則直接使用此資訊

if(exist && fileExist.lenSvr > 1)

{

     fileSvr.nameSvr             = fileExist.nameSvr;

     fileSvr.pathSvr        = fileExist.pathSvr;

     fileSvr.perSvr              = fileExist.perSvr;

     fileSvr.lenSvr              = fileExist.lenSvr;

     fileSvr.complete       = fileExist.complete;

     db.Add(fileSvr);

    

     //觸發事件

    up6_biz_event.file_create_same(fileSvr);

}//此檔案不存在

else

{

     db.Add(fileSvr);

     //觸發事件

    up6_biz_event.file_create(fileSvr);

    

     FileBlockWriter fr = new FileBlockWriter();

     fr.CreateFile(fileSvr.pathSvr,fileSvr.lenLoc);

}

接收檔案塊資料,在這個邏輯中我們接收檔案塊資料。控制元件對資料進行了優化,可以方便除錯。如果用監控工具可以看到控制元件提交的資料。

boolean isMultipart = ServletFileUpload.isMultipartContent(request);

FileItemFactory factory = new DiskFileItemFactory();  

ServletFileUpload upload = new ServletFileUpload(factory);

List files = null;

try

{

     files = upload.parseRequest(request);

}

catch (FileUploadException e)

{// 解析檔案資料錯誤 

    out.println("read file data error:" + e.toString());

    return;

  

}

FileItem rangeFile = null;

// 得到所有上傳的檔案

Iterator fileItr = files.iterator();

// 迴圈處理所有檔案

while (fileItr.hasNext())

{

     // 得到當前檔案

     rangeFile = (FileItem) fileItr.next();

     if(StringUtils.equals( rangeFile.getFieldName(),"pathSvr"))

     {

         pathSvr = rangeFile.getString();

         pathSvr = PathTool.url_decode(pathSvr);

     }

}

boolean verify = false;

String msg = "";

String md5Svr = "";

long blockSizeSvr = rangeFile.getSize();

if(!StringUtils.isBlank(blockMd5))

{

     md5Svr = Md5Tool.fileToMD5(rangeFile.getInputStream());

}

verify = Integer.parseInt(blockSize) == blockSizeSvr;

if(!verify)

{

     msg = "block size error sizeSvr:" + blockSizeSvr + "sizeLoc:" + blockSize;

}

if(verify && !StringUtils.isBlank(blockMd5))

{

     verify = md5Svr.equals(blockMd5);

     if(!verify) msg = "block md5 error";

}

if(verify)

{

     //儲存檔案塊資料

     FileBlockWriter res = new FileBlockWriter();

     //僅第一塊建立

     if( Integer.parseInt(blockIndex)==1) res.CreateFile(pathSvr,Long.parseLong(lenLoc));

     res.write( Long.parseLong(blockOffset),pathSvr,rangeFile);

     up6_biz_event.file_post_block(id,Integer.parseInt(blockIndex));

    

     JSONObject o = new JSONObject();

     o.put("msg", "ok");

     o.put("md5", md5Svr); 

     o.put("offset", blockOffset);//基於檔案的塊偏移位置

     msg = o.toString();

}

rangeFile.delete();

out.write(msg);

注:

1. 上面的java部分的程式碼可以直接使用,只需要將上傳的圖片路徑及收集資料並將資料寫入到資料庫即可

2. 上面上傳檔案使用到了位元組流,其實還可以使用別的流,這個需要讀者自己在下面完善測試

3. BeanUtils是一個工具 便於將實體對應的屬性賦給實體

4. 上傳檔案不能使用 request.getParameter("")獲取引數了,而是直接將request解析,通過判斷每一項是檔案還是非檔案,然後進行相應的操作(檔案的話就是用流來讀取,非檔案的話,暫時儲存到一個map中。)

後端程式碼邏輯大部分是相同的,目前能夠支援MySQL,Oracle,SQL。在使用前需要配置一下資料庫,可以參考我寫的這篇文章:java http大檔案斷點續傳上傳 – 澤優軟體部落格 
歡迎入群一起討論“374992201”

 
   
   
   

1. 當enctype=’application/x-www-form-urlencoded’

2.當enctype=’multipart/form-data’

通過觀察發現這個的請求體就發生了變化。這種請求體被稱之為多部件請求體。

什麼是多部件請求體:就是把每一個表單項分割為一個部件。

以請求頭的content-type的boundary後面的一串隨機字串作為分割標識

普通表單項:

//name的意思是文字框裡面name的屬性值,而admin是我們輸入的文字值

Content-Disposition: form-data; name="username"

admin

檔案表單項

//filename的意思是:我們上傳的檔名稱,content-Type的意思是:MIME型別,asdasdas的意思是:檔案裡面的內容

Content-Disposition: form-data; name="upload"; filename="a.txt"

Content-Type: text/plain

asdasdas

3. 當enctype=’text/plain’

w3c稱:空格會變成”+”加號,但是我這裡沒有發現,只有當get請求的時候,空格會變成”+”號

進入正題

完成上傳需要滿足3個必要的條件

提供form表單,method必須是post,因為get請求的傳輸資料一般為2kb,不同瀏覽器不一樣。

form表單屬性enctype的必須是multipart/form-data

提供input type=”file”類的上傳輸入域

大致實現原理:當enctype的值是multipart/form-data時,瀏覽器會把每個表單項進行分割,分割成不同的部件,以boundary的值為分割標識,這個標識的字串是隨機生成的,最後一個表單項的分割標識字串末尾會多兩個”- -“,代表結束。服務端用request.getHeader(“content-type”)獲取分割字串,然後進行解析。

程式碼實現

一、開發環境搭建

準備兩個第三方jar包

commons-io包

commons-upload包

所有依賴包

程式碼實現

<%@ page language="java" import="up6.DBFile" pageEncoding="UTF-8"%>

<%@ page contentType="text/html;charset=UTF-8"%>

<%@ page import="up6.FileBlockWriter" %>

<%@ page import="up6.XDebug" %>

<%@ page import="up6.*" %>

<%@ page import="up6.biz.*" %>

<%@ page import="org.apache.commons.fileupload.FileItem" %>

<%@ page import="org.apache.commons.fileupload.FileItemFactory" %>

<%@ page import="org.apache.commons.fileupload.FileUploadException" %>

<%@ page import="org.apache.commons.fileupload.disk.DiskFileItemFactory" %>

<%@ page import="org.apache.commons.fileupload.servlet.ServletFileUpload" %>

<%@ page import="org.apache.commons.lang.*" %>

<%@ page import="java.net.URLDecoder"%>

<%@ page import="java.util.Iterator"%>

<%@ page import="net.sf.json.JSONObject"%>

<%@ page import="java.util.List"%>

<%

out.clear();

String uid             = request.getHeader("uid");//

String id              = request.getHeader("id");

String lenSvr      = request.getHeader("lenSvr");

String lenLoc      = request.getHeader("lenLoc");

String blockOffset = request.getHeader("blockOffset");

String blockSize   = request.getHeader("blockSize");

String blockIndex  = request.getHeader("blockIndex");

String blockMd5        = request.getHeader("blockMd5");

String complete        = request.getHeader("complete");

String pathSvr         = "";

//引數為空

if(  StringUtils.isBlank( uid )

     || StringUtils.isBlank( id )

     || StringUtils.isBlank( blockOffset ))

{

     XDebug.Output("param is null");return;

}

boolean isMultipart = ServletFileUpload.isMultipartContent(request);

FileItemFactory factory = new DiskFileItemFactory();  

ServletFileUpload upload = new ServletFileUpload(factory);

List files = null;

try {files = upload.parseRequest(request);}

catch (FileUploadException e)

{out.println("read file data error:" + e.toString());return;}

FileItem rangeFile = null;

Iterator fileItr = files.iterator();

while (fileItr.hasNext())

{

     rangeFile = (FileItem) fileItr.next();

     if(StringUtils.equals( rangeFile.getFieldName(),"pathSvr"))

     {

         pathSvr = rangeFile.getString();

         pathSvr = PathTool.url_decode(pathSvr);

     }

}

boolean verify = false;

String msg = "";

String md5Svr = "";

long blockSizeSvr = rangeFile.getSize();

if(!StringUtils.isBlank(blockMd5)){md5Svr = Md5Tool.fileToMD5(rangeFile.getInputStream());}

verify = Integer.parseInt(blockSize) == blockSizeSvr;

if(!verify){ msg = "block size error sizeSvr:" + blockSizeSvr + "sizeLoc:" + blockSize;}

if(verify && !StringUtils.isBlank(blockMd5))

{

     verify = md5Svr.equals(blockMd5); if(!verify) msg = "block md5 error";

}

if(verify)

{

     FileBlockWriter res = new FileBlockWriter();

     if( Integer.parseInt(blockIndex)==1) res.CreateFile(pathSvr,Long.parseLong(lenLoc));

     res.write( Long.parseLong(blockOffset),pathSvr,rangeFile);

     up6_biz_event.file_post_block(id,Integer.parseInt(blockIndex));

    

     JSONObject o = new JSONObject();

     o.put("msg", "ok");

     o.put("md5", md5Svr); 

     o.put("offset", blockOffset);

     msg = o.toString();

}

rangeFile.delete();

out.write(msg);

%>

下載的必須條件

兩個頭一個流

content-type

Content-Type是返回訊息中非常重要的內容,表示文件內容屬於什麼MIME型別。

瀏覽器會根據Content-Type來決定如何顯示返回的訊息體內容。

預設值是text/html

可以使用request.getServletContext().getMimeType(“檔名”)獲取MIME型別。

Content-Disposition

Content-disposition 是 MIME 協議的擴充套件,MIME 協議指示 MIME 使用者代理如何顯示附加的檔案。

預設值是inline,表示在瀏覽器視窗中開啟。

服務端向客戶端遊覽器傳送檔案時,如果是瀏覽器支援的檔案型別,一般會預設使用瀏覽器開啟,比如txt、jpg等,會直接在瀏覽器 中顯示。

如果需要提示使用者儲存,利用Content-Disposition進行一下處理,關鍵在於一定要加上attachment。

例如:Content-Disposition:attachment;filename=xxx,瀏覽器就會啟用下載框對話方塊, attachment 表示附件, filname 後面跟隨的是顯示在下載框中的檔名稱。

下載就是向客戶端響應位元組資料! 將一個檔案變成位元組陣列, 使用 response.getOutputStream()

來響應給瀏覽器。

程式碼如下,此程式碼已經實現了斷點續傳功能,使用者在下載過程可以暫停,和繼續下載,對伺服器造成的壓力也比較小。

String fid             = request.getHeader("id");

String blockIndex = request.getHeader("blockIndex");//基於1

String blockOffset     = request.getHeader("blockOffset");//塊偏移,相對於整個檔案

String blockSize   = request.getHeader("blockSize");//塊大小(當前需要下載的大小)

String pathSvr         = request.getHeader("pathSvr");//檔案在伺服器的位置

pathSvr            = PathTool.url_decode(pathSvr);

if (  StringUtils.isBlank(fid)

     ||StringUtils.isBlank(blockIndex)

     ||StringUtils.isEmpty(blockOffset)

     ||StringUtils.isBlank(blockSize)

     ||StringUtils.isBlank(pathSvr))

{

     response.setStatus(500);

     response.setHeader("err","引數為空");

     return;

}

File f = new File(pathSvr);

//檔案不存在

if(!f.exists())

{

     response.setStatus(500);

     OutputStream os = response.getOutputStream();

     System.out.println(String.format("%s 檔案不存在",pathSvr));

     os.close();

     return;

}

long fileLen = f.length();

response.setContentType("application/x-download");

response.setHeader("Pragma","No-cache"); 

response.setHeader("Cache-Control","no-cache");

response.addHeader("Content-Length",blockSize); 

response.setDateHeader("Expires", 0);

OutputStream os = response.getOutputStream();

try

{

     RandomAccessFile raf = new RandomAccessFile(pathSvr,"r");

    

     int readToLen = Integer.parseInt(blockSize);

     int readLen = 0;

     raf.seek( Long.parseLong(blockOffset) );//定位索引

     byte[] data = new byte[1048576];

    

     while( readToLen > 0 )

     {

         readLen = raf.read(data,0,Math.min(1048576,readToLen) );

         readToLen -= readLen;

         os.write(data, 0, readLen);

        

     }

     os.flush();

     os.close();  

     raf.close();

     os = null;

     response.flushBuffer();

    

     out.clear();

     out = pageContext.pushBody();

}

catch(Exception e)

{

     response.setStatus(500);

     os.close();

     out.close();

     e.printStackTrace();

}

finally

{   

     if(os != null)

     {

         os.close();       

         os = null;

     }

     out.clear();

     out = pageContext.pushBody();

}%>

載入檔案列表,在下載列表中顯示出來

後端程式碼邏輯大部分是相同的,目前能夠支援MySQL,Oracle,SQL。在使用前需要配置一下資料庫,可以參考我寫的這篇文章:http://blog.ncmem.com/wordpress/2019/08/12/java-http%E5%A4%A7%E6%96%87%E4%BB%B6%E6%96%AD%E7%82%B9%E7%BB%AD%E4%BC%A0%E4%B8%8A%E4%BC%A0/

歡迎入群一起討論“374992201”