HTML上傳檔案支援大檔案上傳,下載討論
前言：因自己負責的專案(jetty內嵌啟動的SpringMvc)中需要實現檔案上傳，而自己對java檔案上傳這一塊未接觸過，且對 Http 協議較模糊，故這次採用漸進的方式來學習檔案上傳的原理與實踐。該部落格重在實踐。
一. Http協議原理簡介
HTTP是一個屬於應用層的面向物件的協議，由於其簡捷、快速的方式，適用於分散式超媒體資訊系統。它於1990年提出，經過幾年的使用與發展，得到不斷地完善和擴充套件。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的規範化工作正在進行之中，而且HTTP-NG(Next Generation of HTTP)的建議已經提出。
簡單來說，就是一個基於應用層的通訊規範：雙方要進行通訊，大家都要遵守一個規範，這個規範就是HTTP協議。
1.特點：
(1)支援客戶/伺服器模式。
(2)簡單快速：客戶向伺服器請求服務時，只需傳送請求方法和路徑。請求方法常用的有GET、HEAD、POST。每種方法規定了客戶與伺服器聯絡的型別不同。由於HTTP協議簡單，使得HTTP伺服器的程式規模小，因而通訊速度很快。
(3)靈活：HTTP允許傳輸任意型別的資料物件。正在傳輸的型別由Content-Type加以標記。
(4)無連線：無連線的含義是限制每次連線只處理一個請求。伺服器處理完客戶的請求，並收到客戶的應答後，即斷開連線。採用這種方式可以節省傳輸時間。
(5)無狀態：HTTP協議是無狀態協議。無狀態是指協議對於事務處理沒有記憶能力。缺少狀態意味著如果後續處理需要前面的資訊，則它必須重傳，這樣可能導致每次連線傳送的資料量增大。另一方面，在伺服器不需要先前資訊時它的應答就較快。
注意：其中(4)(5)是面試中常用的面試題。雖然HTTP協議（應用層）是無連線，無狀態的，但其所依賴的TCP協議（傳輸層）卻是常連線、有狀態的，而TCP協議（傳輸層）又依賴於IP協議（網路層）。
2.HTTP訊息的結構
(1)Request訊息分為3部分，第一部分叫請求行， 第二部分叫http header訊息頭, 第三部分是body正文，header和body之間有個空行， 結構如下圖
(2)Response訊息的結構， 和Request訊息的結構基本一樣。 同樣也分為三部分，第一部分叫request line狀態行， 第二部分叫request header訊息體，第三部分是body正文， header和body之間也有個空行，結構如下圖
下面是使用Fiddler捕捉請求baidu的Request訊息機構和Response訊息機構：
因為沒有輸入任何表單資訊，故request的訊息正文為空，大家可以找一個登入的頁面試試看。
先到這裡，HTTP協議的知識網上很豐富，在這裡就不再熬述了。
二. 檔案上傳的三種實現
1. Jsp/servlet實現檔案上傳
這是最常見也是最簡單的方式
(1)實現檔案上傳的Jsp頁面
(2)負責接檔案的FileUploadServlet
importjava.io.File;
importjava.io.FileOutputStream;
importjava.io.IOException;
importjava.io.InputStream;
importjavax.servlet.ServletException;
importjavax.servlet.http.HttpServlet;
importjavax.servlet.http.HttpServletRequest;
importjavax.servlet.http.HttpServletResponse;
importorg.apache.log4j.Logger;
// @WebServlet(name = "FileLoadServlet", urlPatterns = {"/fileload"})
publicclassFileLoadServletextendsHttpServlet{
privatestaticLogger logger=Logger.getLogger(FileLoadServlet.class);
privatestaticfinallongserialVersionUID=1302377908285976972L;
@Override
protectedvoidservice(HttpServletRequest request,HttpServletResponse response)throwsServletException,IOException{
logger.info("------------ FileLoadServlet ------------");
if(request.getContentLength()>0){
InputStream inputStream=null;
FileOutputStream outputStream=null;
try{
inputStream=request.getInputStream();
//給新檔案拼上時間毫秒，防止重名
longnow=System.currentTimeMillis();
File file=newFile("c:/","file-"+now+".txt");
file.createNewFile();
outputStream=newFileOutputStream(file);
bytetemp[]=newbyte[1024];
intsize=-1;
while((size=inputStream.read(temp))!=-1){//每次讀取1KB，直至讀完
outputStream.write(temp,0,size);
}
logger.info("File load success.");
}catch(IOException e){
logger.warn("File load fail.",e);
request.getRequestDispatcher("/fail.jsp").forward(request,response);
}finally{
outputStream.close();
inputStream.close();
}
}
request.getRequestDispatcher("/succ.jsp").forward(request,response);
}
}
FileUploadServlet的配置，推薦採用servlet3.0註解的方式更方便
<servlet>
<servlet-name>FileLoadServlet</servlet-name>
<servlet-class>com.juxinli.servlet.FileLoadServlet</servlet-class>
</servlet>
<servlet-mapping>
<servlet-name>FileLoadServlet</servlet-name>
<url-pattern>/fileload</url-pattern>
</servlet-mapping>
(3)執行效果
點選"submit"
頁面轉向檔案上傳成功的頁面，再去C盤看看，發現多了一個檔案：file-1433417127748.txt，這個就是剛上傳的檔案
我們開啟看看，發現和原來的文字有些不一樣
結合前面講的HTTP協議的訊息結構，不難發現這些文字就是去掉"請求頭"後的"Request訊息體"。所以，如果要得到與上傳檔案一致的文字，還需要一些字串操作，這些就留給大家了。
另外，大家可以試試一個Jsp頁面上傳多個檔案，會有不一樣的精彩哦o(∩_∩)o ，不解釋。
2.模擬Post請求/servlet 實現檔案上傳
剛才我們是使用Jsp頁面來上傳檔案，假如客戶端不是webapp專案呢，顯然剛才的那種方式有些捉襟見襯了。
這裡我們換種思路，既然頁面上通過點選可以實現檔案上傳，為何不能通過HttpClient來模擬瀏覽器傳送上傳檔案的請求呢。關於HttpClient ,大家可以自己去了解。
(1)還是這個專案，啟動servlet服務
(2)模擬請求的FileLoadClient
importjava.io.BufferedReader;
importjava.io.File;
importjava.io.InputStream;
importjava.io.InputStreamReader;
importorg.apache.commons.httpclient.HttpClient;
importorg.apache.commons.httpclient.HttpStatus;
importorg.apache.commons.httpclient.methods.PostMethod;
importorg.apache.commons.httpclient.methods.multipart.FilePart;
importorg.apache.commons.httpclient.methods.multipart.MultipartRequestEntity;
importorg.apache.commons.httpclient.methods.multipart.Part;
importorg.apache.log4j.Logger;
publicclassFileLoadClient{
privatestaticLogger logger=Logger.getLogger(FileLoadClient.class);
publicstaticString fileload(String url,File file){
String body="{}";
if(url==null||url.equals("")){
return"引數不合法";
}
if(!file.exists()){
return"要上傳的檔名不存在";
}
PostMethod postMethod=newPostMethod(url);
try{
// FilePart：用來上傳檔案的類,file即要上傳的檔案
FilePart fp=newFilePart("file",file);
Part[]parts={fp};
//對於MIME型別的請求，httpclient建議全用MulitPartRequestEntity進行包裝
MultipartRequestEntity mre=newMultipartRequestEntity(parts,postMethod.getParams());
postMethod.setRequestEntity(mre);
HttpClient client=newHttpClient();
//由於要上傳的檔案可能比較大 , 因此在此設定最大的連線超時時間
client.getHttpConnectionManager().getParams().setConnectionTimeout(50000);
intstatus=client.executeMethod(postMethod);
if(status==HttpStatus.SC_OK){
InputStream inputStream=postMethod.getResponseBodyAsStream();
BufferedReader br=newBufferedReader(newInputStreamReader(inputStream));
StringBuffer stringBuffer=newStringBuffer();
String str="";
while((str=br.readLine())!=null){
stringBuffer.append(str);
}
body=stringBuffer.toString();
}else{
body="fail";
}
}catch(Exception e){
logger.warn("上傳檔案異常",e);
}finally{
//釋放連線
postMethod.releaseConnection();
}
returnbody;
}
publicstaticvoidmain(String[]args)throwsException{
String body=fileload("http://localhost:8080/jsp_upload-servlet/fileload",newFile("C:/1111.txt"));
System.out.println(body);
}
}
(3)在Eclipse中執行FileLoadClient程式來發送請求，執行結果：
<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /></head><body><h2>File upload success</h2><a href="index.jsp">return</a></body></html>
列印了：檔案上傳成功的succ.jsp頁面
有沒有發現什麼，是不是和前面Jsp頁面上傳的結果類似？對的，還是去掉"請求頭"後的"Request訊息體"。
這種方式也很簡單，負責接收檔案的FileUploadServlet沒有變，只要在客戶端把檔案讀取到流中，然後模擬請求servlet就行了。
3.模擬Post請求/Controller（SpringMvc）實現檔案上傳
終於到第三種方式了，主要難點在於搭建maven+jetty+springmvc環境，接收檔案的service和模擬請求的客戶端 和上面相似。
(1)模擬請求的FileLoadClient未變
importjava.io.BufferedReader;
importjava.io.File;
importjava.io.InputStream;
importjava.io.InputStreamReader;
importorg.apache.commons.httpclient.HttpClient;
importorg.apache.commons.httpclient.HttpStatus;
importorg.apache.commons.httpclient.methods.PostMethod;
importorg.apache.commons.httpclient.methods.multipart.FilePart;
importorg.apache.commons.httpclient.methods.multipart.MultipartRequestEntity;
importorg.apache.commons.httpclient.methods.multipart.Part;
importorg.apache.log4j.Logger;
publicclassFileLoadClient{
privatestaticLogger logger=Logger.getLogger(FileLoadClient.class);
publicstaticString fileload(String url,File file){
String body="{}";
if(url==null||url.equals("")){
return"引數不合法";
}
if(!file.exists()){
return"要上傳的檔名不存在";
}
PostMethod postMethod=newPostMethod(url);
try{
// FilePart：用來上傳檔案的類,file即要上傳的檔案
FilePart fp=newFilePart("file",file);
Part[]parts={fp};
//對於MIME型別的請求，httpclient建議全用MulitPartRequestEntity進行包裝
MultipartRequestEntity mre=newMultipartRequestEntity(parts,postMethod.getParams());
postMethod.setRequestEntity(mre);
HttpClient client=newHttpClient();
//由於要上傳的檔案可能比較大 , 因此在此設定最大的連線超時時間
client.getHttpConnectionManager().getParams().setConnectionTimeout(50000);
intstatus=client.executeMethod(postMethod);
if(status==HttpStatus.SC_OK){
InputStream inputStream=postMethod.getResponseBodyAsStream();
BufferedReader br=newBufferedReader(newInputStreamReader(inputStream));
StringBuffer stringBuffer=newStringBuffer();
String str="";
while((str=br.readLine())!=null){
stringBuffer.append(str);
}
body=stringBuffer.toString();
}else{
body="fail";
}
}catch(Exception e){
logger.warn("上傳檔案異常",e);
}finally{
//釋放連線
postMethod.releaseConnection();
}
returnbody;
}
publicstaticvoidmain(String[]args)throwsException{
String body=fileload("http://localhost:8080/fileupload/upload",newFile("C:/1111.txt"));
System.out.println(body);
}
}
(2)servlet換為springMvc中的Controller
importjava.io.File;
importjava.io.FileOutputStream;
importjava.io.IOException;
importjava.io.InputStream;
importjavax.servlet.http.HttpServletRequest;
importjavax.servlet.http.HttpServletResponse;
importorg.apache.log4j.Logger;
importorg.springframework.stereotype.Controller;
importorg.springframework.web.bind.annotation.RequestMapping;
importorg.springframework.web.bind.annotation.RequestMethod;
@Controller
@RequestMapping("/fileupload")
publicclassFileUploadService{
privateLogger logger=Logger.getLogger(FileUploadService.class);
@RequestMapping(consumes="multipart/form-data",value="/hello",method=RequestMethod.GET)
publicvoidhello(HttpServletRequest request,HttpServletResponse response)throwsIOException{
response.getWriter().write("Hello, jetty server start ok.");
}
@RequestMapping(consumes="multipart/form-data",value="/upload",method=RequestMethod.POST)
publicvoiduploadFile(HttpServletRequest request,HttpServletResponse response)throwsIOException{
String result="";
if(request.getContentLength()>0){
InputStream inputStream=null;
FileOutputStream outputStream=null;
try{
inputStream=request.getInputStream();
//給新檔案拼上時間毫秒，防止重名
longnow=System.currentTimeMillis();
File file=newFile("c:/","file-"+now+".txt");
file.createNewFile();
outputStream=newFileOutputStream(file);
bytetemp[]=newbyte[1024];
intsize=-1;
while((size=inputStream.read(temp))!=-1){//每次讀取1KB，直至讀完
outputStream.write(temp,0,size);
}
logger.info("File load success.");
result="File load success.";
}catch(IOException e){
logger.warn("File load fail.",e);
result="File load fail.";
}finally{
outputStream.close();
inputStream.close();
}
}
response.getWriter().write(result);
}
}
(3)啟動jetty的核心程式碼，在Eclipse裡面右鍵可以啟動，也可以把專案打成jar報啟動
importorg.apache.log4j.Logger;
importorg.eclipse.jetty.server.Connector;
importorg.eclipse.jetty.server.Server;
importorg.eclipse.jetty.server.ServerConnector;
importorg.eclipse.jetty.webapp.WebAppContext;
publicclassLauncher
{
privatestaticLogger logger=Logger.getLogger(Launcher.class);
privatestaticfinalintPORT=8080;
privatestaticfinalString WEBAPP="src/main/webapp";
privatestaticfinalString CONTEXTPATH="/";
privatestaticfinalString DESCRIPTOR="src/main/webapp/WEB-INF/web.xml";
/*
*建立 Jetty Server，指定其埠、web目錄、根目錄、web路徑
* @param port
* @param webApp
* @param contextPath
* @param descriptor
* @return Server
*/
publicstaticServer createServer(intport,String webApp,String contextPath,String descriptor){
Server server=newServer();
//設定在JVM退出時關閉Jetty的鉤子
//這樣就可以在整個功能測試時啟動一次Jetty,然後讓它在JVM退出時自動關閉
server.setStopAtShutdown(true);
ServerConnector connector=newServerConnector(server);
connector.setPort(port);
//解決Windows下重複啟動Jetty不報告埠衝突的問題
//在Windows下有個Windows + Sun的connector實現的問題,reuseAddress=true時重複啟動同一個埠的Jetty不會報錯
//所以必須設為false,代價是若上次退出不乾淨(比如有TIME_WAIT),會導致新的Jetty不能啟動,但權衡之下還是應該設為False
connector.setReuseAddress(false);
server.setConnectors(newConnector[]{connector});
WebAppContext webContext=newWebAppContext(webApp,contextPath);
webContext.setDescriptor(descriptor);
//設定webapp的位置
webContext.setResourceBase(webApp);
webContext.setClassLoader(Thread.currentThread().getContextClassLoader());
server.setHandler(webContext);
returnserver;
}
/**
*啟動jetty服務
*/
publicvoidstartJetty(){
finalServer server=Launcher.createServer(PORT,WEBAPP,CONTEXTPATH,DESCRIPTOR);
try{
server.start();
server.join();
}catch(Exception e){
logger.warn("啟動 jetty server 失敗",e);
System.exit(-1);
}
}
publicstaticvoidmain(String[]args){
(newLauncher()).startJetty();
// jetty啟動後的測試url
// http://localhost:8080/fileupload/hello
}
}
springMvc的配置不貼了，大家可以下載原始碼下來看。
(4)執行效果
上傳包含1W個檔案的資料夾，正常
大型檔案續傳功能正常 。
檔案批量上傳正常
伺服器中已經根據日期+GUID生成了目錄
資料庫中也有記錄
後端程式碼邏輯大部分是相同的，目前能夠支援MySQL,Oracle,SQL。在使用前需要配置一下資料庫，可以參考我寫的這篇文章：http://blog.ncmem.com/wordpress/2019/08/12/java-http%E5%A4%A7%E6%96%87%E4%BB%B6%E6%96%AD%E7%82%B9%E7%BB%AD%E4%BC%A0%E4%B8%8A%E4%BC%A0/
歡迎入群一起討論：374992201