Netty5.0基於http協議檔案傳輸(http file)
HttpStaticFileServer.java
package com.netty.demo.http.file; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.EventLoopGroup; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.channel.socket.nio.NioServerSocketChannel; /** * http協議檔案傳輸 * @author Qixuan.Chen * 建立時間:2015年5月4日 */ public class HttpStaticFileServer { private final int port;//埠 public HttpStaticFileServer(int port) { this.port = port; } public void run() throws Exception { EventLoopGroup bossGroup = new NioEventLoopGroup();//執行緒一 //這個是用於serversocketchannel的event EventLoopGroup workerGroup = new NioEventLoopGroup();//執行緒二//這個是用於處理accept到的channel try { ServerBootstrap b = new ServerBootstrap(); b.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) .childHandler(new HttpStaticFileServerInitializer()); b.bind(port).sync().channel().closeFuture().sync(); } finally { bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); } } public static void main(String[] args) throws Exception { int port=8089; if (args.length > 0) { port = Integer.parseInt(args[0]); } else { port = 8089; } new HttpStaticFileServer(8089).run();//啟動服務 } }
HttpStaticFileServerInitializer.java
package com.netty.demo.http.file; import io.netty.channel.ChannelInitializer; import io.netty.channel.ChannelPipeline; import io.netty.channel.socket.SocketChannel; import io.netty.handler.codec.http.HttpObjectAggregator; import io.netty.handler.codec.http.HttpRequestDecoder; import io.netty.handler.codec.http.HttpResponseEncoder; import io.netty.handler.stream.ChunkedWriteHandler; public class HttpStaticFileServerInitializer extends ChannelInitializer<SocketChannel> { @Override public void initChannel(SocketChannel ch) throws Exception { // Create a default pipeline implementation. ChannelPipeline pipeline = ch.pipeline(); // Uncomment the following line if you want HTTPS //SSLEngine engine = SecureChatSslContextFactory.getServerContext().createSSLEngine(); //engine.setUseClientMode(false); //pipeline.addLast("ssl", new SslHandler(engine)); /** * (1)ReadTimeoutHandler,用於控制讀取資料的時候的超時,10表示如果10秒鐘都沒有資料讀取了,那麼就引發超時,然後關閉當前的channel (2)WriteTimeoutHandler,用於控制資料輸出的時候的超時,構造引數1表示如果持續1秒鐘都沒有資料寫了,那麼就超時。 (3)HttpRequestrianDecoder,這個handler用於從讀取的資料中將http報文資訊解析出來,無非就是什麼requestline,header,body什麼的。。。 (4)然後HttpObjectAggregator則是用於將上賣解析出來的http報文的資料組裝成為封裝好的httprequest物件。。 (5)HttpresponseEncoder,用於將使用者返回的httpresponse編碼成為http報文格式的資料 (6)HttpHandler,哈,不要被這個名字給唬住了,其實這個是自己定義的handler,用於處理接收到的http請求。 */ pipeline.addLast("decoder", new HttpRequestDecoder());// http-request解碼器,http伺服器端對request解碼 pipeline.addLast("aggregator", new HttpObjectAggregator(65536));//對傳輸檔案大少進行限制 pipeline.addLast("encoder", new HttpResponseEncoder());//http-response解碼器,http伺服器端對response編碼 pipeline.addLast("chunkedWriter", new ChunkedWriteHandler()); pipeline.addLast("handler", new HttpStaticFileServerHandler(true)); // Specify false if SSL.(如果是ssl,就指定為false) } }
HttpStaticFileServerHandler.java
package com.netty.demo.http.file; import io.netty.buffer.ByteBuf; import io.netty.buffer.Unpooled; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelFutureListener; import io.netty.channel.ChannelHandlerContext; import io.netty.channel.ChannelProgressiveFuture; import io.netty.channel.ChannelProgressiveFutureListener; import io.netty.channel.DefaultFileRegion; import io.netty.channel.SimpleChannelInboundHandler; import io.netty.handler.codec.http.DefaultFullHttpResponse; import io.netty.handler.codec.http.DefaultHttpResponse; import io.netty.handler.codec.http.FullHttpRequest; import io.netty.handler.codec.http.FullHttpResponse; import io.netty.handler.codec.http.HttpHeaders; import io.netty.handler.codec.http.HttpResponse; import io.netty.handler.codec.http.HttpResponseStatus; import io.netty.handler.codec.http.LastHttpContent; import io.netty.handler.stream.ChunkedFile; import io.netty.util.CharsetUtil; import javax.activation.MimetypesFileTypeMap; import java.io.File; import java.io.FileNotFoundException; import java.io.RandomAccessFile; import java.io.UnsupportedEncodingException; import java.net.URLDecoder; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import java.util.GregorianCalendar; import java.util.Locale; import java.util.TimeZone; import java.util.regex.Pattern; import static io.netty.handler.codec.http.HttpHeaders.Names.*; import static io.netty.handler.codec.http.HttpHeaders.*; import static io.netty.handler.codec.http.HttpMethod.*; import static io.netty.handler.codec.http.HttpResponseStatus.*; import static io.netty.handler.codec.http.HttpVersion.*; /** * A simple handler that serves incoming HTTP requests to send their respective * HTTP responses. It also implements {@code 'If-Modified-Since'} header to * take advantage of browser cache, as described in * <a href="http://tools.ietf.org/html/rfc2616#section-14.25">RFC 2616</a>. * * <h3>How Browser Caching Works</h3> * * Web browser caching works with HTTP headers as illustrated by the following * sample: * <ol> * <li>Request #1 returns the content of {@code /file1.txt}.</li> * <li>Contents of {@code /file1.txt} is cached by the browser.</li> * <li>Request #2 for {@code /file1.txt} does return the contents of the * file again. Rather, a 304 Not Modified is returned. This tells the * browser to use the contents stored in its cache.</li> * <li>The server knows the file has not been modified because the * {@code If-Modified-Since} date is the same as the file's last * modified date.</li> * </ol> * * <pre> * Request #1 Headers * =================== * GET /file1.txt HTTP/1.1 * * Response #1 Headers * =================== * HTTP/1.1 200 OK * Date: Tue, 01 Mar 2011 22:44:26 GMT * Last-Modified: Wed, 30 Jun 2010 21:36:48 GMT * Expires: Tue, 01 Mar 2012 22:44:26 GMT * Cache-Control: private, max-age=31536000 * * Request #2 Headers * =================== * GET /file1.txt HTTP/1.1 * If-Modified-Since: Wed, 30 Jun 2010 21:36:48 GMT * * Response #2 Headers * =================== * HTTP/1.1 304 Not Modified * Date: Tue, 01 Mar 2011 22:44:28 GMT * * </pre> */ public class HttpStaticFileServerHandler extends SimpleChannelInboundHandler<FullHttpRequest> { public static final String HTTP_DATE_FORMAT = "EEE, dd MMM yyyy HH:mm:ss zzz"; public static final String HTTP_DATE_GMT_TIMEZONE = "GMT"; public static final int HTTP_CACHE_SECONDS = 60; private final boolean useSendFile; public HttpStaticFileServerHandler(boolean useSendFile) { this.useSendFile = useSendFile; } @Override public void messageReceived( ChannelHandlerContext ctx, FullHttpRequest request) throws Exception { if (!request.getDecoderResult().isSuccess()) { sendError(ctx, BAD_REQUEST); return; } if (request.getMethod() != GET) { sendError(ctx, METHOD_NOT_ALLOWED); return; } final String uri = request.getUri(); System.out.println("-----uri----"+uri); final String path = sanitizeUri(uri); System.out.println("-----path----"+path); if (path == null) { sendError(ctx, FORBIDDEN); return; } File file = new File(path); if (file.isHidden() || !file.exists()) { sendError(ctx, NOT_FOUND); return; } if (file.isDirectory()) { if (uri.endsWith("/")) { sendListing(ctx, file); } else { sendRedirect(ctx, uri + '/'); } return; } if (!file.isFile()) { sendError(ctx, FORBIDDEN); return; } // Cache Validation String ifModifiedSince = request.headers().get(IF_MODIFIED_SINCE); if (ifModifiedSince != null && !ifModifiedSince.isEmpty()) { SimpleDateFormat dateFormatter = new SimpleDateFormat(HTTP_DATE_FORMAT, Locale.US); Date ifModifiedSinceDate = dateFormatter.parse(ifModifiedSince); // Only compare up to the second because the datetime format we send to the client // does not have milliseconds long ifModifiedSinceDateSeconds = ifModifiedSinceDate.getTime() / 1000; long fileLastModifiedSeconds = file.lastModified() / 1000; if (ifModifiedSinceDateSeconds == fileLastModifiedSeconds) { sendNotModified(ctx); return; } } RandomAccessFile raf; try { raf = new RandomAccessFile(file, "r"); } catch (FileNotFoundException fnfe) { sendError(ctx, NOT_FOUND); return; } long fileLength = raf.length(); HttpResponse response = new DefaultHttpResponse(HTTP_1_1, OK); setContentLength(response, fileLength); setContentTypeHeader(response, file); setDateAndCacheHeaders(response, file); if (isKeepAlive(request)) { response.headers().set(CONNECTION, HttpHeaders.Values.KEEP_ALIVE); } // Write the initial line and the header. ctx.write(response); // Write the content. ChannelFuture sendFileFuture; if (useSendFile) { sendFileFuture = ctx.write(new DefaultFileRegion(raf.getChannel(), 0, fileLength), ctx.newProgressivePromise()); } else { sendFileFuture = ctx.write(new ChunkedFile(raf, 0, fileLength, 8192), ctx.newProgressivePromise()); } sendFileFuture.addListener(new ChannelProgressiveFutureListener() { @Override public void operationProgressed(ChannelProgressiveFuture future, long progress, long total) { if (total < 0) { // total unknown System.err.println("Transfer progress: " + progress); } else { System.err.println("Transfer progress: " + progress + " / " + total); } } @Override public void operationComplete(ChannelProgressiveFuture future) throws Exception { System.err.println("Transfer complete."); } }); // Write the end marker ChannelFuture lastContentFuture = ctx.writeAndFlush(LastHttpContent.EMPTY_LAST_CONTENT); // Decide whether to close the connection or not. if (!isKeepAlive(request)) { // Close the connection when the whole content is written out. lastContentFuture.addListener(ChannelFutureListener.CLOSE); } } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { cause.printStackTrace(); if (ctx.channel().isActive()) { sendError(ctx, INTERNAL_SERVER_ERROR); } } private static final Pattern INSECURE_URI = Pattern.compile(".*[<>&\"].*"); /** * 路徑解碼 * @param uri * @return */ private static String sanitizeUri(String uri) { // Decode the path. try { uri = URLDecoder.decode(uri, "UTF-8"); } catch (UnsupportedEncodingException e) { try { uri = URLDecoder.decode(uri, "ISO-8859-1"); } catch (UnsupportedEncodingException e1) { throw new Error(); } } if (!uri.startsWith("/")) { return null; } // Convert file separators. uri = uri.replace('/', File.separatorChar); // Simplistic dumb security check. // You will have to do something serious in the production environment. if (uri.contains(File.separator + '.') || uri.contains('.' + File.separator) || uri.startsWith(".") || uri.endsWith(".") || INSECURE_URI.matcher(uri).matches()) { return null; } // Convert to absolute path. return System.getProperty("user.dir") + File.separator + uri; } private static final Pattern ALLOWED_FILE_NAME = Pattern.compile("[A-Za-z0-9][-_A-Za-z0-9\\.]*"); private static void sendListing(ChannelHandlerContext ctx, File dir) { FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, OK); response.headers().set(CONTENT_TYPE, "text/html; charset=UTF-8"); StringBuilder buf = new StringBuilder(); String dirPath = dir.getPath(); buf.append("<!DOCTYPE html>\r\n"); buf.append("<html><head><title>"); buf.append("Listing of: "); buf.append(dirPath); buf.append("</title></head><body>\r\n"); buf.append("<h3>Listing of: "); buf.append(dirPath); buf.append("</h3>\r\n"); buf.append("<ul>"); buf.append("<li><a href=\"../\">..</a></li>\r\n"); for (File f: dir.listFiles()) { if (f.isHidden() || !f.canRead()) { continue; } String name = f.getName(); if (!ALLOWED_FILE_NAME.matcher(name).matches()) { continue; } buf.append("<li><a href=\""); buf.append(name); buf.append("\">"); buf.append(name); buf.append("</a></li>\r\n"); } buf.append("</ul></body></html>\r\n"); ByteBuf buffer = Unpooled.copiedBuffer(buf, CharsetUtil.UTF_8); response.content().writeBytes(buffer); buffer.release(); // Close the connection as soon as the error message is sent. ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE); } private static void sendRedirect(ChannelHandlerContext ctx, String newUri) { FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, FOUND); response.headers().set(LOCATION, newUri); // Close the connection as soon as the error message is sent. ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE); } private static void sendError(ChannelHandlerContext ctx, HttpResponseStatus status) { FullHttpResponse response = new DefaultFullHttpResponse( HTTP_1_1, status, Unpooled.copiedBuffer("Failure: " + status.toString() + "\r\n", CharsetUtil.UTF_8)); response.headers().set(CONTENT_TYPE, "text/plain; charset=UTF-8"); // Close the connection as soon as the error message is sent. ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE); } /** * When file timestamp is the same as what the browser is sending up, send a "304 Not Modified" * * @param ctx * Context */ private static void sendNotModified(ChannelHandlerContext ctx) { FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, NOT_MODIFIED); setDateHeader(response); // Close the connection as soon as the error message is sent. ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE); } /** * Sets the Date header for the HTTP response * * @param response * HTTP response */ private static void setDateHeader(FullHttpResponse response) { SimpleDateFormat dateFormatter = new SimpleDateFormat(HTTP_DATE_FORMAT, Locale.US); dateFormatter.setTimeZone(TimeZone.getTimeZone(HTTP_DATE_GMT_TIMEZONE)); Calendar time = new GregorianCalendar(); response.headers().set(DATE, dateFormatter.format(time.getTime())); } /** * Sets the Date and Cache headers for the HTTP Response * * @param response * HTTP response * @param fileToCache * file to extract content type */ private static void setDateAndCacheHeaders(HttpResponse response, File fileToCache) { SimpleDateFormat dateFormatter = new SimpleDateFormat(HTTP_DATE_FORMAT, Locale.US); dateFormatter.setTimeZone(TimeZone.getTimeZone(HTTP_DATE_GMT_TIMEZONE)); // Date header Calendar time = new GregorianCalendar(); response.headers().set(DATE, dateFormatter.format(time.getTime())); // Add cache headers time.add(Calendar.SECOND, HTTP_CACHE_SECONDS); response.headers().set(EXPIRES, dateFormatter.format(time.getTime())); response.headers().set(CACHE_CONTROL, "private, max-age=" + HTTP_CACHE_SECONDS); response.headers().set( LAST_MODIFIED, dateFormatter.format(new Date(fileToCache.lastModified()))); } /** * Sets the content type header for the HTTP Response * * @param response * HTTP response * @param file * file to extract content type */ private static void setContentTypeHeader(HttpResponse response, File file) { MimetypesFileTypeMap mimeTypesMap = new MimetypesFileTypeMap(); response.headers().set(CONTENT_TYPE, mimeTypesMap.getContentType(file.getPath())); } }
執行效果:
相關推薦
Netty5.0基於http協議檔案傳輸(http file)
HttpStaticFileServer.java package com.netty.demo.http.file; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.EventLoop
Windows下基於TCP協議的大檔案傳輸(流形式)
在TCP下進行大檔案傳輸,不像小檔案那樣直接打包個BUFFER傳送出去,因為檔案比較大可能是1G,2G或更大,第一效率問題,第二TCP粘包問題。針對服務端的設計來說就更需要嚴緊些。下面介紹簡單地實現大檔案在TCP的傳輸應用。 粘包出現原因:在流傳輸中出現,UDP不會出現粘包,因為它有訊息邊界(參考Wi
基於Socket的檔案傳輸(使用CSocket類)
本軟體使用MFC採用面向物件的方法實現了基於Socket的檔案傳輸。這是原來研究生課程的結課作業,實現了Socket的傳送和接收,以及讀取ini配置檔案等操作。使用了CSocket類 以下是當時結課作業 的正文: 一.軟體特點如下: 1.採用了多執行緒的方法,
linux 檔案傳輸(3種)
一、scp 用於linux之間檔案傳輸 二、sftp(推薦,速度快) securecrt 按下ALT+P就開啟新的會話 進行ftp操作。 輸入:help命令,顯示該FTP提供所有的命令 pwd: 查詢linux主機所在目錄(也就是遠端主機目錄)
HTTP傳輸協議詳解(簡單易懂)
前言 HTTP: HyperText Transfer Protocol超文字傳輸協議,是網際網路上應用最為廣泛的一種網路協議,所有的WWW檔案都必須遵守這個標準;屬於應用層的面向物件的協議,由於其簡捷、快速的方式,適用於分散式超媒體資訊系統。它於1990年提出,經過幾年的使用與發展,得到不
LFTP Project Report——基於UDP實現TCP大檔案傳輸(Python)
LFTP Project Report 中山大學 資料科學與計算機學院 軟體工程(計算機應用方向) 16340132 樑穎霖 一.專案要求 Please choose one of following programing languages: C, C++,
用NodeJS/express-4.0實現的靜態檔案伺服器(serveStatic外掛直接支援HTTP Range請求,因此可用來做mp4流媒體伺服器)
var express = require('express'), serveIndex = require('serve-index'), //只能列表目錄,不能下載檔案? serveStatic = require('serve-stat
HTTP協議詳解(真的很經典)
cnp 運用 web應用 media 服務器端 所有 長度 request bad 轉載:http://e7kan.com/?p=264& 引言 HTTP是一個屬於應用層的面向對象的協議,由於其簡捷、快速的方式,適用於分布式超媒體信息系統。它於1990年提出,經過幾
http協議進階(六)代理
http協議 pan 設備 廣告 自動 中間 new 邏輯 反向 web代理服務器是網絡的中間實體,位於客戶端和服務器之間,扮演“中間人”的角色,作用是在各端點之間來回傳送報文。 其原理是:客戶端向代理服務器發送請求報文,代理服務器正確的處理請求和連接,然後返回響應;同時代
HTTP協議學習筆記(一)
代碼 是什麽 就會 無法 並不是 同時 mailto 特征 現實 HTTP協議學習筆記(一) 1.HTTP協議用於客戶端和服務端之間的通信 客戶端:請求訪問文本或圖像等資源的一端服務端:提供資源響應的一端 在兩臺計算機之間使用HTTP協議通信時,在一條通信線路上
HTTP協議學習筆記(三)
HTTP協議學習筆記(三) 1.狀態碼告知從伺服器端返回的請求結果 狀態碼的職責是當客戶端向服務端向服務端傳送請求時,描述返回的請求結果。藉助狀態碼,使用者可以知道服務端是正常處理了請求,還是出現了錯誤。 狀態碼由3位數字和原因短語組成。如200 OK 狀態碼的類別:
HTTP協議學習筆記(二)
HTTP協議學習筆記(二) 1.HTTP報文 HTTP報文:用於HTTP協議互動的資訊。請求報文:請求端(客戶端)的HTTP報文叫做請求報文。響應報文:響應端(服務端)的HTTP報文叫做響應報文。 HTTP報文大致可分為報文首部和報文主體兩塊。兩者最初由空行(CR+LF)來劃
HTTP協議詳解(真的很經典)--轉載
連續 查找 初始 出現 門戶 全部 4.0 form ons 概要: HTTP是一個屬於應用層的面向對象的協議,由於其簡捷、快速的方式,適用於分布式超媒體信息系統 | |目錄 1引言 2一
Unity 伺服器踩坑 Node.js 與 Express 資源熱更新與檔案傳輸(三)
一、下載安裝Node.js 安裝,傻瓜式點選教程 二、安裝Express 開啟cmd一步一步cd進入C:\Program Files\nodejs\node_modules\npm資料夾下 然後執行npm install --sav
http協議進階(五)連線管理
幾乎所有的HTTP通訊都是由TCP/IP承載的,TCP/IP是全球計算機網路裝置都在使用的一種分組交換網路分層協議集。 它的特點是隻要連線建立,客戶端與伺服器之間的報文交換就永遠不會丟失、受損或失序。 一、TCP連線 1、TCP是可靠資料通道 TCP是英特網上的可靠連線,TCP為HTT
http協議進階(三)http報文
一、報文流 http報文是在http應用程式之間傳送的資料塊(也可稱為資料包)、這些資料塊以一些文字的元資訊(meta-information)開頭,描述了報文的內容及含義,後面跟著 可選的資料部分,這些報文在客戶端、伺服器和代理之間流動;常說的術語“流入”、“流出”、“上游”、“下游”就是描述
http協議進階(二)URL與資源
一、URL的語法 URL是網際網路資源的標準化名稱 URL提供了一種定位網際網路上任意資源的手段,但這些資源要通過不同方案(協議:比如http、ftp、smtp)來訪問,因此URL語法會略有差異 大部分URL都遵循通用的語法,而且不同URL方案風格和語法都有重疊 大多數URL
http協議理論,(科學)上網方法
網路和http協議理論 協議: 兩臺計算機相互通訊,需要定義規則,如何發現對方,誰先發起通訊,通訊語言規則,結束通訊表示。 TCP/IP協議族 協議族:不止一個協議,一堆協議的總稱 TCP UDP 傳輸控制協議 IP 網路地址 HTTP hyper text
學習筆記:QT網路程式設計:C2S基於TCP的檔案傳輸
預處理: 1在.pro加入一條語句 QT += network 記得儲存檔案 2.標頭檔案中可包含標頭檔案/儘量用前向宣告(因為只宣告不用) TCP檔案傳輸
java的http協議檔案上傳 (一)
//把上傳檔案存放到指定的目錄下檔名 private void saveAs(File upFile, String filePath) throws IOException { FileInputStream fis = null; FileOutputStream fos = null;