1. 程式人生 > >Netty5.0基於http協議檔案傳輸(http file)

Netty5.0基於http協議檔案傳輸(http file)

HttpStaticFileServer.java

package com.netty.demo.http.file;

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.nio.NioServerSocketChannel;

/**
 * http協議檔案傳輸
 * @author Qixuan.Chen
 * 建立時間:2015年5月4日
 */
public class HttpStaticFileServer {

	
    private final int port;//埠

    public HttpStaticFileServer(int port) {
        this.port = port;
    }

    public void run() throws Exception {
        EventLoopGroup bossGroup = new NioEventLoopGroup();//執行緒一 //這個是用於serversocketchannel的event
        EventLoopGroup workerGroup = new NioEventLoopGroup();//執行緒二//這個是用於處理accept到的channel
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup, workerGroup)
             .channel(NioServerSocketChannel.class)
             .childHandler(new HttpStaticFileServerInitializer());

            b.bind(port).sync().channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }

    public static void main(String[] args) throws Exception {
        int port=8089;
        if (args.length > 0) {
            port = Integer.parseInt(args[0]);
        } else {
            port = 8089;
        }
        new HttpStaticFileServer(8089).run();//啟動服務
    }
}

HttpStaticFileServerInitializer.java

package com.netty.demo.http.file;

import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.http.HttpObjectAggregator;
import io.netty.handler.codec.http.HttpRequestDecoder;
import io.netty.handler.codec.http.HttpResponseEncoder;
import io.netty.handler.stream.ChunkedWriteHandler;

public class HttpStaticFileServerInitializer extends ChannelInitializer<SocketChannel> {
    @Override
    public void initChannel(SocketChannel ch) throws Exception {
        // Create a default pipeline implementation.
        ChannelPipeline pipeline = ch.pipeline();

        // Uncomment the following line if you want HTTPS
        //SSLEngine engine = SecureChatSslContextFactory.getServerContext().createSSLEngine();
        //engine.setUseClientMode(false);
        //pipeline.addLast("ssl", new SslHandler(engine));
       /**
        *   (1)ReadTimeoutHandler,用於控制讀取資料的時候的超時,10表示如果10秒鐘都沒有資料讀取了,那麼就引發超時,然後關閉當前的channel

			(2)WriteTimeoutHandler,用於控制資料輸出的時候的超時,構造引數1表示如果持續1秒鐘都沒有資料寫了,那麼就超時。
			
			(3)HttpRequestrianDecoder,這個handler用於從讀取的資料中將http報文資訊解析出來,無非就是什麼requestline,header,body什麼的。。。
			
			(4)然後HttpObjectAggregator則是用於將上賣解析出來的http報文的資料組裝成為封裝好的httprequest物件。。
			
			(5)HttpresponseEncoder,用於將使用者返回的httpresponse編碼成為http報文格式的資料
			
			(6)HttpHandler,哈,不要被這個名字給唬住了,其實這個是自己定義的handler,用於處理接收到的http請求。
        */
        
        pipeline.addLast("decoder", new HttpRequestDecoder());// http-request解碼器,http伺服器端對request解碼
        pipeline.addLast("aggregator", new HttpObjectAggregator(65536));//對傳輸檔案大少進行限制
        pipeline.addLast("encoder", new HttpResponseEncoder());//http-response解碼器,http伺服器端對response編碼
        pipeline.addLast("chunkedWriter", new ChunkedWriteHandler());

        pipeline.addLast("handler", new HttpStaticFileServerHandler(true)); // Specify false if SSL.(如果是ssl,就指定為false)
    }
}

HttpStaticFileServerHandler.java
package com.netty.demo.http.file;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelFutureListener;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelProgressiveFuture;
import io.netty.channel.ChannelProgressiveFutureListener;
import io.netty.channel.DefaultFileRegion;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.handler.codec.http.DefaultFullHttpResponse;
import io.netty.handler.codec.http.DefaultHttpResponse;
import io.netty.handler.codec.http.FullHttpRequest;
import io.netty.handler.codec.http.FullHttpResponse;
import io.netty.handler.codec.http.HttpHeaders;
import io.netty.handler.codec.http.HttpResponse;
import io.netty.handler.codec.http.HttpResponseStatus;
import io.netty.handler.codec.http.LastHttpContent;
import io.netty.handler.stream.ChunkedFile;
import io.netty.util.CharsetUtil;

import javax.activation.MimetypesFileTypeMap;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.RandomAccessFile;
import java.io.UnsupportedEncodingException;
import java.net.URLDecoder;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.GregorianCalendar;
import java.util.Locale;
import java.util.TimeZone;
import java.util.regex.Pattern;

import static io.netty.handler.codec.http.HttpHeaders.Names.*;
import static io.netty.handler.codec.http.HttpHeaders.*;
import static io.netty.handler.codec.http.HttpMethod.*;
import static io.netty.handler.codec.http.HttpResponseStatus.*;
import static io.netty.handler.codec.http.HttpVersion.*;

/**
 * A simple handler that serves incoming HTTP requests to send their respective
 * HTTP responses.  It also implements {@code 'If-Modified-Since'} header to
 * take advantage of browser cache, as described in
 * <a href="http://tools.ietf.org/html/rfc2616#section-14.25">RFC 2616</a>.
 *
 * <h3>How Browser Caching Works</h3>
 *
 * Web browser caching works with HTTP headers as illustrated by the following
 * sample:
 * <ol>
 * <li>Request #1 returns the content of {@code /file1.txt}.</li>
 * <li>Contents of {@code /file1.txt} is cached by the browser.</li>
 * <li>Request #2 for {@code /file1.txt} does return the contents of the
 *     file again. Rather, a 304 Not Modified is returned. This tells the
 *     browser to use the contents stored in its cache.</li>
 * <li>The server knows the file has not been modified because the
 *     {@code If-Modified-Since} date is the same as the file's last
 *     modified date.</li>
 * </ol>
 *
 * <pre>
 * Request #1 Headers
 * ===================
 * GET /file1.txt HTTP/1.1
 *
 * Response #1 Headers
 * ===================
 * HTTP/1.1 200 OK
 * Date:               Tue, 01 Mar 2011 22:44:26 GMT
 * Last-Modified:      Wed, 30 Jun 2010 21:36:48 GMT
 * Expires:            Tue, 01 Mar 2012 22:44:26 GMT
 * Cache-Control:      private, max-age=31536000
 *
 * Request #2 Headers
 * ===================
 * GET /file1.txt HTTP/1.1
 * If-Modified-Since:  Wed, 30 Jun 2010 21:36:48 GMT
 *
 * Response #2 Headers
 * ===================
 * HTTP/1.1 304 Not Modified
 * Date:               Tue, 01 Mar 2011 22:44:28 GMT
 *
 * </pre>
 */
public class HttpStaticFileServerHandler extends SimpleChannelInboundHandler<FullHttpRequest> {

    public static final String HTTP_DATE_FORMAT = "EEE, dd MMM yyyy HH:mm:ss zzz";
    public static final String HTTP_DATE_GMT_TIMEZONE = "GMT";
    public static final int HTTP_CACHE_SECONDS = 60;

    private final boolean useSendFile;

    public HttpStaticFileServerHandler(boolean useSendFile) {
        this.useSendFile = useSendFile;
    }

    @Override
    public void messageReceived(
            ChannelHandlerContext ctx, FullHttpRequest request) throws Exception {
        if (!request.getDecoderResult().isSuccess()) {
            sendError(ctx, BAD_REQUEST);
            return;
        }

        if (request.getMethod() != GET) {
            sendError(ctx, METHOD_NOT_ALLOWED);
            return;
        }

        final String uri = request.getUri();
        System.out.println("-----uri----"+uri);
        final String path = sanitizeUri(uri);
        System.out.println("-----path----"+path);
        if (path == null) {
            sendError(ctx, FORBIDDEN);
            return;
        }

        File file = new File(path);
        if (file.isHidden() || !file.exists()) {
            sendError(ctx, NOT_FOUND);
            return;
        }

        if (file.isDirectory()) {
            if (uri.endsWith("/")) {
                sendListing(ctx, file);
            } else {
                sendRedirect(ctx, uri + '/');
            }
            return;
        }

        if (!file.isFile()) {
            sendError(ctx, FORBIDDEN);
            return;
        }

        // Cache Validation
        String ifModifiedSince = request.headers().get(IF_MODIFIED_SINCE);
        if (ifModifiedSince != null && !ifModifiedSince.isEmpty()) {
            SimpleDateFormat dateFormatter = new SimpleDateFormat(HTTP_DATE_FORMAT, Locale.US);
            Date ifModifiedSinceDate = dateFormatter.parse(ifModifiedSince);

            // Only compare up to the second because the datetime format we send to the client
            // does not have milliseconds
            long ifModifiedSinceDateSeconds = ifModifiedSinceDate.getTime() / 1000;
            long fileLastModifiedSeconds = file.lastModified() / 1000;
            if (ifModifiedSinceDateSeconds == fileLastModifiedSeconds) {
                sendNotModified(ctx);
                return;
            }
        }

        RandomAccessFile raf;
        try {
            raf = new RandomAccessFile(file, "r");
        } catch (FileNotFoundException fnfe) {
            sendError(ctx, NOT_FOUND);
            return;
        }
        long fileLength = raf.length();

        HttpResponse response = new DefaultHttpResponse(HTTP_1_1, OK);
        setContentLength(response, fileLength);
        setContentTypeHeader(response, file);
        setDateAndCacheHeaders(response, file);
        if (isKeepAlive(request)) {
            response.headers().set(CONNECTION, HttpHeaders.Values.KEEP_ALIVE);
        }

        // Write the initial line and the header.
        ctx.write(response);

        // Write the content.
        ChannelFuture sendFileFuture;
        if (useSendFile) {
            sendFileFuture =
                    ctx.write(new DefaultFileRegion(raf.getChannel(), 0, fileLength), ctx.newProgressivePromise());
        } else {
            sendFileFuture =
                    ctx.write(new ChunkedFile(raf, 0, fileLength, 8192), ctx.newProgressivePromise());
        }

        sendFileFuture.addListener(new ChannelProgressiveFutureListener() {
            @Override
            public void operationProgressed(ChannelProgressiveFuture future, long progress, long total) {
                if (total < 0) { // total unknown
                    System.err.println("Transfer progress: " + progress);
                } else {
                    System.err.println("Transfer progress: " + progress + " / " + total);
                }
            }

            @Override
            public void operationComplete(ChannelProgressiveFuture future) throws Exception {
                System.err.println("Transfer complete.");
            }
        });

        // Write the end marker
        ChannelFuture lastContentFuture = ctx.writeAndFlush(LastHttpContent.EMPTY_LAST_CONTENT);

        // Decide whether to close the connection or not.
        if (!isKeepAlive(request)) {
            // Close the connection when the whole content is written out.
            lastContentFuture.addListener(ChannelFutureListener.CLOSE);
        }
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        if (ctx.channel().isActive()) {
            sendError(ctx, INTERNAL_SERVER_ERROR);
        }
    }

    private static final Pattern INSECURE_URI = Pattern.compile(".*[<>&\"].*");

    /**
     * 路徑解碼
     * @param uri
     * @return
     */
    private static String sanitizeUri(String uri) {
        // Decode the path.
        try {
            uri = URLDecoder.decode(uri, "UTF-8");
        } catch (UnsupportedEncodingException e) {
            try {
                uri = URLDecoder.decode(uri, "ISO-8859-1");
            } catch (UnsupportedEncodingException e1) {
                throw new Error();
            }
        }

        if (!uri.startsWith("/")) {
            return null;
        }

        // Convert file separators.
        uri = uri.replace('/', File.separatorChar);

        // Simplistic dumb security check.
        // You will have to do something serious in the production environment.
        if (uri.contains(File.separator + '.') ||
            uri.contains('.' + File.separator) ||
            uri.startsWith(".") || uri.endsWith(".") ||
            INSECURE_URI.matcher(uri).matches()) {
            return null;
        }

        // Convert to absolute path.
        return System.getProperty("user.dir") + File.separator + uri;
    }

    private static final Pattern ALLOWED_FILE_NAME = Pattern.compile("[A-Za-z0-9][-_A-Za-z0-9\\.]*");

    private static void sendListing(ChannelHandlerContext ctx, File dir) {
        FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, OK);
        response.headers().set(CONTENT_TYPE, "text/html; charset=UTF-8");

        StringBuilder buf = new StringBuilder();
        String dirPath = dir.getPath();

        buf.append("<!DOCTYPE html>\r\n");
        buf.append("<html><head><title>");
        buf.append("Listing of: ");
        buf.append(dirPath);
        buf.append("</title></head><body>\r\n");

        buf.append("<h3>Listing of: ");
        buf.append(dirPath);
        buf.append("</h3>\r\n");

        buf.append("<ul>");
        buf.append("<li><a href=\"../\">..</a></li>\r\n");

        for (File f: dir.listFiles()) {
            if (f.isHidden() || !f.canRead()) {
                continue;
            }

            String name = f.getName();
            if (!ALLOWED_FILE_NAME.matcher(name).matches()) {
                continue;
            }

            buf.append("<li><a href=\"");
            buf.append(name);
            buf.append("\">");
            buf.append(name);
            buf.append("</a></li>\r\n");
        }

        buf.append("</ul></body></html>\r\n");
        ByteBuf buffer = Unpooled.copiedBuffer(buf, CharsetUtil.UTF_8);
        response.content().writeBytes(buffer);
        buffer.release();

        // Close the connection as soon as the error message is sent.
        ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
    }

    private static void sendRedirect(ChannelHandlerContext ctx, String newUri) {
        FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, FOUND);
        response.headers().set(LOCATION, newUri);

        // Close the connection as soon as the error message is sent.
        ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
    }

    private static void sendError(ChannelHandlerContext ctx, HttpResponseStatus status) {
        FullHttpResponse response = new DefaultFullHttpResponse(
                HTTP_1_1, status, Unpooled.copiedBuffer("Failure: " + status.toString() + "\r\n", CharsetUtil.UTF_8));
        response.headers().set(CONTENT_TYPE, "text/plain; charset=UTF-8");

        // Close the connection as soon as the error message is sent.
        ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
    }

    /**
     * When file timestamp is the same as what the browser is sending up, send a "304 Not Modified"
     *
     * @param ctx
     *            Context
     */
    private static void sendNotModified(ChannelHandlerContext ctx) {
        FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, NOT_MODIFIED);
        setDateHeader(response);

        // Close the connection as soon as the error message is sent.
        ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
    }

    /**
     * Sets the Date header for the HTTP response
     *
     * @param response
     *            HTTP response
     */
    private static void setDateHeader(FullHttpResponse response) {
        SimpleDateFormat dateFormatter = new SimpleDateFormat(HTTP_DATE_FORMAT, Locale.US);
        dateFormatter.setTimeZone(TimeZone.getTimeZone(HTTP_DATE_GMT_TIMEZONE));

        Calendar time = new GregorianCalendar();
        response.headers().set(DATE, dateFormatter.format(time.getTime()));
    }

    /**
     * Sets the Date and Cache headers for the HTTP Response
     *
     * @param response
     *            HTTP response
     * @param fileToCache
     *            file to extract content type
     */
    private static void setDateAndCacheHeaders(HttpResponse response, File fileToCache) {
        SimpleDateFormat dateFormatter = new SimpleDateFormat(HTTP_DATE_FORMAT, Locale.US);
        dateFormatter.setTimeZone(TimeZone.getTimeZone(HTTP_DATE_GMT_TIMEZONE));

        // Date header
        Calendar time = new GregorianCalendar();
        response.headers().set(DATE, dateFormatter.format(time.getTime()));

        // Add cache headers
        time.add(Calendar.SECOND, HTTP_CACHE_SECONDS);
        response.headers().set(EXPIRES, dateFormatter.format(time.getTime()));
        response.headers().set(CACHE_CONTROL, "private, max-age=" + HTTP_CACHE_SECONDS);
        response.headers().set(
                LAST_MODIFIED, dateFormatter.format(new Date(fileToCache.lastModified())));
    }

    /**
     * Sets the content type header for the HTTP Response
     *
     * @param response
     *            HTTP response
     * @param file
     *            file to extract content type
     */
    private static void setContentTypeHeader(HttpResponse response, File file) {
        MimetypesFileTypeMap mimeTypesMap = new MimetypesFileTypeMap();
        response.headers().set(CONTENT_TYPE, mimeTypesMap.getContentType(file.getPath()));
    }

}

執行效果:




相關推薦

Netty5.0基於http協議檔案傳輸http file

HttpStaticFileServer.java package com.netty.demo.http.file; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.EventLoop

Windows下基於TCP協議的大檔案傳輸流形式

在TCP下進行大檔案傳輸,不像小檔案那樣直接打包個BUFFER傳送出去,因為檔案比較大可能是1G,2G或更大,第一效率問題,第二TCP粘包問題。針對服務端的設計來說就更需要嚴緊些。下面介紹簡單地實現大檔案在TCP的傳輸應用。 粘包出現原因:在流傳輸中出現,UDP不會出現粘包,因為它有訊息邊界(參考Wi

基於Socket的檔案傳輸使用CSocket類

本軟體使用MFC採用面向物件的方法實現了基於Socket的檔案傳輸。這是原來研究生課程的結課作業,實現了Socket的傳送和接收,以及讀取ini配置檔案等操作。使用了CSocket類 以下是當時結課作業 的正文: 一.軟體特點如下: 1.採用了多執行緒的方法,

linux 檔案傳輸3種

一、scp 用於linux之間檔案傳輸 二、sftp(推薦,速度快) securecrt 按下ALT+P就開啟新的會話 進行ftp操作。 輸入:help命令,顯示該FTP提供所有的命令 pwd: 查詢linux主機所在目錄(也就是遠端主機目錄)

HTTP傳輸協議詳解簡單易懂

前言 HTTP: HyperText Transfer Protocol超文字傳輸協議,是網際網路上應用最為廣泛的一種網路協議,所有的WWW檔案都必須遵守這個標準;屬於應用層的面向物件的協議,由於其簡捷、快速的方式,適用於分散式超媒體資訊系統。它於1990年提出,經過幾年的使用與發展,得到不

LFTP Project Report——基於UDP實現TCP大檔案傳輸Python

LFTP Project Report 中山大學 資料科學與計算機學院 軟體工程(計算機應用方向) 16340132 樑穎霖 一.專案要求 Please choose one of following programing languages: C, C++,

用NodeJS/express-4.0實現的靜態檔案伺服器serveStatic外掛直接支援HTTP Range請求,因此可用來做mp4流媒體伺服器

var express = require('express'), serveIndex = require('serve-index'), //只能列表目錄,不能下載檔案? serveStatic = require('serve-stat

HTTP協議詳解真的很經典

cnp 運用 web應用 media 服務器端 所有 長度 request bad 轉載:http://e7kan.com/?p=264& 引言 HTTP是一個屬於應用層的面向對象的協議,由於其簡捷、快速的方式,適用於分布式超媒體信息系統。它於1990年提出,經過幾

http協議進階代理

http協議 pan 設備 廣告 自動 中間 new 邏輯 反向 web代理服務器是網絡的中間實體,位於客戶端和服務器之間,扮演“中間人”的角色,作用是在各端點之間來回傳送報文。 其原理是:客戶端向代理服務器發送請求報文,代理服務器正確的處理請求和連接,然後返回響應;同時代

HTTP協議學習筆記

代碼 是什麽 就會 無法 並不是 同時 mailto 特征 現實 HTTP協議學習筆記(一) 1.HTTP協議用於客戶端和服務端之間的通信 客戶端:請求訪問文本或圖像等資源的一端服務端:提供資源響應的一端 在兩臺計算機之間使用HTTP協議通信時,在一條通信線路上

HTTP協議學習筆記

HTTP協議學習筆記(三) 1.狀態碼告知從伺服器端返回的請求結果 狀態碼的職責是當客戶端向服務端向服務端傳送請求時,描述返回的請求結果。藉助狀態碼,使用者可以知道服務端是正常處理了請求,還是出現了錯誤。 狀態碼由3位數字和原因短語組成。如200 OK 狀態碼的類別:    

HTTP協議學習筆記

 HTTP協議學習筆記(二)   1.HTTP報文 HTTP報文:用於HTTP協議互動的資訊。請求報文:請求端(客戶端)的HTTP報文叫做請求報文。響應報文:響應端(服務端)的HTTP報文叫做響應報文。 HTTP報文大致可分為報文首部和報文主體兩塊。兩者最初由空行(CR+LF)來劃

HTTP協議詳解真的很經典--轉載

連續 查找 初始 出現 門戶 全部 4.0 form ons 概要: HTTP是一個屬於應用層的面向對象的協議,由於其簡捷、快速的方式,適用於分布式超媒體信息系統 | |目錄 1引言 2一

Unity 伺服器踩坑 Node.js 與 Express 資源熱更新與檔案傳輸

一、下載安裝Node.js 安裝,傻瓜式點選教程 二、安裝Express 開啟cmd一步一步cd進入C:\Program Files\nodejs\node_modules\npm資料夾下 然後執行npm install --sav

http協議進階連線管理

幾乎所有的HTTP通訊都是由TCP/IP承載的,TCP/IP是全球計算機網路裝置都在使用的一種分組交換網路分層協議集。 它的特點是隻要連線建立,客戶端與伺服器之間的報文交換就永遠不會丟失、受損或失序。   一、TCP連線 1、TCP是可靠資料通道 TCP是英特網上的可靠連線,TCP為HTT

http協議進階http報文

一、報文流 http報文是在http應用程式之間傳送的資料塊(也可稱為資料包)、這些資料塊以一些文字的元資訊(meta-information)開頭,描述了報文的內容及含義,後面跟著 可選的資料部分,這些報文在客戶端、伺服器和代理之間流動;常說的術語“流入”、“流出”、“上游”、“下游”就是描述

http協議進階URL與資源

一、URL的語法  URL是網際網路資源的標準化名稱 URL提供了一種定位網際網路上任意資源的手段,但這些資源要通過不同方案(協議:比如http、ftp、smtp)來訪問,因此URL語法會略有差異 大部分URL都遵循通用的語法,而且不同URL方案風格和語法都有重疊 大多數URL

http協議理論,科學上網方法

網路和http協議理論 協議: 兩臺計算機相互通訊,需要定義規則,如何發現對方,誰先發起通訊,通訊語言規則,結束通訊表示。 TCP/IP協議族 協議族:不止一個協議,一堆協議的總稱 TCP UDP 傳輸控制協議 IP 網路地址 HTTP hyper text

學習筆記:QT網路程式設計:C2S基於TCP的檔案傳輸

預處理: 1在.pro加入一條語句 QT += network 記得儲存檔案 2.標頭檔案中可包含標頭檔案/儘量用前向宣告(因為只宣告不用) TCP檔案傳輸

java的http協議檔案上傳 (一)

//把上傳檔案存放到指定的目錄下檔名 private void saveAs(File upFile, String filePath) throws IOException {   FileInputStream fis = null;   FileOutputStream fos = null;