A UDP-based Reliable Data Transfer Library

一個基於UDP的可靠資料傳輸庫

Introduces an open source UDP-based data transfer library.

介紹了一個開源的基於UDP的輸出傳輸庫。

Introduction

簡介

This article introduces an open source UDP-based data transfer library, namely UDT (UDP-based Data Transfer).

本文章介紹了一個開源的基於UDP的資料傳輸庫，即UDT（基於UDP的資料傳輸）。

Currently, there are two major Internet transport protocols, TCP and UDP. TCP provides connection oriented reliable data streaming service, whereas UDP provides connection-less unreliable messaging service. Most applications use TCP to transfer data because they require data reliability.

目前，有兩個主要的網路傳輸協議，TCP

However, when using TCP some applications suffer from two problems. First, TCP demonstrates poor performance in long distance links, especially when the bandwidth is high (e.g., 1GB/s or higher). Second, when incorporating multiple concurrent TCP flows with different RTTs in the same application, different TCP flows may have different data transfer rates (also known as RTT bias).

然而，當使用TCP時，一些應用程式苦於如下兩個問題。首先，TCP在遠端連線方面顯示出效能不佳，尤其當頻寬相當高時（例如，1GbB/s或者更高）。其次，當在一個應用程式中包含多個併發的TCP流具有不同的RTTs時，不同的TCP流可能具有不同的資料傳輸速率（也稱謂RTT偏差）。

There are other situations where people do not want to use either TCP or UDP. For example, an application may require data reliability (so cannot use UDP directly) but also wants data to arrive at a user-controlled rate or the message boundaries to be conserved. Furthermore, sometimes it is easier to use UDP to traverse firewalls than TCP.

在其它情況下，人們既不希望使用TCP，也不希望使用UDP。例如，一個應用程式可能需要資料的可靠性（所以不能直接使用UDP），但是也想要資料以一個使用者控制速率到達，或者訊息邊界是保守的。此外，與TCP比起來，使用UDP更容易穿越防火牆。

It may be helpful to build an open source user space transport protocol above UDP, but with the data reliability control and network flow/congestion control. Because it is at user space, it is easy to get installed. Because it is open source, it can be easily modified to meet various requirements from applications.

它可以幫助在UDP之上建立一個開源的使用者空間傳輸協議，但是具有資料可靠性控制和網路流量/擁塞控制。因為它是在使用者空間，它很容易進行安裝。因為它是開源的，它可以方便地進行修改，以滿足各種應用的要求。

Example applications

應用示例

Here we present two example applications in which you may need UDT.

在這裡，我們提出了兩個示例應用程式，在它們中您可能需要UDT。

a. Bulk data transfer and online streaming data processing 大容量資料傳輸和線上式流媒體資料處理

Suppose a company has their data stored in multiple branches around the world, each branch having its own part of the dataset. The datasets are very large (terabytes) and the company has a 1GB/s intranet to deliver them. Now one of its departments at Chicago branch wants to analyze its own dataset and the dataset of the London branch. This data analysis application will need to read two datasets (at London and Chicago, respectively) using the company's 1GB/s intranet to a computer at Chicago.

假設一個公司將自己的資料儲存在世界各地的多個分支，每個分支都有自己的資料集的一部分。該資料集非常大（TB），並且公司具有1GB/s的企業內部網去傳遞它們。現在，它的一個在芝加哥的分公司的部門想要分析它自己的資料集，以及倫敦分公司的資料集。該資料分析應用程式將需要通過使用該公司的1GB/s的企業內部網讀取兩個資料集（分別在倫敦及芝加哥）到芝加哥的一臺電腦上。

Recall the two problems of TCP mentioned above. First, the link must be extremely clean (very little packet loss) for TCP to fully utilize the 1GB/s bandwidth between London and Chicago. Second, when the two TCP streams (London->Chicago, Chicago->Chicago) start at the same time, the London-Chicago stream will be starved due to the RTT bias problem, thus the data analysis process will have to wait for the slower data stream.

記得上面提到的TCP的兩個問題。首先，該連結必須非常的乾淨（很小的資料包丟失），以便於TCP充分利用該位於倫敦與芝加哥之間的1GB/s的頻寬。其次，當兩個TCP流（倫敦->芝加哥，芝加哥->芝加哥）同時開始，由於RTT問題，倫敦-芝加哥的流將處於飢餓狀態，因此，資料分析過程將不得不等待慢速資料流。

b. Application awareness 應用認知

A streaming video server is sending data to many clients. The server may choose a specific sending rate for each client during any specific period. You may have trouble asking TCP to send data at a fixed rate. And using UDP you have to do most of the data reliability control work by yourself. In addition, video frames are time sensitive data, if the frame is delayed too long, it will not be needed any more. That is, complete data reliability is not desired in this situation.

一個流式視訊伺服器向許多客戶端傳送資料。在任何特定時期，伺服器可能為每位客戶選擇一個特定的傳送速率。你可能困擾於請求TCP在一個固定的速率傳送資料。並且，使用UDP時，您不得不自行實現大部分的資料可靠性控制工作。此外，視訊幀是時間敏感的資料，如果幀延遲的時間過長，它將不再被需要。也就是說，在這種情況下，不需要完整的資料可靠性。

Using the UDT library, the programming work is simply several lines of option setting code.

當使用UDT庫時，所有的程式設計工作僅僅是幾行簡單的選項設定程式碼。

UDT

UDT is a transport protocol with its own reliability control and flow/congestion control built above UDP. UDT provides both reliable data streaming service quite similar to TCP and partial reliable messaging. The latter allows users to send data as messages with specified delivery order and time-to-live value.

UDT是一個傳輸協議，具有它自己的可靠性控制及流量/擁塞控制，建立於UDP之上。UDT同時提供了可靠的資料流服務（十分類似於TCP）與部分可靠的訊息服務。後者允許使用者將資料作為訊息進行傳送，具有特定的傳輸順序與存留時間值。

The position of UDT in the layered architecture of internet reference model is shown in the figure below. Applications use UDT socket to transfer their data, which is passed to the UDP socket. (Effort was made to avoid one time memory copy here.) A congestion control (CC) algorithm can be provided by applications; otherwise the default control algorithm is used. If user-defined control algorithm is provided, UDT will call the callback functions in CC once a control event occurs:

UDT在網際網路參考模型的分層體系結構中的位置如下圖所示。應用程式使用UDT套接字傳輸它們的資料，它們被傳遞給UDP套接字。（在這裡已經盡力避免了一次記憶體複製情況的存在）。應用程式可以提供擁塞控制（CC）演算法；否則，將使用預設的控制演算法。如果提供了使用者自定義的控制演算法，一旦傳送控制事件，UDT將在擁塞控制演算法中呼叫回撥函式：

The default UDT control algorithm is designed for high performance data transfer over wide area high speed networks (e.g. in the case of example a). However, UDT's congestion control algorithm is configurable such that you can add your own control algorithm with ease (e.g., in the case of example b).

預設的UDT控制演算法是專為通過高速廣域網路進行高效能資料傳輸的（例如，在示例a的情況下）。然而，UDT的擁塞控制演算法是可配置的，在這種情況下，你可以輕鬆地新增您自己的控制演算法（例如，在示例b的情況下）。

UDT provides a set of socket-like API. Using UDT in your application is simple as long as you are familiar with BSD socket. For example: With BSD socket, you write:

UDT提供了一組類似套接字的API。在你的應用程式中，使用UDT是很簡單的，只要您熟悉BSD套接字。例如，使用BSD套接字時，你編碼為：

Hide   Copy Code

int s = socket(AF_INET, SOCK_STREAM, 0);

Its counterpart in UDT is:

在UDT上，對應的是：

UDTSOCKET u = UDT::socket(AF_INET, SOCK_STREAM, 0);

UDT is currently implemented using C++ and it supports Linux, Windows (2000, XP and above), and OS X. The current version is 3.0 Beta. After you download UDT, please read the "readme" file or the documentation for detailed installation and usage information. Note that if you are using Windows, you will need VC7 to get it compiled. With VC6, you will have to fix several incompatible C++ grammar by yourself.

UDT目前使用C++進行實現，並且，它支援Linux，Windows（2000，XP及以上），以及OS X。當前版本是3.0 Beta。在您下載UDT之後，請仔細閱讀readme檔案或文件，以獲取詳細的安裝及使用資訊。請注意，如果您使用的是Windows，您需要VC7才能編譯。使用VC6時，您必須自己去解決一些C++語法的不相容問題。

If you are interested in the project, please refer to this site for more information.

如果你對我們的專案感興趣，請參閱本網站以獲取更多的資訊。

License

授權

This article has no explicit license attached to it but may contain usage terms in the article text or the download files themselves. If in doubt please contact the author via the discussion board below.

本文沒有任何明確的授權附加到它上面，但可能包含文章文字或者下載檔案本身的使用條款。如有任何疑問，請通過下面的討論板聯絡作者。

譯自

譯者

百惱

[email protected]