The Cityscapes 資料集

該github庫包含用於檢查，準備和評估Cityscapes資料集的指令碼。 該大型資料集包含來自50個不同城市的街道場景中記錄的多種立體視訊序列，除了20000個弱註釋幀以外，還包含5000幀高質量畫素級註釋。

詳細資訊和下載連結請登入：www.cityscapes-dataset.net

資料集結構

Cityscapes dataset 的資料夾結構如下:

{root}/{type}{video}/{split}/{city}/{city}_{seq:0>6}_{frame:0>6}_{type}{ext}

其中獨立元素的含義是:

• root Cityscapes資料集的根資料夾。 我們的許多指令碼檢查指向該資料夾的環境變數“CITYSCAPES_DATASET”是否存在，並將其作為預設目錄。
• type 資料型別或形態，比如 gtFine 代表精細的GroundTruth， leftImg8bit 代表左側相機的八點陣圖像。
• split 分割，即train， val， test， train_extra或demoVideo。 請注意，並非所有分組都存在所有型別的資料。 因此，偶爾找到空資料夾不要感到驚訝。
• city 這部分資料集的所屬城市。
• seq 序列號，使用6位數字。
• frame 幀號，使用6位數字。 請注意，在一些城市中，雖然記錄了非常長的序列，但在一些城市記錄了許多短序列，其中僅記錄了第19幀.
• ext 該檔案的副檔名和可選的字尾，例如， _polygons.json
  為GroundTruth檔案

type可能的值

• gtFine 精細註釋，2975張訓練圖，500張驗證圖和1525張測試圖。 這種型別的註釋用於驗證，測試和可選的訓練。 註解使用包含單個多邊形的“json”檔案進行編碼。 另外，我們提供png影象，其中畫素值對標籤進行編碼。 有關詳細資訊，請參閱helpers / labels.py和prepare中的指令碼。
• gtCoarse 粗略註釋，可用於所有訓練和驗證影象以及另一組19998張訓練影象（train_extra）。 這些註釋可以用於訓練，也可以與gtFine一起使用，也可以在弱監督的環境中單獨使用。
• gtBboxCityPersons
  行人邊界框註釋，可用於所有訓練和驗證影象。 有關更多詳細資訊，請參閱helpers / labels_cityPersons.py以及CityPersons出版物（Zhang等，CVPR’17）。
• leftImg8bit 左側影象，採用8位LDR格式。這些影象都有標準的註釋.
• leftImg16bit 左側影象，採用16位HDR格式。這些影象提供每畫素16位色彩深度幷包含更多資訊，特別是在場景的非常黑暗或明亮的部分。 警告：影象儲存為16位PNG，這是非標準的，並且不是所有庫都支援。
• rightImg8bit 右側影象，採用8位LDR格式。
• rightImg16bit 右側影象，採用16位HDR格式。
• timestamp 記錄時間，單位是ns。 每個序列的第一幀總是有一個0的時間戳。
• disparity 預先計算的視差深度圖。 為了獲得視差值，對於p> 0的每個畫素p計算：d =（float（p）-1）/ 256，而值p = 0是無效測量。 警告：影象儲存為16位PNG，這是非標準的，並且不是所有庫都支援。
• vehicle 車輛測距，GPS座標和室外溫度。 詳情請參閱csCalibration.pdf

隨著時間的推移可能會增加更多型別，並且並非所有型別都是最初可用的，如果您需要其他元資料來執行您的方法，請告訴我們。

split可能出現的值

• train 通常用於訓練, 包含 2975 張帶有粗糙或精細標註的影象
• val 應該用於驗證hyper-parameters，包含500個具有精細和粗糙註釋的影象。 也可以用於訓練.
• test 用於在我們的評估伺服器上測試。 註釋不公開，但為方便起見，我們包含自我車輛和整改邊界的註釋。
• train_extra 可以選擇性地用於訓練，包含帶有粗略註釋的19998張影象
• demoVideo 可用於定性評估的視訊序列，這些視訊不提供註釋

指令碼

在名為 scripts的資料夾中有資料集包含幾個指令碼

• helpers 被其他指令碼檔案呼叫的幫助檔案
• viewer 用於檢視影象和標註的指令碼
• preparation 用於將GroundTruth註釋轉換為適合您的方法的格式的指令碼
• evaluation 評價你的方法的指令碼
• annotation 被用來標註資料集的標註工具

請注意，所有檔案頂部都有一個小型documentation。 非常重要

• helpers/labels.py 定義所有語義類ID的中心檔案，並提供各種類屬性之間的對映。
• helpers/labels_cityPersons.py 檔案定義所有CityPersons行人類的ID並提供各種類屬性之間的對映。
• viewer/cityscapesViewer.py 檢視影象並覆蓋註釋。
• preparation/createTrainIdLabelImgs.py 將多邊形格式的註釋轉換為帶有標籤ID的png影象，其中畫素編碼可以在“labels.py”中定義的“訓練ID”。
• preparation/createTrainIdInstanceImgs.py 將多邊形格式的註釋轉換為帶有例項ID的png影象，其中畫素編碼由“train ID”組成的例項ID。
• evaluation/evalPixelLevelSemanticLabeling.py 該指令碼來評估驗證集上的畫素級語義標籤結果。該指令碼還用於評估測試集的結果。
• evaluation/evalInstanceLevelSemanticLabeling.py 該指令碼來評估驗證集上的例項級語義標籤結果。該指令碼還用於評估測試集的結果。
• setup.py 執行 setup.py build_ext --inplace 啟用cython外掛以進行更快速的評估。僅針對Ubuntu進行了測試。

指令碼可以通過 pip安裝，如下：
sudo pip install .
這將指令碼安裝為名為cityscapesscripts的python模組並公開以下工具，請參閱上面的說明：

• csViewer
• csLabelTool
• csEvalPixelLevelSemanticLabeling
• csEvalInstanceLevelSemanticLabeling
• csCreateTrainIdLabelImgs
• csCreateTrainIdInstanceImgs

請注意，對於您需要安裝的圖形工具:
sudo apt install python-tk python-qt4

測評

一旦你想在測試集上測試你的方法，請在你提供的測試影象上執行你的方法並提交你的結果：
www.cityscapes-dataset.net/submit/
對於語義標註，我們要求結果格式與我們的名為labelIDs的標籤影象的格式相匹配。
因此，您的程式碼應該生成影象，其中每個畫素的值與labels.py中定義的類ID相對應。
請注意，我們的評估指令碼包含在指令碼資料夾中，可用於在驗證集上測試您的方法。
有關提交過程的更多詳細資訊，請諮詢我們的網站。

聯絡我們

如有任何問題，建議或意見，請隨時與我們聯絡：

• Marius Cordts, Mohamed Omran
• [email protected]
• www.cityscapes-dataset.net