1. 程式人生 > >深度學習資料集

深度學習資料集

大學公開資料集

(Stanford)69G大規模無人機(校園)影象資料集【Stanford】

http://cvgl.stanford.edu/projects/uav_data/

人臉素描資料集【CUHK】

http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html

自然語言推理(文字蘊含標記)資料集【NYU】

https://www.nyu.edu/projects/bowman/multinli/

Berkeley影象分割資料集BSDS500【Berkeley】

https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/resources.html

寵物圖片(分割)資料集【Oxford】

http://www.robots.ox.ac.uk/~vgg/data/pets/

釋出ADE20K場景感知/解析/分割/多目標識別資料集【MIT】

https://groups.csail.mit.edu/vision/datasets/ADE20K/

多模態二元行為資料集【GaTech】

http://www.cbi.gatech.edu/mmdb/

計算機視覺/影象/視訊資料集

Fashion-MNIST風格服飾影象資料集【肖涵】

https://github.com/zalandoresearch/fashion-mnist

大型(50萬)LOGO標誌資料集

https://data.vision.ee.ethz.ch/cvl/lld/

4D掃描(60fps移動非剛性物體3D掃描)資料集【D-FAUST】

http://dfaust.is.tue.mpg.de

基於MNIST的視覺計數合成數據集Counting MNIST

http://fomoro.com/tools/counting-mnist/

YouTube MV視訊資料集【Keunwoo Choi】

https://github.com/keunwoochoi/YouTube-music-video-5M

計算機視覺合成數據集/工具大列表【unrealcv】

https://github.com/unrealcv/synthetic-computer-vision

動物屬性標記資料集【ChristophH. Lampert/Daniel Pucher/JohannesDostal】

http://cvml.ist.ac.at/AwA2/

日本漫畫資料集Manga109

http://dl.acm.org/citation.cfm?doid=3011549.3011551

俯拍舞蹈視訊資料集

http://homepages.inf.ed.ac.uk/rbf/CEILIDHDATA/

Pixiv(著色)圖片資料集【Jerry Li】

https://github.com/jerryli27/pixiv_dataset

e-VDS視訊資料集

https://engineering.purdue.edu/elab/eVDS/#download

Quick, Draw!簡筆畫塗鴉資料集

https://github.com/googlecreativelab/quickdraw-dataset

簡筆畫塗鴉資料集【hardmaru】

https://github.com/hardmaru/sketch-rnn-datasets

服飾人像生成模型(&Chictopia10K[HumanParsing]時尚人像解析資料集)【Christoph Lassner/Gerard Pons-Moll/Peter V. Gehler】

http://files.is.tue.mpg.de/classner/gp/

COCO畫素級標註資料集

https://github.com/nightrome/cocostuff

大規模街道級圖片(分割)資料集【Peter Kontschieder】

http://blog.mapillary.com/product/2017/05/03/mapillary-vistas-dataset.html

大規模日語圖片描述資料集

https://github.com/STAIR-Lab-CIT/STAIR-captions

Cityscapes街景語義分割資料集(50城30類5k細標20k粗標圖片及標記視訊)

https://github.com/mcordts/cityscapesScripts

(街頭)時尚服飾資料集(2000+標註圖片)

https://github.com/bearpaw/clothing-co-parsing 

PyTorch實現的VOC2012資料集Pixel-wise目標分割【BodoKaiser】

https://github.com/bodokaiser/piwise

Twenty Billion Neurons物件複雜運動與互動視訊資料集【Nikita Johnson】

https://www.re-work.co/blog/the-something-something-video-dataset 

文字/評價/問答/自然語言資料集

(20萬)英文笑話資料集【TaivoPungas】

https://github.com/taivop/joke-dataset

機器學習保險行業問答開放資料集【HainWang】

https://github.com/shuzi/insuranceQA

保險行業問答(QA)資料集【Minwei Feng】

https://github.com/shuzi/insuranceQA

Stanford NLP釋出新的多輪、跨域、任務導向對話資料集【Mihail Eric】

https://github.com/keunwoochoi/YouTube-music-video-5M

實體/名詞語義關係標記資料集【David S. Batista】

https://github.com/davidsbatista/Annotated-Semantic-Relationships-Datasets

NLVR:自然語言基礎資料集(物件分組、數量、比較及空間關係推理)

http://lic.nlp.cornell.edu/nlvr/

2.8萬文章/10萬問題大規模(英語考試)閱讀理解資料集

https://github.com/qizhex/RACE_AR_baselines

錯誤拼寫資料集

http://www.dcs.bbk.ac.uk/~ROGER/corpora.html

文字簡化資料集

http://www.cs.pomona.edu/~dkauchak/simplification/

英語詞/句/語義框架框架標註資料集FrameNet

https://framenet.icsi.berkeley.edu/fndrupal/

(又一個)自然語言處理(NLP)資料集列表【Nicolas Iderhoff】

https://github.com/niderhoff/nlp-datasets 

跨語種/多樣式/多粒度文字相似性檢測資料集

https://github.com/FerreroJeremy/Cross-Language-Dataset

Quora資料集:400000行潛在重複問題

http://qim.ec.quoracdn.net/quora_duplicate_questions.tsv

文字分類資料集

http://disi.unitn.it/moschitti/corpora.htm

Frames:Maluuba對話資料集

https://datasets.maluuba.com/Frames/dl

跨域(Amazon商品評論)情感資料集

http://www.cs.jhu.edu/~mdredze/datasets/sentiment/

語義網機器學習系統評價/基準資料集集合

http://dws.informatik.uni-mannheim.de/en/research/a-collection-of-benchmark-datasets-for-ml

其它資料集

資料科學/機器學習資料集彙總

https://elitedatascience.com/datasets

CORe50:連續目標識別資料集【VincenzoLomonaco&DavideMaltoni】

https://vlomonaco.github.io/core50/

(Matlab)資料集統計分佈自動發現【Isabel Valera】

http://proceedings.mlr.press/v70/valera17a.html

(建築物)損害評估資料集【tsunami】

https://github.com/faiton713/ABCDdataset

IndieWeb社交圖譜資料集【IndieWeb】

http://www.indiemap.org

DeepMind開源環境/資料集/程式碼集合【DeepMind】

https://deepmind.com/research/open-source/

鳥叫聲資料集【xeno-canto】

http://www.xeno-canto.org

Wolfram資料集倉庫

https://datarepository.wolframcloud.com

大型音樂分析資料集FMA

https://github.com/mdeff/fma

(300萬)Instacart線上雜貨購物資料集【Jeremy Stanley】

https://tech.instacart.com/3-million-instacart-orders-open-sourced-d40d29ead6f2

用於欺詐檢測的合成財務資料集【TESTIMON】

https://www.kaggle.com/ntnu-testimon/paysim1

NSynth:大規模高質量音符標記音訊資料集

https://magenta.tensorflow.org/datasets/nsynth

LIBSVM格式分類/迴歸/多標籤/字串資料集

https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html

膝上型電腦用logistic迴歸擬合100G資料集【DmitriySelivanov】

http://dsnotes.com/post/2017-02-07-large-data-feature-hashing-and-online-learning-part-2/

StackExchange近似/重複問題資料集

http://nlp.cis.unimelb.edu.au/resources/cqadupstack/

2010-2017最全KDD CUP賽題回顧及資料集

http://suo.im/2kRoQ1

食譜資料集:帶有評級、營養及類別資訊的超過2萬種食譜【HugoDarwood】

https://www.kaggle.com/hugodarwood/epirecipes

奧斯卡資料集【Academy of Motion Picture Arts and Sciences】

https://www.kaggle.com/theacademy/academy-awards

計算醫療庫:(TensorFlow)大型醫療資料集分析與機器學習建模【AkshayBhat】

https://github.com/AKSHAYUBHAT/ComputationalHealthcare

聚類資料集

https://cs.joensuu.fi/sipu/datasets/

官方開放氣候資料集

https://pan.baidu.com/s/1i52Xarb

全球恐怖襲擊事件資料集【START Consortium】

https://www.kaggle.com/START-UMD/gtd

七個機器學習時序資料集

https://machinelearningmastery.com/time-series-datasets-for-machine-learning/

大型眾包關係資料庫自然語言查詢語義解析資料集(8萬+查詢樣本)

http://t.cn/RNMr09n

賽馬賠率資料集

http://t.cn/RNf0tXN

新的YELP資料集:包含470萬評論和15.6萬商家

http://t.cn/RNG6JYi

JMIR資料集專刊《JMIR Data》

http://t.cn/RCIhmvS

用於評價監督機器學習演算法的基準資料集

https:// github.com/EpistasisLab/penn-ml-benchmarks

人口普查收入資料集分類

https:// github.com/dformoso/sklearn-classification

日文木版印刷文字識別資料集

http://t.cn/RCZPfYB

多模態二元行為資料集

http://t.cn/RCzFn1g

(TensorFlow)AudioSet音訊事件資料集分類模型

GitHub: tensorflow/models/tree/master/audioset

Facebook星際爭霸遊戲資料集

(TorchCraft可讀/365GB/6萬多場次/15億幀畫面/近5億使用者操作)

http://t.cn/R9j8AUM

機器學習論文/資料集/工具集錦(日文)

http://t.cn/RKV7x2A

機器學習公司的十大資料蒐集策略

http://t.cn/R54rtvd

NLP資料集載入工具集

http://t.cn/RaYwYXl

日語相似詞資料集

http://t.cn/RaVFV35

大規模人本完形填空(多選閱讀理解)資料集

http://t.cn/Rac2Pey

高質量免費資料集列表

http://t.cn/R6B1aqa

《資料之美》自然語言資料集/程式碼

http://t.cn/hBOTM4

微軟資料集MS MARCO,閱讀理解領域的「ImageNet」

http://t.cn/RIMqGBK

AI2科學問答資料集(多選)

http://t.cn/RI5liwJ

常用影象資料集大全

(分類,跟蹤,分割,檢測等)

1. 搜狗實驗室資料集:

http://www.sogou.com/labs/dl/p.html

網際網路圖片庫來自sogou圖片搜尋所索引的部分資料。其中收集了包括人物、動物、建築、機械、風景、運動等類別,總數高達2,836,535張圖片。對於每張圖片,資料集中給出了圖片的原圖、縮圖、所在網頁以及所在網頁中的相關文字。200多G

2. http://www.imageclef.org/

IMAGECLEF致力於點陣圖片相關領域提供一個基準(檢索、分類、標註等等) Cross Language Evaluation Forum (CLEF) 。從2003年開始每年舉行一次比賽.

http://staff.science.uva.nl/~xirong/index.php?n=Main.Dataset