最佳機器學習公共資料集
阿新 • • 發佈:2018-12-22
一、去哪裡找資料集
Kaggle:愛競賽的盆友們應該很熟悉了,Kaggle上有各種有趣的資料集,拉麵評級、籃球資料、甚至西雅圖的寵物許可證。
https://www.kaggle.com/
UCI機器學習庫:最古老的資料集源之一,是尋找有趣資料集的第一站。雖然資料集是使用者貢獻的,因此具有不同的清潔度,但絕大多數都是乾淨的,可以直接從UCI機器學習庫下載,無需註冊。
http://mlr.cs.umass.edu/ml/
VisualData:分好類的計算機視覺資料集,可以搜尋~
https://www.visualdata.io/
機器學習資料集
圖片
Labelme:帶註釋的大型影象資料集。 http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php ImageNet:大家熟悉的ImageNet,女神李飛飛參與建立,同名比賽影響整個計算機視覺界。 http://image-net.org/ LSUN:場景理解與許多輔助任務(房間佈局估計,顯著性預測等) http://lsun.cs.princeton.edu/2016/ MS COCO:同樣也是知名計算機視覺資料集,同名比賽每年都被中國人屠榜。 http://mscoco.org/ COIL 100 :100個不同的物體在360度旋轉的每個角度成像。 http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php 視覺基因組:非常詳細的視覺知識庫。 http://visualgenome.org/ 谷歌開放影象:在知識共享下的900萬個影象網址集合“已經註釋了超過6000個類別的標籤”。 https://research.googleblog.com/2016/09/introducing-open-images-dataset.html 野外標記面:13000張人臉標記影象,用於開發涉及面部識別的應用程式。 http://vis-www.cs.umass.edu/lfw/ 斯坦福狗子資料集:20580張狗子的圖片,包括120個不同品種。 http://vision.stanford.edu/aditya86/ImageNetDogs/ 室內場景識別:包含67個室內類別,15620個影象。 http://web.mit.edu/torralba/www/indoor.html
情緒分析
多域情緒分析資料集:一個稍老一點的資料集,用到了來自亞馬遜的產品評論。 http://www.cs.jhu.edu/~mdredze/datasets/sentiment/ IMDB評論:用於二元情緒分類的資料集,不過也有點老、有點小,有大約25000個電影評論。 http://ai.stanford.edu/~amaas/data/sentiment/ 斯坦福情緒樹庫:帶有情感註釋的標準情緒資料集。 http://nlp.stanford.edu/sentiment/code.html Sentiment140:一個流行的資料集,它使用160,000條預先刪除表情符號的推文。 http://help.sentiment140.com/for-students/ Twitter美國航空公司情緒:2015年2月美國航空公司的Twitter資料,分類為正面,負面和中性推文。 https://www.kaggle.com/crowdflower/twitter-airline-sentiment
自然語言處理
HotspotQA資料集:具有自然、多跳問題的問答資料集,具有支援事實的強大監督,以實現更易於解釋的問答系統。 https://hotpotqa.github.io/ 安然資料集:來自安然高階管理層的電子郵件資料。 https://www.cs.cmu.edu/~./enron/ 亞馬遜評論:包含18年來亞馬遜上的大約3500萬條評論,資料包括產品和使用者資訊,評級和文字稽核。 https://snap.stanford.edu/data/web-Amazon.html Google Books Ngrams:Google Books中的一系列文字。 https://aws.amazon.com/datasets/google-books-ngrams/ Blogger Corpus:收集了來自blogger.com的681,288篇博文,每篇博文至少包含200個常用英語單詞。 http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm 維基百科連結資料:維基百科的全文,包含來自400多萬篇文章的近19億個單詞,可以按段落、短語或段落本身的一部分進行搜尋。 https://code.google.com/p/wiki-links/downloads/list Gutenberg電子書列表:Gutenberg專案中帶註釋的電子書書單。 http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs Hansards加拿大議會文字:來自第36屆加拿大議會記錄的130萬組文字。 http://www.isi.edu/natural-language/download/hansard/ Jeopardy:來自問答節目Jeopardy的超過200,000個問題的歸檔。 http://www.reddit.com/r/datasets/comments/1uyd0t/200000_jeopardy_questions_in_a_json_file/ 英文垃圾簡訊收集:由5574條英文垃圾簡訊組成的資料集。 http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/ Yelp評論:Yelp,就是美國的“大眾點評”,這是他們釋出的一個開放資料集,包含超過500萬條評論。 https://www.yelp.com/dataset
自動駕駛
Berkeley DeepDrive BDD100k:目前最大的自動駕駛資料集,包含超過100,000個視訊,其中包括一天中不同時段和天氣條件下超過1,100小時的駕駛體驗。其中帶註釋的影象來自紐約和舊金山地區。
http://bdd-data.berkeley.edu/
百度Apolloscapes:度孃的大型資料集,定義了26種不同物體,如汽車、自行車、行人、建築物、路燈等。
http://apolloscape.auto/
Comma.ai:超過7小時的高速公路駕駛,細節包括汽車的速度、加速度、轉向角和GPS座標。
https://archive.org/details/comma-dataset
牛津的機器人汽車:這個資料集來自牛津的機器人汽車,它於一年時間內在英國牛津的同一條路上,反反覆覆跑了超過100次,捕捉了天氣、交通和行人的不同組合,以及建築和道路工程等長期變化。
http://robotcar-dataset.robots.ox.ac.uk/
城市景觀資料集:一個大型資料集,記錄50個不同城市的城市街景。
https://www.cityscapes-dataset.com/
CSSAD資料集:此資料集對於自動駕駛車輛的感知和導航非常有用。不過,資料集嚴重偏向發達國家的道路。
http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset
KUL比利時交通標誌資料集:來自比利時法蘭德斯地區數以千計的實體交通標誌的超過10000條註釋。
http://www.vision.ee.ethz.ch/~timofter/traffic_signs/
MIT AGE Lab:在AgeLab收集的1,000多小時多感測器駕駛資料集的樣本。
http://lexfridman.com/automated-synchronization-of-driving-data-video-audio-telemetry-accelerometer/
LISA:UC聖迭戈智慧和安全汽車實驗室的資料集,包括交通標誌、車輛檢測、交通訊號燈和軌跡模式。
http://cvrr.ucsd.edu/LISA/datasets.html
博世小交通燈資料集:用於深度學習的小型交通燈的資料集。
https://hci.iwr.uni-heidelberg.de/node/6132
LaRa交通燈識別:巴黎的交通訊號燈資料集。
http://www.lara.prd.fr/benchmarks/trafficlightsrecognition
WPI資料集:交通燈、行人和車道檢測的資料集。
http://computing.wpi.edu/dataset.html
臨床
MIMIC-III:MIT計算生理學實驗室的公開資料集,標記了約40000名重症監護患者的健康資料,包括人口統計學、生命體徵、實驗室測試、藥物等維度。
https://mimic.physionet.org/
一般資料集
除了機器學習專用的資料集,還有一些其他的一般資料集,可能很有趣~
公共政府資料集
Data.gov:該網站可以從多個美國政府機構下載資料,包括各種奇怪的資料,從政府預算到考試分數都有。不過,其中大部分資料需要進一步研究。
https://www.data.gov/
食物環境地圖集:本地食材如何影響美國飲食的資料。
https://catalog.data.gov/dataset/food-environment-atlas-f4a22
學校財務系統:美國學校財務系統的調查。
https://catalog.data.gov/dataset/annual-survey-of-school-system-finances
慢性病資料:美國各地區慢性病指標資料。
https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9
美國國家教育統計中心:教育機構和教育人口統計資料,不僅有美國的資料,也有一些世界上其他地方的資料。
https://nces.ed.gov/
英國資料服務:英國最大的社會、經濟和人口資料集。
https://www.ukdataservice.ac.uk/
資料美國:全面視覺化的美國公共資料。
http://datausa.io/
中國國家統計局。
http://www.stats.gov.cn/
金融與經濟
Quandl:經濟和金融資料的良好來源,有助於建立預測經濟指標或股票價格的模型。
https://www.quandl.com/
世界銀行開放資料:全球人口統計資料,還有大量經濟和發展指標的資料集。
https://data.worldbank.org/
國際貨幣基金組織資料:國際貨幣基金組織公佈的有關國際金融,債務利率,外匯儲備,商品價格和投資的資料。
https://www.imf.org/en/Data
金融時報市場資料:來自世界各地的金融市場的最新資訊,包括股票價格指數,商品和外匯。
https://markets.ft.com/data/
Google Trends:世界各地的網際網路搜尋行為和熱門新聞報道的資料。
http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0
美國經濟協會:美國巨集觀經濟資料。
https://www.aeaweb.org/resources/data/us-macro-regional