大數據會說話,簡明機器學習問題
點擊關註 異步圖書,置頂公眾號
每天與你分享 IT好書 技術幹貨 職場知識
參與文末話題討論,每日贈送異步圖書
——異步小編
我們只能向前看到很短的路,但卻可以看到還有很多事情需要做。
——艾倫·圖靈
從數據中學習究竟是什麽?科學家從數據中學習,企業、政府和慈善機構也一樣。事實上,無論是私人、公共的,還是慈善部門的領域,幾乎沒有哪個領域不在部署數據驅動的模型,以發掘和利用數據中的關系。
我們置身於數據之中,亞馬遜網站每天發生2.5萬次銷售/交付,10萬個基因幾乎同時測序,超過100億張圖片存儲在網頁上。而大約在幾個月之內,英國的國家衛生局對6000萬份健康記錄進行了數字化處理。我們所有人每天都在使用數據,而且許多人在工作的付薪過程中都使用了數據。營銷公司的分析師必須決定,他的受眾/聽眾選擇模型需要包含哪些因素。本地衛生部門的研究人員測量季節性流感的發病率。氣象學家運行氣候模型,計算降水的可能性、溫度的變化以及雲層覆蓋的百分比。
公共部門和某些公司需要將海量信息轉換為可操作的戰略性公共/商業決策。從數據中學習提供了一系列實踐性的技術和工具,來幫助開發穩健的歸納模型,用以從數據中提取可用的見解。歸納的簡單含義是指觀點源於經驗數據,而非根據理論第一的原則來推導。
本文的首要目標是幫助你把大量數據轉化為可用的知識。為此,我們將借助理論來重塑數據科學挑戰的思考方式。但是,本文不是一本專門討論引理、證明以及抽象理論細節的教科書。它為這樣的讀者而準備:他們希望獲得一個重要的、成功的框架,用來建立有用的預測分析模型,從而為他們工作的組織以及他們服務的客戶改善運營方式和提高盈利。同時務必了解,數據科學這項職業不適合那些缺乏好奇心或者技術能力的人,任何處理實證數據的職業也同樣不適合。
在本文中,你會學到歸納推理與演繹推理的關鍵區別,確定學習問題的三大要素,以及發現使用歸納模型的一個明確框架。
1.1 歸納推理和演繹推理的基礎
圖1.1圍繞著假設檢驗,展示了歸納法和演繹法之間的一個關鍵區別。兩種方法都始於觀察有趣的現象,但歸納方法更關心選擇最佳的預測模型。而演繹方法更關心探索理論,主要是結合數據來檢驗某個理論的假設。根據經驗數據的“有分量的證據”,來判斷這個假設是接受還是拒絕。
圖1.1 歸納和演繹
1.1.1 你曾遇到過這些事情嗎?
我想起在我聽過的理論經濟學課上,教授曾嚴厲警告:“不能信任數據。”也許,這種經歷並不僅僅出現在我的課堂上。一位著名的計量經濟學教授曾解釋道1:“經濟學中有一種普遍觀點,如果當前的經驗證據不可信,或經濟現象無法預測,那麽主要是因為經濟太復雜,而且產生的數據太混亂,不適合建立統計模型。”或許,你也有過類似經歷。
但是,當我離開課堂,步入了經驗分析的真實世界,居然很快發現,只要給我足夠的數據和適合的工具,使用數據驅動的歸納法會帶給我意義重大的結論。
註意:在每個可以想到的領域——商業的、工業的以及政府的,成功的數據驅動的歸納模型都已經存在,或正在建立。數據決策的模型越來越多地用來制定決策,如可以識別你的語音的智能手機,又如實施外科手術的機器人2,再如核爆炸的檢測。
1.1.2 釋放歸納的力量
無論你是否在這些領域中工作,醫療診斷、手寫體識別、市場、金融預測、生物信息學、經濟學的領域,還是在其他任何要求經驗分析的專業領域,你常常會面對這樣的情況,潛在的首要原則尚未發現,或正在研究的系統過於復雜,無法通過充分詳細的數學描述來提供有用的結果。我發現,數據驅動的歸納方法在以上所有情況中都有用,你也會認同這一點。
註意:在科學之外,演繹分析可能在經濟學學科中占據了頂峰地位,其中大部分的焦點(甚至今天也一樣)都圍繞著檢驗和評估演繹理論的經濟學有效性。事實上,經濟學家對理論進行客觀驗證的渴望催生了新的統計學子學科—計量經濟學。
1.1.3 推斷的陰陽之道
盡管歸納和演繹的區別相當大,但它們實際上也可以互補使用。對於一個研究者來說,計劃一個同時包含歸納元素和演繹元素的項目是非同尋常的。
如果你曾經或長或短地從事過經驗建模領域的工作,那你很可能發現這種情況:你計劃執行一個歸納或演繹的項目,但沒想到隨著時間的推移,你又發現了其他更適合的方法來闡明你的研究問題。需要牢記的是,歸納方法或演繹方法的使用,部分地依賴於你的數據分析目標。
註意:演繹推理優越性的相對下降,可以部分地由數據驅動模型的高度成功來解釋。意大利學者馬特奧·帕爾多(Matteo Pardo)和喬治·斯貝沃格裏尼(Giorgio Sberveglieri)在十多年前正確地觀察到6:“在當前,從遵循首要原則的經典建模到開發數據建模,發生了一種範式轉換。”有趣的是,需要註意,現在數據建模者的短缺是世界性的問題7。
1.2 學習問題的三大要素
我們的討論始於學習問題的基礎。例如,有監督的分類問題,其中我們得到的數據是實值的屬性—響應對(x,y)。三個元素組成了基本的學習問題。
(1)響應變量或目標變量有K種類別,。對於二元分類(K=2),我們通常假設,或者。
(2)假定屬性(或特征)x和目標y之間存在著一種概率關系,這個關系可以通過一個未知的概率分布刻畫:。
為什麽要以概率術語指定x和y之間關系呢?因為實踐中有觀察不到的非確定性因素影響著這種關系。例如,在面包圈的烘焙中,溫度、濕度、面粉的重量、面粉的質地、部件磨損等方面,輕微的變化都會影響制作的面包圈的質地、口感和質量。輸出的變化反映了對未觀測到的因素缺乏認識,並導致了x和y之間的概率關聯。圖1.2顯示了這種情況,其中,給定x時y發生的條件概率捕捉了未觀測到的因素的影響,寫為。
圖1.2 學習問題的概率設定
(3)因為數據科學是一種內在的經驗活動,所以我們還觀察到了概率分布的一組樣本,N個獨立同分布(i.i.d)的數據對。獨立性假設意味著每個新觀測產生了新的相關信息。相同的分布意味著觀測提供了關於潛在概率分布的固定但未知的信息。因此,給定一個i.i.d假設,可以在理論上構建一個一致的預測變量,其含義是,隨著獲得的數據越來越多,預測變量的預測值也越來越接近真實值。
1.3 從數據中學習的目標
為了預測與過去觀測相關的新情況,我們需要從數據中學習的能力,即對過去觀測一般化的能力。這個目標是基於假設類H構造一個好的預測變量,這個假設根據x預測y,其中是參數向量。
預測變量或者學習器是關於生成數據的真實函數的一種假設。假設的類H是我們的算法可以考慮的函數集合。它的選擇需要先驗知識作為歸納偏置。相對於其他假設,歸納偏置可以是偏愛歸納學習器的任何假設。它包括一些基礎假設或假設集合,這些學習器一般化了目標函數,使它超越了訓練數據。例如:
如果H代表線性回歸,那麽假定了屬性x和目標y之間的關系是線性的。就簡單線性回歸來說,數據科學家可能僅僅希望考慮其中、和的那些函數。
優化算法H中包括了允許算法搜索的空間。
註意:
歸納偏置是數據科學實踐中的一個關鍵要素,正如倫敦經濟學院的Jonathan Baxter的解釋8:“在機器學習中,可能最重要的事情就是學習機器假設空間的預先偏置,它要足夠小,以保證合理訓練集的好的一般化(預測能力),也要足夠大,這樣它才能包含學習問題好的解決答案。”
1.3.1 闡明選擇標準
為了實現目標,我們需要一個準則,用以在H的相互競爭的假設中進行選擇。我們用表示在預測y時導致的誤差。如果很大,那麽在預測時,的表現就不好。如果很小,那麽在預測時,就表現良好。
對於標記為的二元分類來說,一個常見的損失函數是:,這是一個指標函數,如果的符號不同於。
損失函數的另一種選擇是平方誤差損失(稱為L2損失或者最小二乘方法),如果你曾經建立過傳統的線性回歸方程,那麽你一定會熟悉下列方程:
預期的誤差定義成:(1.1)
這個量通常稱為預期風險,並且,我們希望選擇一個函數來使它最小化。但是,因為是未知的,不能直接觀測。相反,訓練樣本的經驗風險的計算是最小化的。
1.3.2 學習任務的選擇
現在,我們的學習框架已經準備就緒,可以把註意力轉向我們作為數據科學家需要執行的真實任務。相當幸運,結果發現從數據中學習可以恰好分成3種基本類型的工作:
(1)類別決策邊界的分類或估計。例如,流水線上按大小和顏色分類的雞蛋。
(2)未知連續函數的回歸或估計。例如,預測本地音樂節創造的票房平均價值。
(3)概率密度的估計。例如,估計愛爾蘭沿海河流中白斑狗魚的密度。
本文將自始至終主要討論分類的問題,因為這是數據科學家面對的最頻繁的任務。但是,我們得出的經驗教訓適用於所有3種類型的任務。
本文摘自《機器學習實踐指南——基於R語言》
《機器學習實踐指南——基於R語言 》
[英] 尼格爾·劉易斯(N.D. Lewis) 著
點擊封面購買紙書
本書為讀者建立機器學習模型提供了容易理解和上手的指導。本書撥開迷霧,開辟出一條清晰的學習路徑,幫助讀者發現、理解、應用和開發機器學習和數據科學的潛力。本書通過免費的預測分析軟件包 ,為讀者提供必要的工具,幫助讀者充分理解、深化認識並展開創造性思維,以增強自己的機器學習和數據科學項目。
本書闡述了:
★ 能夠從數據中學習到什麽?
★ 為什麽從數據中學習是數據科學工具箱的必備部分?
★ 如何將機器學習運用到自己的研究中?
通過閱讀本書,你將能夠:
★ 掌握從數據中學習的技能;
★ 探索、評價並利用核心學習類型;
★ 發揮監督學習的威力;
★ 使用半監督學習設計成功的解決方案;
★ 學會使用無監督學習;
★ 模擬實現自己的想法並幫助開創新方法。
本書是一本可以輕輕松松從入門到精通的指南,你可以親自動手實踐其中巧妙的算法。 如果你對數據科學或機器學習應用領域有興趣,並希望嘗試其中的重要模型和預測技術,本書正是為你量身打造的。
今日話題
清明小長假你有什麽規劃?截止時間4月8日17時,留言+轉發本活動到朋友圈,小編將選出1名讀者贈送異步新書1本。
延伸推薦
2018年2月新書
2018年1月重磅新書
小學生開始學Python,最接近AI的編程語言:安利一波Python書單
AI經典書單| 入門人工智能該讀哪些書?
長按二維碼,可以關註我們喲
每天與你分享IT好文。
在“異步圖書”後臺回復“關註”,即可免費獲得2000門在線視頻課程;推薦朋友關註根據提示獲取贈書鏈接,免費得異步圖書一本。趕緊來參加哦!
點擊下方閱讀原文,購買《機器學習實踐指南——基於R語言》
閱讀原文
大數據會說話,簡明機器學習問題