論戰Yann LeCun：誰能解釋極限學習機（ELM）牛X在哪裡？
【編者按】被認為學習速度快、泛化效能好的Extreme Learning Machine（ELM，極限學習機），在國內頗有市場，但大神Yann
LeCun近日質疑ELM存在命名、方法論等方面存在很多問題，不如採用SVM或者RBF，隨即有人反駁稱ELM理論上與一般的前饋神經網不分伯仲，ELM的發明者則認為，ELM和深度學習是相輔相成的，有些應用將兩者結合收到很好的結果，並且ELM可以填補CNN的理論空白。現在雙方觀點整理如下，供讀者參考。
南洋理工大學黃廣斌副教授（@黃廣斌-ELM）在2004年提出的Extreme Learning Machine（ELM，極限學習機），是一種單隱層前饋神經網路（SLFN）學習演算法。這種演算法只需要設定網路的隱層節點個數，執行過程中不需要調整網路的輸入權值以及隱元的偏置，並且產生唯一的最優解，因而學習速度快且泛化效能好。
然而，Facebook人工智慧實驗室負責人、紐約大學教授Yann LeCun近日在Facebook上對ELM提出了質疑，認為ELM存在命名、方法論等方面存在很多問題，有一定的優點但不如首先採用SVM（支援向量機）或者RBF，也難以應對ImageNet 或語音識別這樣的複雜任務。
Yann LeCun認為：首先，ELM和早前出現的Gamba Perceptron、Rosenblatt perceptron看來有極深的淵源。其次，隨機連線第一層的方法幾乎是最傻的事情，基本上可謂否定近60年的努力的開倒車的行為（Perceptron已可解決線性不可分問題）。他表示，隨機初始化輸入權重和偏置，做好了也只能對簡單函式和小型標記資料集有效，還不如採用SVM或者RBF。
First, the name: an ELM is *exactly* what Minsky & Papert call a Gamba Perceptron (a Perceptron whose first layer is a bunch of linear threshold units). The original 1958 Rosenblatt perceptron was an ELM in that the first layer was randomly connected.
Second, the method: connecting the first layer randomly is just about the stupidest thing you could do. People have spent the almost 60 years since the Perceptron to come up with better schemes to non-linearly expand the dimension of an input vector so as to make the data more separable (many of which are documented in the 1974 edition of Duda & Hart).
Yann LeCun的觀點獲得了200多個贊和大量的回覆。一些回覆表示看好ELM的速度，然而Yann LeCun反駁：ELM的執行必然慢於RBF網路，後者第一層採用K均值或者GMM甚至神經網路來訓練，所有的這些模型優化了一層單元的數量和位置，從而可以消除一些資料量的影響。傳統的SVM用於大型資料集緩慢，人們都有很多建議方法繞過該問題。如果指的是訓練速度，只要訓練時間不是太離譜，則無人在意。
They have to be slower to run than an RBF net in which the first layer is trained with K-means or GMM, or even neural nets, since all of these models optimize the number and placement of layer-1 units, and can therefore get away with a small number of them. Regular SVMs get slow with very large datasets, but people have suggested ways to get around that. Perhaps they are talking about training speed, but no one is really interested in that, as long as the training time is not outrageous.
對於一封發給IEEE SMC的匿名郵件《The ELM Scandal》（其中列舉多項條款指責ELM涉嫌存在學術問題），Yann LeCun甚至稱，“ELM is officially a fraud”。
@David_Wang2015認為：目前的單隱層ELM在函式逼近論和統計學習理論意義下的收斂結果已經有證明，理論上與一般的前饋神經網不分伯仲。不過，前饋神經網適合工程應用的函式模型還得靠工程師的理解和洞察，ELM如果要在各種應用中更上一層，合理的結構設計和隱節點的生成方式的研究是必不可少的。
一些圈內人士評論認為，儘管ELM思想上工程上確有意義，但後文從哲學方法層面迴應，未能落到實處，仍然無法回答Yann LeCun的質疑。
@David_Wang2015在此之後解釋：
這篇文章主要是介紹一下ELM的主要思想，說明ELM為什麼在某些應用中可以又快又work，解決一些關於ELM的疑惑。徹底回答LeCun的質疑還得需要更深入的理論和工程的研究，在知名資料集和工程應用上刷刷performance。
作為ELM的發明者，黃廣斌亦提出了自己的觀點：ELM和深度學習是相輔相成的，如可將CNN用於特徵提取，ELM用於做分類器，此外ELM還可以填補CNN的理論空白。
ELM的發展也是從不信到懷疑，到似曾相識，到大徹大悟的過程。ELM和深度學習是相輔相成的，有些應用將兩者結合收到很好的結果，比如將CNN用於特徵提取，ELM用於做分類器。其實從長遠角度看，更多的是ELM和Deep Learning的交融匯合（Convergence）。另一方面Convolution Neural Network （CNN）雖然有生物學上的相關意義，數學理論上的證明還不多，ELM理論正好填補這個空白，並且推向更廣泛的Local Receptive Fiekds概念。
黃廣斌表示，神經網路的發展是曲折前進的歷史，如多層感知器(Perceptron)、Back-Propagation（BP）演算法、SVM甚至深度學習，都曾經歷了不被理解的過程——理解和認識有時需要一個漫長的過程。
真理越辯越明。對於這個問題，您有更詳細的見解嗎？請在評論中留下您的觀點，也歡迎您給CSDN投稿分享和交流。投稿郵箱：[email protected]。
原文連結：
黃廣斌微博：網上熱議Yann LeCun:"What's so great about 'Extreme Learning Machines'?"其實LeCun的問題正常，ELM從誕生之初就有許多人不解。他的問題答案可以見文章“What are Extreme Learning Machines? Filling the Gap between Frank Rosenblatt's Dream and John von Neumann's Puzzle”相關推薦
論戰Yann LeCun：誰能解釋極限學習機（ELM）牛X在哪裡？
摘要：ELM演算法執行過程中不必調整網路的輸入權值以及隱元的偏置，學習速度快且泛化效能好，Yann LeCun質疑ELM存在命名、方法論方面存在問題，ELM發明者則認為，ELM和深度學習是相輔相成的，並且ELM可以填補CNN的理論空白。 【編者按】被認為學習速度快、泛化效能
極限學習機（ELM） 演算法及MATLAB程式實現
極限學習機 單隱藏層反饋神經網路具有兩個比較突出的能力： （1）可以直接從訓練樣本中擬 合 出 復 雜 的 映 射 函 數f :x ^ t （2 ）可以為大量難以用傳統分類引數技術處理的自然或者人工現象提供模型。但是單隱藏層反饋神經網路缺少比較快速的學習方 法 。
linux高性能編程學習筆記（1）
linuxTCP/TP協議族：分層、多協議的通信體系，四層協議系統，自底向上：數據鏈路層、網絡層、傳輸層、應用層數據鏈路層：實現網卡接口的網絡驅動程序，以處理數據在物理媒介上得到傳輸數據鏈路層兩個常用的協議：ARP協議（地址解析協議）、RARP協議（逆地址解析協議）網絡層：實現數據包的選路和轉發網絡層最核心的
演算法工程師修仙之路：吳恩達機器學習作業（一）
吳恩達機器學習筆記及作業程式碼實現中文版 第一個程式設計作業：單變數線性迴歸（python程式碼實現） 一元線性迴歸 問題描述 在本練習的這一部分中，您將使用只有單變數的線性迴歸方法預測餐車的利潤。 假設你是一家連鎖餐廳的執行長，正在
可配置語法分析器開發紀事（五）——構造一個真正能用的狀態機（中）
上一篇部落格寫到了如何給一個非終結符的文法規則構造出一個壓縮過的下推狀態機，那麼今天說的就是如何把所有的文法都連線起來。其實主要的idea在（三）和他的勘誤（三點五）裡面已經說得差不多了。但是今天我們要處理的是帶資訊的transition，所以還有一些地方要注意一下。 所以在這裡我們先把幾條文法
可配置語法分析器開發紀事（六）——構造一個真正能用的狀態機（下）
上一篇文章對大部分文法都構造出了一個使用的狀態機了，這次主要來講右遞迴的情況。右遞迴不像左遞迴那麼麻煩，因為大部分右遞迴寫成迴圈也不會過分的讓語法樹變得難以操作，不過仍然有少數情況是我們仍然希望保留遞迴的語法樹形狀，譬如C++的連等操作，因此這裡就來講一下這個問題。 右遞迴是怎麼形成的呢？在這裡我
TensorFlow深度學習框架學習（二）：TensorFlow實現線性支援向量機（SVM）
SVM的原理可以參考李航的《統計學習方法》 具體程式碼如下，程式碼都有註釋的 #1、匯入必要的庫 import matplotlib.pyplot as plt import numpy as np import tensorflow as tf fro
【MyBatis學習】：通過自動回覆機器人學習MyBatis（一）
自動回覆機器人案例分析基本功能： 接收發送指令； 根據指令自動回覆對應的內容； 專案使用技術： JSP+Servlet+JDBC 專案使用資料庫中的資料表message
Python機器學習筆記：不得不瞭解的機器學習知識點（2）
之前一篇筆記： Python機器學習筆記：不得不瞭解的機器學習知識點（1） 1，什麼樣的資料集不適合用深度學習？ 資料集太小，資料樣本不足時，深度學習相對其它機器學習演算法，沒有明顯優勢。 資料集沒有區域性相關特性，目前深度學習表現比較好的領域主要是影象／語音／自然語言處理等領域，
新生代公鏈：誰能搶下新的機會？
有人說 2018 年是公鏈元年，這一年有 50 多條公鏈主網上線。也有人說 2018 年的公鏈之爭其實就是吹牛之爭、使用者之爭、割韭菜之爭。 一方面，目前的以太坊和 EOS 等現有主流公鏈各方面還遠遠不夠支撐其成為價值互聯基礎設施。在區塊鏈產業格局中，作為基礎設施的公鏈直接決定了價值網際網路的核
Yann LeCun：深度學習與人工智慧的未來（附PPT與譯文）
深度學習 作者Yann Le Cun 紐約大學，柯朗數學科學學院(CourantInstitute of Mathematical Science, NYU)， Facebook 人工智慧研究 我們需要複製大腦來開發智慧機器嗎？ 大腦是智慧機器存在的依
Redis(二十一)：Redis性能問題排查解決手冊（轉）
毫秒 直接 不包含 特定 命令 不用 超出 pip 過去 性能相關的數據指標 通過Redis-cli命令行界面訪問到Redis服務器，然後使用info命令獲取所有與Redis服務相關的信息。通過這些信息來分析文章後面提到的一些性能指標。 info命令輸出的數據可分為10個類
深度學習介紹（一）Yann LeCun
作為人工智慧的一種形式，深度學習能夠更好地模仿人類大腦。之前還有很多人工智慧研究人員還在公開對該領域嗤之以鼻，而僅僅過了幾年，從谷歌、微軟，到百度、Twitter，深度學習已經開始蔓延到整個商業科技世界了。 很多科技巨頭正在挖掘一種特殊的深度學習，他們稱之為卷
DataGridView使用技巧九：DataGridView的右鍵菜單（ContextMenuStrip）
end else idv owin msd head code context sdg DataGridView,DataGridViewColumn,DataGridViewRow,DataGridViewCell有ContextMenuStrip屬性。可以通過設置Con
樹莓派3學習筆記（7）：7寸（分辨率800 480）顯示器配置
樹莓派、顯示器配置樹莓派3學習筆記（7）：7寸（分辨率800 480）顯示器配置 樹莓派搭載分辨率為800X480的顯示器在顯示的時候可能會遇到無法全屏顯示的問題， 顯示器只有部分能夠顯示，有一部分是黑邊，對於這一種情況，我們只需進入系統的boot目錄，找到config.txt文件，或者直接在命
.net Kafka.Client多個Consumer Group對Topic消費不能完全覆蓋研究總結（二）
eight 分享 stat .com ima topic consumer 閱讀 padding 依據Partition和Consumer的Rebalance策略，找到Kafka.Client Rebalance代碼塊，還原本地環境，跟蹤調試，發現自定義Consumer G
Swift學習筆記（4）：字符串
min mes 不同的 常用方法 dice 內存空間 全部 there logs 目錄： 初始化 常用方法或屬性 字符串索引 初始化 創建一個空字符串作為初始值: var emptyString = "" // 空字
Swift學習筆記（5）：集合類型
nbsp roc 三種 一個 刪除指定元素 edge 空值 port 自定義 目錄： 數組：Array 集合：Set 字典：Dictionary Swift提供Array（有序集合數據）、Set（無序無重復集合）和Dictionary（無序鍵值對集合）三
Swift學習筆記（8）：枚舉
check oss 函數 not 條形碼 blog 出現 現在 pan 目錄： 基本語法 關聯值 原始值 枚舉為一組相關的值定義了一個共同的類型。 ?可以給枚舉成員指定原始值類型：字符串，字符，整型值或浮點數等 ?枚舉成員可以指定任意類型的關聯值存儲