1. 修正現行單元
2. 單神經元網絡

1. 在監督學習當中，你輸入一個x，習得一個函數，映射到輸出y
   1. 例如房屋價格預測例子當中，輸入房屋的一些特征，就能輸出或者是預測價格y，
   2. 在現今，深度學習神經網絡效果拔群，最主要的就是在線廣告，
      1. 給網站輸入廣告信息，網站會考慮是否給你看這個廣告，有時候還需要用戶輸入一些信息，神經網絡在預測你是否會點擊這個廣告方面已經變現的很好了，通過想你展示，向用戶展示，最有可能點開的廣告，這就是神經網絡在很多家公司賺取無法想象的高額利潤的應用方式。因為有了這種最有可能點擊開的廣告的能力，直接影響到了很多大型線上廣告公司的收入，

1. 計算機視覺的發展，主要歸功於深度學習
   1. 你輸入一個圖像，然後想輸出一個指數，可以是從1到1000，來表明這張圖片是不是1000個不同的圖像當中的某一個，可以用來給圖片打標簽
2. 深度學習在語音識別方面的進展
   1. 通過將音頻片段輸入神經網絡，它可以輸出文本，
3. 深度學習在機器翻譯方面取得的進展
   1. 輸入英語句子，她直接輸出一個中文句子
4. 深度學習在無人駕駛方面的進展
   1. 你輸入一副圖像，汽車前方的一個快照，還有一些雷達信息，基於這個，訓練過的神經網絡能告訴你路上其他汽車的位置，這是無人駕駛系統的關鍵組件，

1. 需要機智的選擇x和y，才能夠解決特定的問題，然後把這個監督學習過的組件添加到更大型的系統中，比如無人駕駛，
2. 稍微不同的神經網絡應用到不同的地方也都行之有效，
   1. 房地產
   2. 在線廣告
      1. 以上兩者使用的都是相對標準的神經網絡
   3. 圖像領域裏面，我們經常使用的是卷積神經網絡（CNN），
   4. 對於序列數據，例如音頻中含有時間成分，音頻是隨著時間播放的，所以音頻很自然的可以表示為一維時間序列，對於序列數據，經常使用RNN（循環神經網絡）
   5. 語言最自然的表示也是序列數據，更加復雜的RNNs，經常會用於這些應用，
   6. 對於更加復雜的應用。比如無人駕駛，有一張圖，可能需要CNN“卷積神經網絡結構”架構去處理，雷達信息會更不一樣，需要一些更加復雜的混合的神經網絡結構，

1. 為了更具體的說明CNN和RNN的結構是什麽，在文獻中，可能見過這樣的圖片
   1. 
   2. 這是一個標準的神經網絡，你可能見過這樣的圖片
   3. 這是一個卷積神經網絡，我們需要了解這幅圖的含義和如何實現它
2. 卷積網絡通常用於圖像數據，
3. 循環神經網絡，非常適合處理一維序列數據，其中包含時間成分，
   1. 

1. 機器學習被用於結構化和非結構化數據
   1. 結構化數據是數據的數據庫
   2. 結構化數據，意味著每個特征，比如說，房屋發小，臥室數量，用戶年齡，都有著清晰的定義，
   3. 非結構化數據，指的是，比如音頻，原始音頻，圖像，你想要識別圖像，或者是文本中的內容，
      1. 這裏的特征，可能是圖像中的像素值，或者是文本中的單個單詞，
   4. 註意
      1. 非結構化數據和結構化數據相比，可能讓計算機更加的難易理解，人類進化到現在，很擅長理解音頻信號和圖像，文本是更近代的發明，但是人們真的很擅長解讀非結構化數據，
      2. 在神經網絡的興起過程當中，多虧了深度學習，多虧了神經網絡，計算機能夠更好的解釋非結構化數據，（語音識別，圖像識別，自然語言文字處理）
   5. 神經網絡在很多的短期經濟創造的過程中，是基於結構化數據的。比如更好的廣告系統個，更好的獲利建議，有更好的能力去處理很多公司擁有的海量數據庫，並且用這些數據準確的預測未來的趨勢，
   6. 在這節課當中，會有很多機會去用到結構化數據，也可以用到非結構化數據，為了更好的解釋算法的原理，將會使用到很多的非結構化數據，
2. 神經網絡徹底改變了監督學習，基本的神經網絡背後的技術理念，大部分都不是新的理念，

第一節：神經網絡和深度學習