人工智慧機器學習

1、機器學習工作流程

• 1.定義
  • 資料
  • 自動分析獲得模型
  • 預測
  • 從資料中自動分析獲得模型，並利用模型對未知資料進行預測
• 2.工作流程
  • 獲取資料
  • 資料基本處理
  • 特徵工程
  • 機器學習（模型訓練）
  • 模型評估
• 3.獲取到的資料集介紹
  • 專有名詞
    • 樣本
    • 特徵
    • 目標值（標籤值）
    • 特徵值
  • 資料型別構成
    • 型別一：特徵值+目標值
      目標值分為是離散還是連續
    • 型別二：只有特徵值，沒有目標值
  • 資料劃分
    • 訓練資料（訓練集）--構建模型
      0.7----0.8之間
    • 測試資料（測試集）--模型評估
      0.2---0.3
  • 4.資料基本處理
    對資料進行缺失值、去除異常值等處理
  • 5.特徵工程

2、機器學習演算法分類

• 監督學習--有特徵值，有目標值
  • 目標值連續--迴歸
  • 目標值離散--分類
• 無監督學習--僅有特徵值
• 半監督學習
  有特徵值，但是一部分資料有目標值，一部分沒有
• 強化學習
  動態過程，上一步資料的輸出是下一步資料的輸入
  四要素：
  • agent
  • action
  • environment
  • Reward
• 監督學習和強化學習的對比
  • 反饋對映：
    • 監督學習：輸入到輸出一個對映，監督式學習的輸出的是之間的關係，可以高速演算法什麼樣的輸入對應著什麼樣的輸出。
    • 強化學習：輸入到輸出的一個對映，強化學習輸出的是給機器的反饋，即用來判斷這個行為是好是壞。

3、模型評估

• 分類模型評估
  • 準確率：預測正確的數佔樣本總數的比例
  • 精確率：正確預測為正佔全部預測為正的比例
  • 召回率：正確預測為正佔全部正樣本的比例
  • F1-score：主要用於評估模型的穩健性
  • AUC指標：主要用於評估樣本不均衡的情況
• 迴歸模型評估
  • 均方根誤差（RMSE）
  • 相對平方誤差（RSE）
  • 平均絕對誤差（MAE）
  • 相對絕對誤差（RAM）
  • 決定係數
• 擬合：模型評估用於評價訓練好的模型的表現效果，其表現效果大致可以分為兩類：過擬合和欠擬合
  • 欠擬合：因為機器學習到的特徵太少，導致區分標準太粗糙，不能準確識別出。（學的太少，分不出來）
  • 過擬合：所建的機器學習的模型或者深度學習模型在訓練樣本中表現得過於優越，導致在驗證資料集以及測試資料集中表現不佳。（學的太多，分不出來）

4、如何使用jupyter notebook

• 在anaconda裡面建立環境，例如Machine Learning

• 然後下載：

  • pip install matplotlib==2.2.2
  • pip install numpy==1.14.2
  • pip install pandas==0.20.3
  • pip install tables==3.4.4（本來是3.4.2，但是下載出現錯誤，沒有這個版本號，就下載的其他版本的）
  • pip install jupyter==1.0.0

• 下載好之後，然後在啟用環境 conda activate Machine Learning，輸入jupyter notebook即可

• jupyter notebook的快捷鍵的使用

  • shift+enter，直接輸出，然後跳轉到下一行
  • ctrl+enter，在本行輸出
  • 選中一行，按住esc，然後按b，直接增加一行
  • 刪掉某一行，選中該行，然後按esc，再按dd
  • 做標記：選中某一行，按esc，然後按m