2. 程式人生 > >KNN 演算法-實戰篇-如何識別手寫數字

KNN 演算法-實戰篇-如何識別手寫數字

阿新 • • 發佈：2020-12-03
> **公號：碼農充電站pro** > **主頁：** 上篇文章介紹了[KNN 演算法的原理](https://www.cnblogs.com/codeshell/p/14072586.html)，今天來介紹如何**使用KNN 演算法識別手寫數字**？ ### 1，手寫數字資料集 手寫數字資料集是一個用於影象處理的資料集，這些資料描繪了 **[0, 9]** 的數字，我們可以用**KNN 演算法**來識別這些數字。 [MNIST](http://yann.lecun.com/exdb/mnist/) 是完整的手寫數字資料集，其中包含了60000 個訓練樣本和10000 個測試樣本。 **sklearn** 中也有一個自帶的[手寫數字資料集](https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/datasets/data/digits.csv.gz)： - 共包含 1797 個數據樣本，每個樣本描繪了一個 **8*8** 畫素的 **[0, 9]** 的數字。 - 每個樣本由 65 個數字組成： - 前 64 個數字是特徵資料，特徵資料的範圍是 **[0, 16]** - 最後一個數字是目標資料，目標資料的範圍是 **[0, 9]** 我們抽出 5 個樣本來看下： ```python 0,0,5,13,9,1,0,0,0,0,13,15,10,15,5,0,0,3,15,2,0,11,8,0,0,4,12,0,0,8,8,0,0,5,8,0,0,9,8,0,0,4,11,0,1,12,7,0,0,2,14,5,10,12,0,0,0,0,6,13,10,0,0,0,0 0,0,0,12,13,5,0,0,0,0,0,11,16,9,0,0,0,0,3,15,16,6,0,0,0,7,15,16,16,2,0,0,0,0,1,16,16,3,0,0,0,0,1,16,16,6,0,0,0,0,1,16,16,6,0,0,0,0,0,11,16,10,0,0,1 0,0,0,4,15,12,0,0,0,0,3,16,15,14,0,0,0,0,8,13,8,16,0,0,0,0,1,6,15,11,0,0,0,1,8,13,15,1,0,0,0,9,16,16,5,0,0,0,0,3,13,16,16,11,5,0,0,0,0,3,11,16,9,0,2 0,0,7,15,13,1,0,0,0,8,13,6,15,4,0,0,0,2,1,13,13,0,0,0,0,0,2,15,11,1,0,0,0,0,0,1,12,12,1,0,0,0,0,0,1,10,8,0,0,0,8,4,5,14,9,0,0,0,7,13,13,9,0,0,3 0,0,0,1,11,0,0,0,0,0,0,7,8,0,0,0,0,0,1,13,6,2,2,0,0,0,7,15,0,9,8,0,0,5,16,10,0,16,6,0,0,4,15,16,13,16,1,0,0,0,0,3,15,10,0,0,0,0,0,2,16,4,0,0,4 ``` 使用該資料集，需要先載入： ```python >
>> from sklearn.datasets import load_digits >>> digits = load_digits() ``` 檢視第一個影象資料： ```python >>> digits.images[0] array([[ 0., 0., 5., 13., 9., 1., 0., 0.], [ 0., 0., 13., 15., 10., 15., 5., 0.], [ 0., 3., 15., 2., 0., 11., 8., 0.], [ 0., 4., 12., 0., 0., 8., 8., 0.], [ 0., 5., 8., 0., 0., 9., 8., 0.], [ 0., 4., 11., 0., 1., 12., 7., 0.], [ 0., 2., 14., 5., 10., 12., 0., 0.], [ 0., 0., 6., 13., 10., 0., 0., 0.]]) ``` 我們可以用 [matplotlib](https://matplotlib.org/) 將該影象畫出來： ```python >
>> import matplotlib.pyplot as plt >>> plt.imshow(digits.images[0]) >>> plt.show() ``` 畫出來的影象如下，代表 **0**： ![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201130132714324.png?) ### 2，sklearn 對 KNN 演算法的實現 **sklearn** 庫的 [neighbors](https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neighbors) 模組實現了**KNN** 相關演算法，其中： - `KNeighborsClassifier` 類用於分類問題 - `KNeighborsRegressor` 類用於迴歸問題 這兩個類的構造方法基本一致，這裡我們主要介紹 `KNeighborsClassifier` 類，原型如下： ```python KNeighborsClassifier( n_neighbors=5, weights='uniform', algorithm='auto', leaf_size=30, p=2, metric='minkowski', metric_params=None, n_jobs=None, **kwargs) ``` 來看下幾個重要引數的含義： - **n_neighbors**：即 **KNN** 中的 K 值，一般使用預設值 5。 - **weights**：用於確定鄰居的權重，有三種方式： - weights=uniform，表示所有鄰居的權重相同。 - weights=distance，表示權重是距離的倒數，即與距離成反比。 - 自定義函式，可以自定義不同距離所對應的權重，一般不需要自己定義函式。 - **algorithm**：用於設定計算鄰居的演算法，它有四種方式： - algorithm=auto，根據資料的情況自動選擇適合的演算法。 - algorithm=kd_tree，使用 [KD 樹](https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KDTree.html) 演算法。 - **KD 樹**是一種多維空間的資料結構，方便對資料進行檢索。 - **KD 樹**適用於維度較少的情況，一般維數不超過 20，如果維數大於 20 之後，效率會下降。 - algorithm=ball_tree，使用[球樹](https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.BallTree.html)演算法。 - 與**KD 樹**一樣都是多維空間的資料結構。 - **球樹**更適用於維度較大的情況。 - algorithm=brute，稱為**暴力搜尋**。 - 它和 **KD 樹**相比，採用的是線性掃描，而不是通過構造樹結構進行快速檢索。 - 缺點是，當訓練集較大的時候，效率很低。 - **leaf_size**：表示構造 **KD 樹**或**球樹**時的**葉子節點數**，預設是 30。 - 調整 leaf_size 會影響樹的構造和搜尋速度。 ### 3，構造 KNN 分類器 首先載入資料集： ```python from sklearn.datasets import load_digits digits = load_digits() data = digits.data # 特徵集 target = digits.target # 目標集 ``` 將資料集拆分為**訓練集**（75%）和**測試集**（25%）： ```python from sklearn.model_selection import train_test_split train_x, test_x, train_y, test_y = train_test_split( data, target, test_size=0.25, random_state=33) ``` 構造**KNN** 分類器： ```python from sklearn.neighbors import KNeighborsClassifier # 採用預設引數 knn = KNeighborsClassifier() ``` 擬合模型： ```python knn.fit(train_x, train_y) ``` 預測資料： ```python predict_y = knn.predict(test_x) ``` 計算模型準確度： ```python from sklearn.metrics import accuracy_score score = accuracy_score(test_y, predict_y) print score # 0.98 ``` 最終計算出來模型的準確度是 **98%**，準確度還是不錯的。 ### 4，總結 本篇文章使用**KNN 演算法**處理了一個實際的分類問題，主要介紹了以下幾點： - 介紹了**sklearn** 中自帶的手寫數字集，並用 **matplotlib** 模組畫出了數字影象。 - 介紹了**sklearn** 中 `neighbors.KNeighborsClassifier` 類的用法。 - 使用 `KNeighborsClassifier` 來識別手寫數字。 （本節完。） --- **推薦閱讀：** [***KNN 演算法-理論篇-如何給電影進行分類***](https://www.cnblogs.com/codeshell/p/14072586.html) [***決策樹演算法-理論篇-如何計算資訊純度***](https://www.cnblogs.com/codeshell/p/13984334.html) [***決策樹演算法-實戰篇-鳶尾花及波士頓房價預測***](https://www.cnblogs.com/codeshell/p/13984334.html) [***樸素貝葉斯分類-理論篇-如何通過概率解決分類問題***](https://www.cnblogs.com/codeshell/p/13999440.html) [***樸素貝葉斯分類-實戰篇-如何進行文字分類***](https://www.cnblogs.com/codeshell/p/14034097.html) --- 歡迎關注作者公眾號，獲取更多技術乾貨。 ![碼農充電站pro](https://img-blog.csdnimg.cn/20200505082843773.png?#pic

相關推薦

KNN 演算法-實戰篇-如何識別手寫數字

> **公號：碼農充電站pro** > **主頁：** 上篇文章介紹了[KNN 演算法的原理](https://www.cnblogs.com/codeshell/p/14072586.html)，今天來介紹如何**使用KNN 演算法識別手寫數字**？ ### 1，手寫數字資料集 手寫數字資料集是一個用

機器學習實戰例項之手寫數字識別（KNN、python3）

from numpy import * from os import listdir import operator def img2Vector(filename): returnVecter = zeros((1,1024)) fr = open(fil

《機器學習實戰》第二章：k-近鄰演算法（3）手寫數字識別

這是k-近鄰演算法的最後一個例子——手寫數字識別！ 怎樣？是不是聽起來很高大上？ 呵呵。然而這跟影象識別沒有半毛錢的關係 因為每個資料樣本並不是手寫數字的圖片，而是有由0和1組成的文字檔案，就像這樣：         嗯，這個資料集中的每一個樣本用圖形軟體處理過，變成了寬高

TensorFlow實戰之Softmax Regression識別手寫數字

一次 說明 基本 過度 pro 分類函數 數值 fun nump 關於本文說明，本人原博客地址位於http://blog.csdn.net/qq_37608890，本文來自筆者於2018年02月21日 23:10:04所撰寫內容（http://blog.csdn.

tensorflow實戰入門題目--手寫數字的識別

tensorflow實戰入門題目–手寫數字的識別 這是我的第一篇部落格，有很多寫不好的地方，還請大家多多批評指正。 手寫體的示範： 匯入資料，由於mnist手寫數字在 from tensorflow.examples.tutorials.mnist import i

K 近鄰演算法識別手寫數字（Numpy寫法）

在 Kaggle 上面的 Notebook 給可愛的學弟學妹們用於參考... 程式碼這個東西一定要自己多寫，我一邊聽著林宥嘉的《想自由》，一邊寫出了大致的實現。K 近鄰演算法大概做的是一件什麼事情呢？你去商店買衣服的時候，突然忘記了自己要買的衣服多大尺碼比較合適（S/M/L/XL 這種）。這個時候你就要找幾個

tensorflow實戰：MNIST手寫數字識別的優化2-代價函式優化，準確率98%

最簡單的tensorflow的手寫識別模型，這一節我們將會介紹其簡單的優化模型。我們會從代價函式，多層感知器，防止過擬合，以及優化器的等幾個方面來介紹優化過程。    1.代價函式的優化：             我們可以這樣將代價函式理解為真實值與預測值的差距，我們神經

機器學習-實戰-入門-MNIST手寫數字識別

作者：橘子派 宣告：版權所有，轉載請註明出處，謝謝。 實驗環境： Windows10 Sublime Anaconda 1.6.0 Python3.6 程式碼功能包括： 一.ubyte資料集轉

MachineLearning— (KNN)k Nearest Neighbor實現手寫數字識別（三）

    本篇博文主要結合前兩篇的knn演算法理論部分knn理論理解（一）和knn理論理解（二），做一個KNN的實現，主要是根據《機器學習實戰》這本書的內容，一個非常經典有趣的例子就是使用knn最近鄰演算法來實現對手寫數字的識別，下面將給出Python程式碼，儘量使用詳盡的解

k-近鄰演算法--使用k-近鄰演算法識別手寫數字

listdir函式： os.listdir() 方法用於返回指定的資料夾包含的檔案或資料夾的名字的列表。返回指定路徑下的檔案和資料夾列表。 python文件： listdir(path=None)     Return a list containing the nam

Tensorflow實戰——利用Softmax Regression識別手寫數字

1. 匯入資料集 2. 檢視資料集（784維【28*28】， label【10維】，訓練集，測試集，驗證集） 3. 定義輸入x，w,  b 4. 使用Softmax Regression模型 5. 使用cross-entropy作為loss-function 6

利用Python實現k最近鄰演算法 並識別手寫數字（詳細註釋）

    K最近鄰(k-Nearest Neighbor，KNN)分類演算法，是一個理論上比較成熟的方法，也是較為簡單的機器學習演算法之一。該方法的思路是：如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別。K最近鄰

學習筆記TF024:TensorFlow實現Softmax Regression(回歸)識別手寫數字

概率 none nump 簡單 測試數據 python dice bat desc TensorFlow實現Softmax Regression(回歸)識別手寫數字。MNIST(Mixed National Institute of Standards and Techno

[神經網絡與深度學習（一）]使用神經網絡識別手寫數字

線性 部分 logs 結構 這一 可用 調整 重復 http 1.1 感知器 感知器的輸出為： wj為權重，表示相應輸入對輸出的重要性； threshold為閾值，決定神經元的輸出為0或1。 也可用下式表示： 其中b=-threshold，稱為感知器的偏置

TensorFlow實現Softmax Regression識別手寫數字中"TimeoutError: [WinError 10060] 由於連接方在一段時間後沒有正確答復或連接的主機沒有反應，連接嘗試失敗”問題

http 截圖 技術 數字 alt 分享圖片 inf 主機 orf 出現問題： 在使用TensorFlow實現MNIST手寫數字識別時，出現“TimeoutError: [WinError 10060] 由於連接方在一段時間後沒有正確答復或連接的主機沒有反應，連接嘗試失敗”

第14章 LeNet：識別手寫數字

文件包含 ali 2個 程序代碼 cnn 代碼 出了 ieee 隱藏 第14章 LeNet：識別手寫數字 LeNet架構時深度學習社區的一個開創性工作，見論文【1】，作者在實現LeNet的主要創新點是用於OCR上。LeNet架構簡單輕巧（就內存占用而言），這使它

多層感知器識別手寫數字算法程序

itl cti val shape erb ase 鏈接 n) frame 1 #coding=utf-8 2 #1.數據預處理 3 import numpy as np #導入模塊，numpy是擴展鏈接庫 4 import pan

卷積神經網絡識別手寫數字實例

取出 return hot lte git tensor on() port cross 卷積神經網絡識別手寫數字實例： import tensorflow as tf from tensorflow.examples.tutorials.mnist import i

Kaggle Digit Recognizer識別手寫數字入門賽基於tensorflow-GPU(TOP 15%)

本人原創，開源出來希望與大家互相學習。 ps:目前這個比賽前二三十名測試集的正確率為1，我覺得其中一個方法可能是將所有的樣本（從官網下載train set和 test set及其他們的標籤）喂入CNN學習，將訓練集正確率訓練到1.0就可以了，這樣用測試集測出來的結果就可以1.0了，但

【Python例項第13講】識別手寫數字

機器學習訓練營——機器學習愛好者的自由交流空間（qq 群號：696721295） 這個例子顯示怎樣使用scikit-learn識別手寫數字影象。關於手寫數字資料集的詳細介紹，請看《Python例項第3講》。 例項詳解 首先，載入matplotlib.pyplot繪相