2. 程式人生 > >Scikit-learn：scikit-learn快速教程及例項

Scikit-learn：scikit-learn快速教程及例項

阿新 • • 發佈：2019-01-25

scikit-learn 教程導航

簡介：使用scikit-learn進行機器學習

  • 機器學習：問題設定
  • 載入樣例資料集
  • 學習和預測
  • 模型持久化
  • 慣例

統計學習教程

  • 統計學習：scikit-learn中的配置和estimator物件
  • 有監督學習：預測高維觀測物件
  • 模型選擇：選擇estimator和引數
  • 無監督學習：尋找資料特徵
  • 連線所有流程
  • 幫助

文字分析

  • 設定
  • 載入“Twenty Newsgroups”資料集
  • 抽取text檔案的特徵
  • 訓練分類器
  • 建立管道
  • 評估測試集的表現
  • 使用網格搜尋調整引數
  • 練習1：語言識別
  • 練習2：影評情感分析
  • 練習3：CLI文字分類應用
  • 路在何方

選擇合適的estimator

通常機器學習最難的一部分是選擇合適的estimator。

不同的estimator適用於不同的資料集和問題。

在本節中，sklearn官方文件提供了一個圖，可以快速地根據你的資料和問題選擇合適的estimator。單擊相應的區域還可以獲得更具體的內容。

推薦到官網看看flowchart ，很有意思，具有簡單的普適性

其他的資源，視訊和討論

  • python 統計學新手
  • 其他的教程
  • 視訊

如何開啟機器學習之路

通常用Pandas包去進行主資料分析會比較好，而且這很容易你自己完成。所以，讓我們集中精力在實現上。為了確定性，我們假設有一個特徵-物件矩陣作為輸入，被存在一個*.csv檔案中。

資料載入

首先，資料要被載入到記憶體中，才能對其操作。Scikit-Learn庫在它的實現用使用了NumPy陣列，所以我們將用NumPy來載入*.csv檔案。讓我們從

UCI Machine Learning Repository下載其中一個數據集。

Python
1234567891011importnumpy asnpimporturllib# url with dataseturl="http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"# download the fileraw_data=urllib.urlopen(url)# load the CSV file as a numpy matrixdataset
=np.loadtxt(raw_data,delimiter=",")# separate the data from the target attributesX=dataset[:,0:7]y=dataset[:,8]

我們將在下面所有的例子裡使用這個資料組，換言之，使用X特徵物陣列和y目標變數的值。

資料標準化

我們都知道大多數的梯度方法（幾乎所有的機器學習演算法都基於此）對於資料的縮放很敏感。因此，在執行演算法之前，我們應該進行標準化，或所謂的規格化。標準化包括替換所有特徵的名義值，讓它們每一個的值在0和1之間。而對於規格化，它包括資料的預處理，使得每個特徵的值有0和1的離差。Scikit-Learn庫已經為其提供了相應的函式。Python
12345fromsklearn importpreprocessing# normalize the data attributesnormalized_X=preprocessing.normalize(X)# standardize the data attributesstandardized_X=preprocessing.scale(X)
特徵的選取

毫無疑問，解決一個問題最重要的是是恰當選取特徵、甚至創造特徵的能力。這叫做特徵選取和特徵工程。雖然特徵工程是一個相當有創造性的過程，有時候更多的是靠直覺和專業的知識，但對於特徵的選取，已經有很多的演算法可供直接使用。如樹演算法就可以計算特徵的資訊量。

Python
123456fromsklearn importmetricsfromsklearn.ensemble importExtraTreesClassifiermodel=ExtraTreesClassifier()model.fit(X,y)# display the relative importance of each attributeprint(model.feature_importances_)

其他所有的方法都是基於對特徵子集的高效搜尋，從而找到最好的子集，意味著演化了的模型在這個子集上有最好的質量。遞迴特徵消除演算法（RFE）是這些搜尋演算法的其中之一，Scikit-Learn庫同樣也有提供。

Python<

相關推薦

Scikit-learn：scikit-learn快速教程及例項

scikit-learn 教程導航簡介：使用scikit-learn進行機器學習 機器學習：問題設定載入樣例資料集學習和預測模型持久化慣例 統計學習教程 統計學習：scikit-learn中的配置和estimator物件有監督學習：預測高維觀測物件模型選擇：選擇estima

c3p0連線池使用教程及例項

首先,什麼是c3p0?下面是百度百科的解釋: C3P0是一個開源的JDBC連線池，它實現了資料來源和JNDI繫結，支援JDBC3規範和JDBC2的標準擴充套件。目前使用它的開源專案有Hibernate，Spring 　　使用連線池和我們平時寫的JDBC程式碼相

微信小程式入門教程及例項

原文地址：https://mp.weixin.qq.com/s?__biz=MzAwNjI5MTYyMw==&mid=2651493295&idx=1&sn=4dc4c570140d246b5ead8eb0c01d90d9&chksm=80

RF +Appium的簡單教程及例項

RF環境搭建 appiumlibrary安裝 與其他安裝庫一樣，cmd到appiumlibrary目錄下，執行命令：python setup.py install進行安裝 驗證如下： Android環境搭建 1、JDK安裝 網上下載最新的

SQL四種語言：DDL DML DCL TCL 及例項

作者：泥瓦匠 原文連結：傳送門 1. DDL – Data Definition Language 資料庫定義語言：定義資料庫的結構。 其主要命令有CREATE，ALTER，DROP等，下面用例子詳解。該語言不需要commit，因此慎重。 CREA

python requests模組教程及例項（get方法）

——————來自某潮汕人的菜鳥教程一、如何安裝requests？pip install requests二、requests.get方法的使用：要爬取的網站：“https://b.faloo.com/l/0/1.html?t=1&k=%CB%D9%B6%C8”爬取任務

SciKit-learn快速入門教程和例項（二）

一，sklearn的常用屬性和功能 繼續上次對波士頓房價預測的討論，瞭解模型的屬性和功能。 #首先匯入庫，使用的是線性迴歸 from sklearn import datasets from sklearn.linear_model import LinearRegr

Scikit-learn快速入門教程和例項（一）

一，什麼是SKlearn SciKit learn的簡稱是SKlearn，是一個python庫，專門用於機器學習的模組。 以下是它的官方網站，文件等資源都可以在裡面找到http://scikit-learn.org/stable/#。

Scikit-learn快速入門教程和例項

轉自：https://blog.csdn.net/linxid/article/details/79104130   Github主頁：https://linxid.github.io/ 知乎：https://www.zhihu.com/people/dong-wen-hui-90

ML：Scikit-Learn 學習筆記（3） --- Nearest Neighbors 最近鄰 迴歸及相關演算法

1 最近鄰迴歸 最近鄰迴歸是用在標籤值是連續取值的場景智商的，而不是離散取值，而是用最近鄰迴歸進行查詢的點，最後得到的結果是其所有最近鄰居的平均值。 scikit-learn 在迴歸部分，同樣實現了兩種迴歸演算法，和之前的一樣，和KNN思想近似的KNeigh

機器學習精簡教程之九——用scikit-learn的網格搜尋快速找到最優模型引數

本文轉自：http://www.shareditor.com/blogshow/?blogId=60 任何一種機器學習模型都附帶很多引數，不同場景對應不同的最佳引數，手工嘗試各種引數無疑浪費很多時間，scikit-learn幫我們實現了自動化，那就是網格搜尋 。 網格

scikit-learn： isotonic regression（保序回歸，非常有意思，僅做知識點了解，但差點兒沒用到過）

reg 現象 最小 給定 推薦 替代 ble class net http://scikit-learn.org/stable/auto_examples/plot_isotonic_regression.html#example-plot-isotonic-regre

scikit-learn：3. Model selection and evaluation

ews util tree ask efficient square esc alter 1.10 參考：http://scikit-learn.org/stable/model_selection.html 有待翻譯，敬請期待： 3.1. Cross-val

scikit-learn：3.5. Validation curves: plotting scores to evaluate models

ror 例如 最大的 dsm models 不能 utl ring 告訴 參考：http://scikit-learn.org/stable/modules/learning_curve.html estimator‘s generalization error

scikit-learn：4.2. Feature extraction（特征提取，不是特征選擇）

for port ould 詞匯 ret sim hide pla pip http://scikit-learn.org/stable/modules/feature_extraction.html 帶病在網吧裏。。。。。。寫。求支持。。。 1、首先澄

scikit-learn：4. 數據集預處理（clean數據、reduce降維、expand增維、generate特征提取）

ova trac ict mea res additive track oval mmc 本文參考：http://scikit-learn.org/stable/data_transforms.html 本篇主要講數據預處理，包含四部分： 數據清洗、數據

機器學習庫一：scikit-learn

資料探勘中的機器學習庫scikit-learn,簡稱：sklearn 功能：分類、迴歸、降維、聚類四個機器學習演算法和特徵提取、資料處理、模型評估三個模組 安裝：pip install sklearn 決策樹sklearn.tree使用demo from sklear

Scikit-learn：聚類clustering

不同聚類效果比較sklearn不同聚類示例比較A comparison of the clustering algorithms in scikit-learn不同聚類綜述Method nameParametersScalabilityUsecaseGeometry (met

十、用scikit-learn的網格搜尋快速找到最優模型引數

任何一種機器學習模型都附帶很多引數，不同場景對應不同的最佳引數，手工嘗試各種引數無疑浪費很多時間，scikit-learn幫我們實現了自動化，那就是網格搜尋 網格搜尋 這裡的網格指的是不同引數不同取值交叉後形成的一個多維網格空間。比如引數a可以取1、2，引數b可以取3、4，引數c可以取5、6，那麼形

scikit-learn：CountVectorizer提取詞頻

http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html#sklearn.feature_extraction.text.Coun