機器學習練習題(二)
從牛客網找來得題目,解析是題目下的高贊答案。
1.下面有關分類演算法的準確率,召回率,F1 值的描述,錯誤的是?
a.準確率是檢索出相關文件數與檢索出的文件總數的比率,衡量的是檢索系統的查準率
b.召回率是指檢索出的相關文件數和文件庫中所有的相關文件數的比率,衡量的是檢索系統的查全率
c.正確率、召回率和 F 值取值都在0和1之間,數值越接近0,查準率或查全率就越高
d.為了解決準確率和召回率衝突問題,引入了F1分數
答案:C
解析:對於二類分類問題常用的評價指標是精準度(precision)與召回率(recall)。通常以關注的類為正類,其他類為負類,分類器在測試資料集上的預測或正確或不正確,4種情況出現的總數分別記作:
召回率定義為:R = TP / (TP + FN)
F1值定義為: F1 = 2 P R / (P + R)
精準率和召回率和F1取值都在0和1之間,精準率和召回率高,F1值也會高,不存在數值越接近0越高的說法,應該是數值越接近1越高。 2.以下哪些方法不可以直接來對文字分類? a.Kmeans b.決策樹 c.支援向量機 d.KNN 答案:A 解析:Kmeans是聚類方法,典型的無監督學習方法。分類是監督學習方法,BCD都是常見的分類方法。
4.SPSS的介面中,以下是主視窗是( )
答案:資料編輯視窗。
5.在Logistic Regression 中,如果同時加入L1和L2範數,會產生什麼效果()
a.可以做特徵選擇,並在一定程度上防止過擬合
b.能解決維度災難問題
c.能加快計算速度
d.可以獲得更準確的結果
答案:A
解析:此解析是我看特徵選擇的部落格看到的,是做特徵選擇看可以使用L1,L2範數,具體如下:
L1範數具有係數解的特性,但是要注意的是,L1沒有選到的特徵不代表不重要,原因是兩個高相關性的特徵可能只保留一個。如果需要確定哪個特徵重要,再通過交叉驗證。
為什麼L1,L2範數可以防止過擬合呢
在代價函式後面加上正則項,L1即是Losso迴歸,L2是嶺迴歸
但是它為什麼能防止過擬合呢?
奧卡姆剃刀原理:能很好的擬合數據且模型簡單
模型引數在更新時,正則項可使引數的絕對值趨於0,使得部分引數為0,降低了模型的複雜度(模型的複雜度由引數決定),從而防止了過擬合。提高模型的泛化能力。
6.一般,k-NN最近鄰方法在( )的情況下效果較好
a.樣本較多但典型性不好
b.樣本較少但典型性好
c.樣本呈團狀分佈
d.樣本呈鏈狀分佈
答案:B
解析:樣本呈團狀頗有迷惑性,這裡應該指的是整個樣本都是呈團狀分佈,這樣kNN就發揮不出其求近鄰的優勢了,整體樣本應該具有典型性好,樣本較少,比較適宜。
7.以下幾種模型方法屬於判別式模型的有()
a.混合高斯
b.CRF
c.區分度訓練
d.隱馬爾科夫模型
答案:BC
解析:判別式模型與生成式模型的區別
產生式模型(Generative Model)與判別式模型(Discrimitive Model)是分類器常遇到的概念,它們的區別在於:
對於輸入x,類別標籤y:產生式模型估計它們的聯合概率分佈P(x,y)
判別式模型估計條件概率分佈P(y|x)
產生式模型可以根據貝葉斯公式得到判別式模型,但反過來不行。
Andrew Ng在NIPS2001年有一篇專門比較判別模型和產生式模型的文章:
On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes
判別式模型常見的主要有:
Logistic Regression
SVM
Traditional Neural Networks
Nearest Neighbor
CRF
Linear Discriminant Analysis
Boosting
Linear Regression
產生式模型常見的主要有:
Gaussians
Naive Bayes
Mixtures of Multinomials
Mixtures of Gaussians
Mixtures of Experts
HMMs
Sigmoidal Belief Networks, Bayesian Networks
Markov Random Fields
Latent Dirichlet Allocation
8.下列不是SVM核函式的是:
a.多項式核函式
b.logistic核函式
c.徑向基核函式
d.Sigmoid核函式
答案:B
解析:SVM核函式包括線性核函式、多項式核函式、徑向基核函式、高斯核函式、冪指數核函式、拉普拉斯核函式、ANOVA核函式、二次有理核函式、多元二次核函式、逆多元二次核函式以及Sigmoid核函式。
9.已知一組資料的協方差矩陣P,下面關於主分量說法錯誤的是()
a.主分量分析的最佳準則是對一組資料進行按一組正交基分解, 在只取相同數量分量的條件下,以均方誤差計算截尾誤差最小
b.在經主分量分解後,協方差矩陣成為對角矩陣
c.主分量分析就是K-L變換
d.主分量是通過求協方差矩陣的特徵值得到
答案:C
解析:K-L變換與PCA變換是不同的概念,PCA的變換矩陣是協方差矩陣,K-L變換的變換矩陣可以有很多種(二階矩陣、協方差矩陣、總類內離散度矩陣等等)。當K-L變換矩陣為協方差矩陣時,等同於PCA。
10.機器學習中L1正則化和L2正則化的區別是?
a.使用L1可以得到稀疏的權值
b.使用L1可以得到平滑的權值
c.使用L2可以得到稀疏的權值
d.使用L2可以得到平滑的權值
答案:AD
解析:使用L1正則後的權值更新規則多了一項η * λ * sgn(w)/n,這一項 當w為正時,更新後的w變小。當w為負時,更新後的w變大——因此它的效果就是讓w往0靠,使網路中的權重儘可能為0,也就相當於減小了網路複雜度,防止過擬合。所以說L1可以得到更稀疏的權值。
11.關於線性迴歸的描述,以下正確的有:
a.基本假設包括隨機干擾項是均值為0,方差為1的標準正態分佈
b.基本假設包括隨機干擾項是均值為0的同方差正態分佈
c.在違背基本假設時,普通最小二乘法估計量不再是最佳線性無偏估計量
d.在違背基本假設時,模型不再可以估計
e.可以用DW檢驗殘差是否存在序列相關性
f.多重共線性會使得引數估計值方差減小
答案:BCE
解析:一元線性迴歸的基本假設有
1、隨機誤差項是一個期望值或平均值為0的隨機變數;
2、對於解釋變數的所有觀測值,隨機誤差項有相同的方差;
3、隨機誤差項彼此不相關;
4、解釋變數是確定性變數,不是隨機變數,與隨機誤差項彼此之間相互獨立;
5、解釋變數之間不存在精確的(完全的)線性關係,即解釋變數的樣本觀測值矩陣是滿秩矩陣;
6、隨機誤差項服從正態分佈
違背基本假設的計量經濟學模型還是可以估計的,只是不能使用普通最小二乘法進行估計。
當存在異方差時,普通最小二乘法估計存在以下問題: 引數估計值雖然是無偏的,但不是最小方差線性無偏估計。
杜賓-瓦特森(DW)檢驗,計量經濟,統計分析中常用的一種檢驗序列一階
自相關 最常用的方法。
所謂多重共線性(Multicollinearity)是指線性迴歸模型中的解釋變數之間由於存在精確相關關係或高度相關關係而使模型估計失真或難以估計準確。影響
相關推薦
機器學習練習題(二)
從牛客網找來得題目,解析是題目下的高贊答案。 1.下面有關分類演算法的準確率,召回率,F1 值的描述,錯誤的是? a.準確率是檢索出相關文件數與檢索出的文件總數的比率,衡量的是檢索系統的查準率 b.召回率是指檢索出的相關文件數和文件庫中所有的相關文件數的比率,衡量的是檢索系
機器學習實戰(二)決策樹DT(Decision Tree、ID3演算法)
目錄 0. 前言 1. 資訊增益(ID3) 2. 決策樹(Decision Tree) 3. 實戰案例 3.1. 隱形眼鏡案例 3.2. 儲存決策樹 3.3. 決策樹畫圖表示 學習完機器學習實戰的決策樹,簡單的做
模式識別與機器學習筆記(二)機器學習的基礎理論
機器學習是一門對數學有很高要求的學科,在正式開始學習之前,我們需要掌握一定的數學理論,主要包括概率論、決策論、資訊理論。 一、極大似然估計(Maximam Likelihood Estimation,MLE ) 在瞭解極大似然估計之前,我們首先要明確什麼是似然函式(likelihoo
機器學習筆記(二)線性迴歸實現
一、向量化 對於大量的求和運算,向量化思想往往能提高計算效率(利用線性代數運算庫),無論我們在使用MATLAB、Java等任何高階語言來編寫程式碼。 運算思想及程式碼對比 的同步更新過程向量化 向量化後的式子表示成為: 其中是一個向量,是一個實數,是一個向量,
機器學習實踐(二)—sklearn之資料集
一、可用資料集 Kaggle網址:https://www.kaggle.com/datasets UCI資料集網址: http://archive.ics.uci.edu/ml/ scikit-learn網址:http://scikit-learn.org/sta
機器學習筆記(二):python 模組pandas
1.讀csv檔案資料 import pandas as pd Info = pd.read_csv('titanic_train.csv'); #print(type(Info)) #Info的型別 <class 'pandas.core.frame
機器學習筆記(二):線性模型
線性模型是機器學習常用的眾多模型中最簡單的模型,但卻蘊含著機器學習中一些重要的基本思想。許多功能更為強大的非線性模型可線上性模型的基礎上通過引入層級結構或高維對映得到,因此瞭解線性模型對學習其他機器學習模型具有重要意義。 本文主要介紹機器學習中常用的線性模型,內
機器學習筆記(二)吳恩達課程視訊
多元變數線性迴歸 1.多維特徵: 2.多元梯度下降: 代價函式:(目標與單變數一致,要找出使代價函式最小的一系列引數) 梯度下降演算法: 梯度下降演算法——特徵縮放: 除了固定以外,的值都要變成[-1,1]範圍左右之間的取值,不僅僅
python機器學習實戰(二)
原文連結:https://www.cnblogs.com/fydeblog/p/7159775.html 前言 這篇notebook是關於機器學習監督學習中的決策樹演算法,內容包括決策樹演算法的構造過程,使用matplotlib庫繪製樹形圖以及使用決策樹預測隱形眼睛型別. 作業系統:ubuntu14
機器學習練習(二)-機器學習的四大應用領域
一·資料探勘 資料探勘主要是應用於大資料領域,利用機器學習的模型來挖掘資料中的潛在價值。發現數據之間的關係。比如根據房價的變化預測房價,根據天氣資訊預測天氣等。會應用經典的迴歸類問題。 傳統的監督學習,或者非監督學習,或者與深度學習相結合的方式。 二·計算機視覺 讓機器像人一樣看世界,看到
機器學習基礎(二)——詞集模型(SOW)和詞袋模型(BOW)
(1)詞集模型:Set Of Words,單詞構成的集合,集合自然每個元素都只有一個,也即詞集中的每個單詞都只有一個 (2)詞袋模型:Bag Of Words,如果一個單詞在文件中出現不止一次,並統計
機器學習筆記(二)
總結自 《機器學習》周志華 模型評估與選擇 錯誤率=樣本總數/分類錯誤的樣本數 精度=1-錯誤率 誤差:實際預測輸出與樣本真實輸出之間的差異 訓練誤差:學習器在訓練集上的誤差 泛化誤差:學習器在新樣本上的誤差 過擬合:學習能力過於強大,將訓練樣本本身的一些不太一
機器學習筆記(二)——分類器之優缺點分析
原始資料中存在著大量不完整、不一致、有異常的資料,須進行資料清洗。資料清洗主要是刪除原始資料集中的無關資料、重複資料,平滑噪聲資料,篩選掉與挖掘主題無關的資料,處理缺失值、異常值。 一、線性分類器: f=w^T+b / logistic regression 學習方
機器學習系列(二)——迴歸模型
迴歸(Regression)模型是指機器學習方法學到的函式的輸出是連續實數值,迴歸模型可以用於預測或者分類,這篇部落格中主要整理用於預測的線性迴歸模型和多項式迴歸模型。 線性迴歸 按照機器學習建模的三個步驟,首先需要確定選用的模型,這裡就是線性迴歸(Li
Python 機器學習基礎(二)——Numpy 篇
本文是 Python 機器學習基礎系列文章的第二篇——Numpy 篇。 Numpy Numpy 是 Python 的一種開源數值計算擴充套件包,它可以用於儲存和處理大型矩陣,比 Python 自帶的巢狀列表結構要高效得多。 Numpy 陣列(Num
機器學習演算法(二)——決策樹分類演算法及R語言實現方法
決策樹演算法是分類演算法中最常用的演算法之一。決策樹是一種類似流程圖的樹形結構,可以處理高維資料,直觀易理解,且準確率較高,因此應用廣泛。本篇小博就決策樹的若干演算法:ID3演算法、C4.5演算法以及分類迴歸樹(CART)、C5.0進行對比介紹,並對比C4.5與C5.0處理
機器學習筆記(二)矩估計,極大似然估計
1.引數估計:矩估計 樣本統計量 設X1,X2…Xn…為一組樣本,則 - 樣本均值 : X¯¯¯=1n∑i=1nXi - 樣本方差:S2=1n−1∑i=1n(Xi−X¯¯¯
機器學習總結(二):梯度消失和梯度爆炸
神經網路的訓練過程通常分為兩個階段:前向傳播和反向傳播。 前向傳播如下圖所示,原理比較簡單 上一層的神經元與本層的神經元有連線,那麼本層的神經元的啟用等於上一層神經元對應的權值進行加權和運算,最後通過一個非線性函式(啟用函式)如ReLu,sigmoid等
構建機器學習專案(二)- ML strategy(2)
歡迎使用Markdown編輯器寫部落格 本Markdown編輯器使用StackEdit修改而來,用它寫部落格,將會帶來全新的體驗哦: Markdown和擴充套件Markdown簡潔的語法 程式碼塊高亮 圖片連結和圖片上傳 LaTex數學公式 UML序列
機器學習筆記(二)L1,L2正則化
2.正則化 2.1 什麼是正則化? (截自李航《統計學習方法》) 常用的正則項有L1,L2等,這裡只介紹這兩種。 2.2 L1正則項 L1正則,又稱lasso,其公式為: L1=α∑kj=1|θj| 特點:約束θj的大小,並且可以產