巢狀交叉驗證(nested cross validation)選擇演算法（外迴圈通過k折等進行引數優化，內迴圈使用交叉驗證），對特定資料集進行模型選擇。Varma和Simon在論文Bias in Error Estimation When Using Cross-validation for Model Selection中指出使用巢狀交叉驗證得到的測試集誤差幾乎就是真實誤差。

巢狀交叉驗證外部有一個k折交叉驗證將資料分為訓練集和測試集，內部交叉驗證用於選擇模型演算法，其中就是外部使用cross_val_score，內部使用GridSearchCV調參

下圖演示了一個5折外層交叉沿則和2折內部交叉驗證組成的巢狀交叉驗證，也被稱為5*2交叉驗證：

from sklearn.tree import DecisionTreeClassifier
from sklearn import datasets    #自帶資料集
from sklearn.model_selection import train_test_split,cross_val_score    #劃分資料 交叉驗證
import matplotlib.pyplot as plt
iris = datasets.load_iris()        #載入sklearn自帶的資料集
x = iris.data             #這是資料
y = iris.target         #
 
這是每個資料所對應的標籤
gs = GridSearchCV(estimator=DecisionTreeClassifier(random_state=0),
                  param_grid=[{'max_depth': [1, 2, 3, 4, 5, 6, 7, None]}],
                  scoring='accuracy',
                  cv=2)
scores = cross_val_score(gs, x, y, scoring='accuracy', cv=5)
print('CV accuracy: %.3f +/- %.3f
 
' % (np.mean(scores), np.std(scores)))

CV accuracy: 0.967 +/- 0.030