一個完整的資料探勘模型，最後都要進行模型評估，對於二分類來說，AUC，ROC這兩個指標用到最多，所以 利用sklearn裡面相應的函式進行模組搭建。

具體實現的程式碼可以參照下面博友的程式碼，評估svm的分類指標。注意裡面的一些細節需要注意，一個是呼叫roc_curve 方法時，指明目標標籤，否則會報錯。具體是這個引數的設定pos_label ，以前在unionbigdata實習時學到的。

重點是以下的程式碼需要根據實際改寫：

    mean_tpr = 0.0  
    mean_fpr = np.linspace(0, 1, 100)  
    all_tpr = []
    
    y_target = np.r_[train_y,test_y]
    cv = StratifiedKFold(y_target, n_folds=6)

        #畫ROC曲線和計算AUC
        fpr, tpr, thresholds = roc_curve(test_y, predict,pos_label = 2)##指定正例標籤，pos_label = ###########在數之聯的時候學到的，要制定正例
        
        mean_tpr += interp(mean_fpr, fpr, tpr)          #對mean_tpr在mean_fpr處進行插值，通過scipy包呼叫interp()函式  
        mean_tpr[0] = 0.0                               #初始處為0  
        roc_auc = auc(fpr, tpr)  
        #畫圖，只需要plt.plot(fpr,tpr),變數roc_auc只是記錄auc的值，通過auc()函式能計算出來  
        plt.plot(fpr, tpr, lw=1, label='ROC  %s (area = %0.3f)' % (classifier, roc_auc)) 
 

1. # -*- coding: utf-8 -*-
2. """ 
3. Created on Sun Apr 19 08:57:13 2015 
4. @author: shifeng 
5. """
6. print(__doc__)  
7. import numpy as np  
8. from scipy import interp  
9. import matplotlib.pyplot as plt  
10. from sklearn import svm, datasets  
11. from sklearn.metrics import roc_curve, auc  
12. from sklearn.cross_validation 
    import StratifiedKFold  
13. ###############################################################################
14. # Data IO and generation,匯入iris資料，做資料準備
15. # import some data to play with
16. iris = datasets.load_iris()  
17. X = iris.data  
18. y = iris.target  
19. X, y = X[y != 2], y[y != 2]#去掉了label為2，label只能二分，才可以。
20. n_samples, n_features = X.shape  
21. # Add noisy features
22. random_state = np.random.RandomState(0)  
23. X = np.c_[X, random_state.randn(n_samples, 200 * n_features)]  
24. ###############################################################################
25. # Classification and ROC analysis
26. #分類，做ROC分析
27. # Run classifier with cross-validation and plot ROC curves
28. #使用6折交叉驗證，並且畫ROC曲線
29. cv = StratifiedKFold(y, n_folds=6)  
30. classifier = svm.SVC(kernel='linear', probability=True,  
31.                      random_state=random_state)#注意這裡，probability=True,需要，不然預測的時候會出現異常。另外rbf核效果更好些。
32. mean_tpr = 0.0
33. mean_fpr = np.linspace(0, 1, 100)  
34. all_tpr = []  
35. for i, (train, test) in enumerate(cv):  
36.     #通過訓練資料，使用svm線性核建立模型，並對測試集進行測試，求出預測得分
37.     probas_ = classifier.fit(X[train], y[train]).predict_proba(X[test])  
38. #    print set(y[train])                     #set([0,1]) 即label有兩個類別
39. #    print len(X[train]),len(X[test])        #訓練集有84個，測試集有16個
40. #    print "++",probas_                      #predict_proba()函式輸出的是測試集在lael各類別上的置信度，
41. #    #在哪個類別上的置信度高，則分為哪類
42.     # Compute ROC curve and area the curve
43.     #通過roc_curve()函式，求出fpr和tpr，以及閾值
44.     fpr, tpr, thresholds = roc_curve(y[test], probas_[:, 1])  
45.     mean_tpr += interp(mean_fpr, fpr, tpr)          #對mean_tpr在mean_fpr處進行插值，通過scipy包呼叫interp()函式
46.     mean_tpr[0] = 0.0#初始處為0
47.     roc_auc = auc(fpr, tpr)  
48.     #畫圖，只需要plt.plot(fpr,tpr),變數roc_auc只是記錄auc的值，通過auc()函式能計算出來
49.     plt.plot(fpr, tpr, lw=1, label='ROC fold %d (area = %0.2f)' % (i, roc_auc))  
50. #畫對角線
51. plt.plot([0, 1], [0, 1], '--', color=(0.6, 0.6, 0.6), label='Luck')  
52. mean_tpr /= len(cv)                     #在mean_fpr100個點，每個點處插值插值多次取平均
53. mean_tpr[-1] = 1.0#座標最後一個點為（1,1）
54. mean_auc = auc(mean_fpr, mean_tpr)      #計算平均AUC值
55. #畫平均ROC曲線
56. #print mean_fpr,len(mean_fpr)
57. #print mean_tpr
58. plt.plot(mean_fpr, mean_tpr, 'k--',  
59.          label='Mean ROC (area = %0.2f)' % mean_auc, lw=2)  
60. plt.xlim([-0.05, 1.05])  
61. plt.ylim([-0.05, 1.05])  
62. plt.xlabel('False Positive Rate')  
63. plt.ylabel('True Positive Rate')  
64. plt.title('Receiver operating characteristic example')  
65. plt.legend(loc="lower right")  
66. plt.show()