一、資料探勘的建模過程：

1.1定義挖掘目標：

1.1.1動態的菜品推薦

1.1.2客戶進行細分，關注最有價值的客戶

1.1.3基於菜品的歷史銷售情況，對菜品銷量進行預測，預備原材料

1.1.4基於大資料，優化選址，菜式調整

1.2資料取樣

隨機抽樣，分類抽樣，等距抽樣

1.3資料探索

1.3.1異常值分析

1.3.2缺失值分析

1.3.3相關性分析

1.3.4週期性分析

1.4資料預處理

1.4.1缺失值處理

1.4.2異常值處理

1.4.3資料降維

1.5挖掘建模

1.5.1關聯規則：智慧推薦

1.5.2聚類演算法：客戶價值分析

1.5.3分類預測：菜品銷量，新店選址

1.6模型評價

SAS

SPSS

SQL SERVER

PYTHON

WEKA

KNIME

RAPIDMINER

TIPDM

#-*-coding:utf-8-*-#
import pandas as pd
catering_sale = 'catering_sale.xls'
data=pd.read_excel(catering_sale,index_col=u'日期')
print data.describe()
print len(data)
'''
count   200.000000
mean   2755.214700
std     751.029772
min      22.000000
25%    2451.975000
50%    2655.850000
 
75%    3026.125000
max    9106.440000
201
'''
import matplotlib.pyplot as plt #匯入影象庫
plt.rcParams['font.sans-serif'] = ['SimHei'] #用來正常顯示中文標籤
plt.rcParams['axes.unicode_minus'] = False #用來正常顯示負號
plt.figure() #建立影象
p = data.boxplot(return_type='dict') #畫箱線圖，直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'
 
即為異常值的標籤
y = p['fliers'][0].get_ydata()
y.sort() #從小到大排序，該方法直接改變原物件
#用annotate添加註釋
#其中有些相近的點，註解會出現重疊，難以看清，需要一些技巧來控制。
#以下引數都是經過除錯的，需要具體問題具體除錯。
for i in range(len(x)):
  if i>0:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
  else:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show() #展示箱線圖

#-*-coding:utf-8-*-#
import pandas as pd
'''
catering_sale = 'catering_sale.xls'
data = pd.read_excel(catering_sale)
data = data[(data[u'銷量']>400)&(data[u'銷量']<5000)]
statistics = data.describe()
'''
dish_profile='catering_dish_profit.xls'
data=pd.read_excel(dish_profile,index_col=u'菜品名')
data=data[u'盈利'].copy()
data.sort(ascending = False)

import matplotlib.pyplot as plt #匯入影象庫
plt.rcParams['font.sans-serif'] = ['SimHei'] #用來正常顯示中文標籤
plt.rcParams['axes.unicode_minus'] = False #用來正常顯示負號
#貢獻率分析--------帕累托法則，百分之八十的李瑞常常來自於百分之二十最暢銷的產品
plt.figure()
data.plot(kind='bar')
plt.ylabel(u'盈利(元)')
p = 1.0*data.cumsum()/data.sum()#累計的曲線圖
p.plot(color='r',secondary_y=True,style='-o',linewidth=2)
#第一個是值，第二個是目標位置，第三個是標記位置，最後一個是箭頭的樣式
plt.annotate(format(p[6], '.4%'), xy = (6, p[6]), xytext=(6*0.9, p[6]*0.9), arrowprops=dict(arrowstyle="->", connectionstyle="arc3,rad=.2")) #添加註釋，即85%處的標記。這裡包括了指定箭頭樣式。
plt.ylabel(u'盈利（比例）')
plt.show()

#-*- coding:utf-8 -*-
import pandas as pd
import numpy as np
'''
catering_sale='catering_sale_all.xls'
data=pd.read_excel(catering_sale)
print data.corr(method='spearman')
print data.corr()[u'百合醬蒸鳳爪']
print data[u'百合醬蒸鳳爪'].corr(data[u'翡翠蒸香茜餃'])
'''
data=pd.DataFrame(np.random.randn(6,5))
data2=pd.DataFrame([range(0,7),range(1,8)])
print data
print data2
s1=data2.loc[0]
s2=data2.loc[1]
print s1.corr(s2)

'''
cumsum
rolling_sum
'''
data=pd.Series(range(0,10))
print data
print data.cumsum()
print pd.rolling_sum(data,2)

#x=range(0,10)
x=np.linspace(0,10)
y=np.sin(x)
'''
plot
'''
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用來正常顯示中文標籤
plt.rcParams['axes.unicode_minus'] = False #用來正常顯示負號
plt.figure(1)
plt.plot(x,y,'b*--')
plt.show()
'''
pie
'''
plt.figure(2)
labels='Frogs','Hogs','Dogs','Logs'#標籤
sizes=[15,30,45,10]#每塊大小
colors=['yellowgreen','gold','lightskyblue','lightcoral']#每塊顏色
explode=[0,0.1,0,0]#突出顯示
plt.pie(sizes,explode=explode,labels=labels,colors=colors,autopct='%1.1f%%',shadow=True,startangle=90)
plt.axis('equal')#顯示為圓，避免壓縮顯示為橢圓
plt.show()

plt.figure(3)
x=np.random.randn(1000)
plt.hist(x,10)#第二個引數為間隔
plt.show()

plt.figure(4)
x=np.random.randn(1000)
D=pd.DataFrame([x,x+1]).T
D.plot(kind='box')
plt.show()

plt.figure(5)
x=pd.Series(np.exp(np.arange(200)))
x.plot(label=u'原始資料',legend=True)
plt.show()
x.plot(logy=True,label=u'對數資料圖',legend=True)
plt.show()

plt.figure(6)
error = np.random.randn(10)
y=pd.Series(np.sin(np.arange(10)))
print 'error:',error,'y:',y
y.plot(yerr = error)
plt.show()