1.資料探索

1.1資料描述統計以及相關係數分析

import numpy as np
import pandas as pd
inputfile = 'data.csv' #輸入的資料檔案
data = pd.read_csv(inputfile) #讀取資料
r = [data.min(), data.max(), data.mean(), data.std()] #依次計算最小值、最大值、均值、標準差
r = pd.DataFrame(r, index = ['Min', 'Max', 'Mean', 'STD']).T  #計算相關係數矩陣
print("描述統計分析結果：\n",np.round(r, 2)) #
 
保留兩位小數
print("相關係數矩陣：\n",np.round(data.corr(method = 'pearson'), 2)) #計算相關係數矩陣，保留兩位

1.2 繪製相關性熱力圖

#相關性熱力圖
import matplotlib.pyplot as plt
import seaborn as sns
plt.subplots(figsize=(16,9))
correlation_mat = data.corr()
sns.heatmap(correlation_mat, annot=True, cbar=True, square=True, fmt='.2f', annot_kws={'
 
size': 10})
plt.show()

可知x11對其影響最小。

2.灰色預測演算法+SVR演算法

2.1 losso 迴歸選取

import numpy as np
import pandas as pd
from sklearn.linear_model import Lasso

inputfile = 'data.csv'  # 輸入的資料檔案
data = pd.read_csv(inputfile)  # 讀取資料
lasso = Lasso(1000)  # 呼叫Lasso()函式，設定λ的值為1000
lasso.fit(data.iloc[:,0:13],data['y'
 
])
print('相關係數為：',np.round(lasso.coef_,5))  # 輸出結果，保留五位小數

print('相關係數非零個數為：',np.sum(lasso.coef_ != 0))  # 計算相關係數非零的個數

mask = lasso.coef_ != 0  # 返回一個相關係數是否為零的布林陣列
print('相關係數是否為零：',mask)
mask=np.append(mask,True)
outputfile ='new_reg_data.csv'  # 輸出的資料檔案
new_reg_data = data.iloc[:, mask]  # 返回相關係數非零的資料
new_reg_data.to_csv(outputfile)  # 儲存資料
print('輸出資料的維度為：',new_reg_data.shape)  # 檢視輸出資料的維度

2.2 構建灰度預測模型並預測

import sys
sys.path.append('code')  # 設定路徑
import numpy as np
import pandas as pd
from GM11 import GM11  # 引入自編的灰色預測函式

inputfile1 = 'new_reg_data.csv'  # 輸入的資料檔案
inputfile2 = 'data.csv'  # 輸入的資料檔案
new_reg_data = pd.read_csv(inputfile1)  # 讀取經過特徵選擇後的資料
data = pd.read_csv(inputfile2)  # 讀取總的資料
new_reg_data.index = range(1994, 2014)
new_reg_data.loc[2014] = None
new_reg_data.loc[2015] = None
l = ['x1', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x13']
for i in l:
  f = GM11(new_reg_data.loc[range(1994, 2014),i].values)[0]
  new_reg_data.loc[2014,i] = f(len(new_reg_data)-1)  # 2014年預測結果
  new_reg_data.loc[2015,i] = f(len(new_reg_data))  # 2015年預測結果
  new_reg_data[i] = new_reg_data[i].round(2)  # 保留兩位小數
outputfile = 'new_reg_data_GM11.xls'  # 灰色預測後儲存的路徑
y = list(data['y'].values)  # 提取財政收入列，合併至新資料框中
y.extend([np.nan,np.nan])
new_reg_data['y'] = y
new_reg_data.to_excel(outputfile)  # 結果輸出
print('預測結果為：\n',new_reg_data.loc[2014:2015,:])  # 預測結果展示

2.3 構建SVR迴歸預測模型

import matplotlib.pyplot as plt
from sklearn.svm import LinearSVR

inputfile = 'new_reg_data_GM11.xls'  # 灰色預測後儲存的路徑
data = pd.read_excel(inputfile)  # 讀取資料
feature = ['x1', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x13']  # 屬性所在列
data_train = data.iloc[0:20].copy()  # 取2014年前的資料建模
data_mean = data_train.mean()
data_std = data_train.std()
data_train = (data_train - data_mean)/data_std  # 資料標準化
x_train = data_train[feature].values  # 屬性資料
y_train = data_train['y'].values # 標籤資料

linearsvr = LinearSVR()  # 呼叫LinearSVR()函式
linearsvr.fit(x_train,y_train)
x = ((data[feature] - data_mean[feature])/data_std[feature]).values  # 預測，並還原結果。
data['y_pred'] = linearsvr.predict(x) * data_std['y'] + data_mean['y']
outputfile = 'new_reg_data_GM11_revenue.xls'  # SVR預測後儲存的結果
data.to_excel(outputfile)

print('真實值與預測值分別為：\n',data[['y','y_pred']])

fig = data[['y','y_pred']].plot(subplots = True, style=['b-o','r-*'])  # 畫出預測結果圖
plt.show()

經過模型建立後，所得的2014和2015預測收入為：

2014  NaN 2187.364382
2015  NaN 2538.384794

 3.ARIMA模型

3.1資料讀取

import numpy as np
import pandas as pd
inputfile = 'data.csv' #輸入的資料檔案
data = pd.read_csv(inputfile) #讀取資料

3.2時序圖和自相關圖

# 時序圖
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用來正常顯示中文標籤
plt.rcParams['axes.unicode_minus'] = False  # 用來正常顯示負號
data.plot()
plt.show()

# 自相關圖
from statsmodels.graphics.tsaplots import plot_acf
plot_acf(data['y']).show()

3.3 平穩性檢測

# 平穩性檢測
from statsmodels.tsa.stattools import adfuller as ADF
print('原始序列的ADF檢驗結果為：', ADF(data['y']))
# 返回值依次為adf、pvalue、usedlag、nobs、critical values、icbest、regresults、resstore
# 差分後的結果
D_data = data.diff().dropna()
feature = ['x1', 'x2', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x9', 'x10', 'x11', 'x12', 'x13', 'y']  # 屬性所在列
D_data.columns = feature
D_data.plot()  # 時序圖
plt.show()
plot_acf(D_data['y']).show()  # 自相關圖
from statsmodels.graphics.tsaplots import plot_pacf
plot_pacf(D_data['y']).show()  # 偏自相關圖
print('差分序列的ADF檢驗結果為：', ADF(D_data['y']))  # 平穩性檢測

3.4白噪聲檢驗

# 白噪聲檢驗
from statsmodels.stats.diagnostic import acorr_ljungbox
print('差分序列的白噪聲檢驗結果為：', acorr_ljungbox(D_data['y'], lags=1))  # 返回統計量和p值

3.5結果預測

from statsmodels.tsa.arima_model import ARIMA

# 定階
data['y'] = data['y'].astype(float) 
pmax = int(len(D_data)/10)  # 一般階數不超過length/10
qmax = int(len(D_data)/10)  # 一般階數不超過length/10
bic_matrix = []  # BIC矩陣
for p in range(pmax+1):
  tmp = []
  for q in range(qmax+1):
    try:  # 存在部分報錯，所以用try來跳過報錯。
      tmp.append(ARIMA(data['y'], (p,1,q)).fit().bic)
    except:
      tmp.append(None)
  bic_matrix.append(tmp)

bic_matrix = pd.DataFrame(bic_matrix)  # 從中可以找出最小值

p,q = bic_matrix.stack().idxmin()  # 先用stack展平，然後用idxmin找出最小值位置。
print('BIC最小的p值和q值為：%s、%s' %(p,q)) 
model = ARIMA(data['y'], (p,1,q)).fit()  # 建立ARIMA(0, 1, 1)模型
print('模型報告為：\n', model.summary2())
print('預測未來2年，其預測結果、標準誤差、置信區間如下：\n', model.forecast(2))

4、結論

綜上，灰色預測演算法+SVR演算法預測結果更好。