產品健康度模型之打分I

　　在這個專案上，大家可能會發現，很多做法比較主觀，但是原因我認為”健康度“本身就是一個主觀概念，哪裡去找真正的”產品健康度“呢？這和離網使用者分析就形成了鮮明的對比，離網使用者預測準確率就是一個客觀數值，而健康度打分，什麼是好，什麼是不好，很難界定（如果真的需要所謂實際值，那就需要大量的調研反饋，那對企業來說又是不可接受的），所以說問題本身很難形式化成一個典型的機器學習問題——這也是我在這個專案中最困擾的地方。
　　但是，在處理的時候，我們在經驗範圍內不做蠢事，這就是最好的結果啦——但求問心無愧唄！

根據指標記錄打分

　　按照對方的要求，我們還是需要根據每個指標給出一個打分（也就是說對於新來的指標值，要給出其打分）。
　　這裡舉一個實際的例子，比如對於簡訊接收延時這個指標（現在我們僅僅考慮只有一個使用者），比如第一期指標有三個值d

11,d12,d13，dxy表示第x期的第y個指標，比如還有第二期的指標 d21,d22,d23,d24，以及第三期的指標 d31,d32，這裡一期指標是指一次性入庫的指標（由於指標資料量太大，往往會將一部分暫存在伺服器上，然後批次的上傳到叢集之上）。現在來了一個新的實時指標值dnew，怎麼用該指標進行打分呢？
　　首先一點，技術人員告訴我們（不告訴也可以想見）簡訊接收的延時是越小越好，也就是說這個指標和健康度在大小上是負相關的。
　　然後我們怎麼根據一系列的歷史值來給出現在的打分呢？接下來我們要明確兩個要點和一個觀察。

打分的要點和觀察

　　要點一，利用歷史記錄進行打分，也就是說從指標值到分數的打分對映要從歷史記錄中算出來。
　　要點二，不能存在滿分和零分的情況，因為如果出現了比滿分值更好或者更壞的情況，分數豈不是要溢位？也就是說，對於“極好”的指標值，我們可以給一個接近滿分的打分，但是不能打滿分。並且要交代的是，這邊的模型不是“線上”的，也就是，實時產生的指標並不參與打分對映的建模，我們用來建立打分對映的只能是庫中的n

期指標。
　　觀察：使用者對指標變化造成的感知不是均勻變化的，這裡我們用一張表來闡述這個問題：

延時（s）	0.2	0.5	0.9	1.2	3.0	5.7	8.5	10.2	15.6	23.8	38.9	78.0	126.9	230.2	328.7
打分	4.8	4.8	4.6	4.3	3.9	3.6	3.2	2.8	2.8	2.7	2.7	2.6	2.5	2.5	2.2

　　從表中我們可以看出，延時的變化導致打分的變化並不是均勻的，1s——10s這一段區間是“敏感區”，不管是從1s變化到3s，還是6s變化到8s，使用者對延時的變化都很敏感，而到了10秒往後，使用者的體驗變化就不那麼敏感了，即使是幾十秒的延時差距，使用者的打分變化不大。如下圖：
　　

　　從使用者的角度分析，我們可以這樣理解：當延時在10秒以內的時候，使用者對延時的感知比較敏感，而過了這個區間，使用者的感覺反正是延時太大，幾十秒到幾分鐘的時差對使用者來說反而不重要了：
　　
　　這裡我們為什麼要從使用者體驗的角度去分析呢，因為唯一可能和使用者的營銷指標（使用量，消費量）相關的就是使用者的使用體驗，當然，其他因素一是不可控，而是在運維指標中也無從反映。
　　不難看出，指標值和打分分值的曲線類似於一個三次曲線，但是如果我們真的用三次曲線去模擬存在兩個缺陷：1. 沒有打分樣本進行建模，2. 並不是所有的指標都存在這種模式。
　　我們考慮的做法是擬合樣本的分佈來打分：分值就是樣本的積分值，這樣做滿足了要點一和要點二了，但是怎麼滿足我們對使用者指標敏感度的觀察呢？
　　在指標分析的過程中我們發現一個規律：使用者對指標敏感的區域，往往也是使用者指標分佈比較密集的區域。
　　比如對於簡訊延時指標，其概率分佈如下圖：
　　
　　更多的指標分佈滿足這樣的分佈：
　　
　　對概率密度進行積分，我們可以返現其大概的形狀都是：
　　
　　上面的圖和我們的打分圖的形狀已經很相似了，如果考慮到指標和使用者滿意度的負相關關係，把圖做一下左右手的映象，就是一樣的曲線了。
　　這裡之所以說“大概的形狀”，是因為對於我們的簡訊時間延時的例子，指標值較小時對應的平坦的部分就是不存在的，其概率密度積分函式如下圖：
　　
　　但是該圖作為打分函式的近似也是可以的，為什麼呢？——還是敏感區域的問題，因為真正會影響健康度的就是敏感區域的指標變化，那麼如果我們的模型對敏感區域足夠敏感就行（而敏感區域的樣本密度大這一特性保證了這一性質的成立），至於其他區域的打分，只要滿足正負的相關關係以及不要讓模型打分溢位就行了。

核密度估計

　　我們的思想已經明確，擬合樣本的分佈，然後計算概率密度的積分，然後用積分作為打分（當然要配合正負相關的知識）。
　　當然，還不能出現滿分的情況，這裡我們選擇的方法是“核密度估計”（kernel density estimation），也叫Parzen窗方法。其具體內容可以參照維基百科。
　　為了說明問題，我們還是把公式放上來：
　　(x1,x2,…,xn)是獨立的資料樣本，隸屬於概率密度函式ƒ. 我們現在要估計的就是ƒ，那麼他的核函式估計函式就是：
　　f^h(x)=1n∑ni=1Kh(x−xi)=1nh∑ni=1K(x−xih)
　　其中h是頻寬，而Kh(x)=1/hK(x/h)是核函式，頻寬的實際理想估計值是：
　　
　　這裡需要說明的是，為了防止分數溢位，我們選擇的是高斯核函式，至於頻寬，我們選擇是相對來說較小的頻寬（理想值的1/8）——因為太大的頻寬將會使我們損失更多的樣本分佈的資訊，而由於樣本量很大，我們並不怕模型產生多大的variance。

總結

　　利用基於高斯核函式的核密度估計，我們就滿足了所有打分的要點和觀察。