因果推斷-解決推薦系統公平性的新思路
論文引入
近年來推薦系統公平性成為新的熱點，在所有解決公平性問題的方法中，因果推斷顯得格外靚眼。我們以論文《Recommendations as treatments: Debiasing learning and evaluation》[1]做為引入，來看看因果推斷是怎麼應用在推薦系統公平性研究中的。
改論文的思想如下：從因果推斷的角度看待推薦問題，我們可以認為在推薦系統中給使用者曝光某個商品類似於在醫學中給病人施加某種治 療方式。這兩個任務的共同點是，只知道少數病人(使用者)對少數治療方式(物品) 的反應，而大多數的病人-治療(使用者-物品)對的結果是觀察不到的。下圖是電影愛好者的評分情況。
第一行依次為：真實的評分矩陣\(Y\)
可以看到，我們只能統計到少數使用者給商品的評分。對於沒有被曝光的商品，我們將無法獲得其評分資料。
接下來我們定量地分析。使用者-物品可以全部觀測時的方法如下式所示，即理想狀況下的評測標準指標。\(\delta_{u,i}(Y, \hat{Y})\)可以取平方誤差、0-1誤差等。
使用者-物品對可以部分觀測時評測的方法如下式所示。
我們設\(\hat{R}_{naive}(\hat{Y})\)關於示性矩陣\(O\)的期望為\(E_O[\hat{R}_{naive}(\hat{Y})]\)
根據該論文所述，預測傾向分數可採用多種方法，如樸素貝葉斯、邏輯迴歸等。論文提出了一個基於傾向分數的矩陣分解模型（MF-IPS）用於推薦任務。分別在半合成的資料集和真實資料集上證明了IPSEstimator是對理想評測指標的無偏估計和MF-IPS模型效果優於傳統的矩陣分解演算法，達到了去除選擇偏差的目的。
偏差和不公平————基於ML的推薦演算法與生俱來的“原罪”
偏差和不公平可以說是基於ML的推薦演算法與生俱來的“原罪”，他本質上就暗藏在資料中（沒錯，資料是會騙人的），隨著機器學習演算法的執行而加劇。
目前在公平性領域，人們提出了包括但不限於下面的五種不公平和偏差的來源。
人口平等 解決方案: ①使用對抗學習去除使用者embeddings向量中的敏感資訊；或者更近一步，通過正交性正則化。②使有偏差使用者向量儘量正交於無偏差使用者向量，從而使兩者區分開來。
位置偏差 解決方案: 將其轉換為一個以排序質量做為約束條件的整數線性規劃(ILP)問題求解。
選擇偏差 解決方案: 可以採用因果推斷的角度，利用逆傾向分數 (IPS) 對觀察資料進行加權，構建一個對理想評測指標的無偏估計器 (傾向分數可以看作是每個資料被觀察到的概率)
曝光偏差 解決方案：同樣可以採用因果推斷的角度，給使用者曝光商品可以看做給病人施加藥物，只知道少數病人 (使用者) 對少數治療方式 (物品) 的反應。我們同樣可以基於傾向分數方法，構建無偏估計器。
流行度偏差 解決方案：可以採用基於正則化的內處理 (In-processing) 方法，採用使用者-物品對的預測分數和物品對應的流行度之間的皮爾遜相關係數作為正則項，通過最小化正則項和推薦誤差來消除偏差。也可以採取因果推斷的角度，分析得出物品流行度是曝光物品和互動之間的一個混淆因子，因此要消除流行度對物品曝光度的影響，但是須保留流行度對互動 (捕獲使用者的從眾心理) 的影響，即利用流行度差。
總體而言，我們可以發現目前提出的結局公平性問題的方法非常多樣化，反事實、因果推斷、混淆因子等概念正在強勢崛起。
偏差和不公平所產生的根本原因
前面我們說偏差和不公平本質上就暗藏在資料中，是因為在推薦系統中，由於使用者行為資料是觀察所得 (Observational) 而不是實驗所得 (Experimental)，因此會存在各種偏差，如使用者對物品的選擇偏差、系統對物品的曝光偏差等，直接拿模型擬合數據而忽視偏差會導致效能欠佳，在一定程度上也損害了使用者對推薦系統的體驗和信任，因此，去除推薦系統偏差已經成為推薦系統領域研究的一個新方向。
而單純基於ML的方法能徹底解決不公平問題嗎？這是一個我們不得不討論的問題。目前學術界採用的去除偏差的方法中，大多數還是在原有機器學習演算法上進行一定修改，通過修改目標函式、新增優化演算法約束、新增正則項等手段來達到去除偏差的目的。然而我們知道這些偏差本身就是ML演算法所導致的，這樣很難從本質上解決問題。
辛普森悖論
關於資料本身的偏差，有一個經典的辛普森悖論。這種現象可以體現為：在年輕和老年的病人群體中，藥物B相比藥物A都有著更高的痊癒率；但是當我們把這兩個群體結合起來會發現，藥物A的痊癒率會更高。如下圖所示:
後面我們從因果推斷的角度（Confounder）可以發現，悖論其實是由混淆因子導致的：當將所有群體一起比較時，大多數服用藥物A的人非常年輕，所以表格展示的比較不能排除年齡(age)這一混淆因子對痊癒率的影響。如下圖所示:
因果推理——通向智慧的階梯
圖靈獎得主Judea Pearl曾在NIPS 2017上做過一個彙報，彙報的主題是《Theoretical impediments to machine learning with seven sparks from the causal revolution》，著重介紹了因果推理對於實現強人工智慧的重要性。以下是彙報中闡述機器學習能力邊界的一頁PPT:
不過那個時候大家正忙著煉丹，這個報告也未能得到重視。不過現在隨著因果推斷在機器學習的各大領域得到了應用（包括了因果表徵學習和這裡在推薦系統公平性領域的應用），人們逐漸認識到了Pearl當初提出的幾點看法的重要性。
Pearl的PPT中還有一頁創新性地提出的智慧的三個階段，其中第一階段是“關聯”，也就是傳統統計學中的相關性，具體體現為“如果觀察到....，那麼....”；第二階段是“介入”，具體體現為“我做了....（進行干預)，那麼....”；第三階段為“反事實”，具體體現為“假如我做了...， 那麼...”。這三個階段如下圖所示：
中基於機器學習方法的人工智慧和普通動物在第一階段，原始人類（認知革命前的）和嬰兒在第二階段，現代人類在第三階段。可以看出，因果推理是通向智慧的階梯，而擁有“反事實”這一概念是人類進行認知革命的標誌。
Pearl在這裡引述了赫拉利在《人類簡史》中關於“獅人”雕塑的論述，這個雕塑表現的是一個在客觀世界不存在的事物，Pearl認為這個雕塑是人類最開始利用“反事實”進行推斷的表現。
因果推斷入門
下面簡要介紹一下因果推斷的重要概念。
(1) 三個步驟
一般而言，因果推斷包括以下三個重要的步驟：預測(prediction)，介入(intervention)和反事實(counterfactuals)。我們以下面這個因果圖為例：
其中\(P\)表示價格(Price)，\(Q\)表示需求（Demand），\(I\)表示收入(Income)，\(W\)表示工資(Wages)。其中我們定義以下符號：
- 已知價格為\(P=p_0\)的情況下，需求\(Q\)的期望值：\(E[Q|P=p_0]\)
- 當價格被設定為\(P=p_0\)時，需求\(Q\)的期望值：\(E[Q|do(P=p_0)]\)
- 給定現階段的價格\(P=p_0\)，如果我們將價格設定為\(P=p_1\)，需求\(Q\)的期望值：\(E[Q_P=p_1|P=p_0]\)
(2) 結構化因果模型(SCM)和因果關係之間的轉換
上面我們提到的因果圖為結構化因果模型(SCM)。SCM和因果關係之間可以相互轉換[3]。例如，下面(a)圖對應的因果關係為\(z=f_Z(u_Z), x=f_X(z,u_X), y=f_Y(x,u_Y)\)，（b）圖對應的因果關係為\(z=f_Z(u_Z), x=x_0, y=f_Y(x,u_Y)\)。這裡\(U_Z，U_X，U_Y\)相互獨立。
(3) 後門準則(back-door criterion)
我們已經知道了怎樣用因果圖來對因果關係進行建模，但最終我們仍然要落實到計算上。而計算的前提是我們需要將因果關係的概率表示式中的\(do\)運算元消去。Pearl提出了後門準則（back-door criterion）[4]，對於滿足一定條件的因果圖，可以將帶\(do\)運算元的概率表示式表示為不帶\(do\)運算元的概率表示式。接下來我們簡要介紹一下後門準則。
在SCM中，如果一條無向連線X和Y的路徑有一條指向X的箭頭，我們把這條路徑稱為從X到Y的後門路徑。如果後門路徑存在，實際結果中可能出現虛假的統計相關性。
當一個變數集合S符合以下兩個條件時，我們稱S符合後門準則：
- S中不包括 X的後代。
- S能d分割所有從 X到Y的後門路徑。
在下圖中，\(\{Z_1,Z_2,Z_3\}\),\(\{Z_1,Z_3\}\)等集合都滿足後門準則，但\(\{Z_3\}\)不滿足後門準則。
後門推導告訴我們，如果\(S\)滿足從\(X\)到\(Y\)的後門準則，那麼我們可以將\(do\)運算元消去，得到概率表達的公式：
\[\begin{matrix} P(Y=y|do(X=x), S=s)=P(Y=y|X=x, S=s)\\ P(Y=y|do(X=x))=∑_sP(Y=y|X=x, S=s)P(S=s)= ∑_s \frac{P(Y=y, X=x, S=s)}{P(X=x, S=s)} \end{matrix} \]去除混淆因子舉例
因果推斷還有一種典型應用是去除混淆因子。在論文《Causal Intervention for Leveraging Popularity Bias in
Recommendation》 [5] 中就應用了這種思想。該論文從因果推斷的角度出發，分析得出物品流行度是曝光物品和互動 之間的一個混淆因子 (Confounder)，因此要消除流行度對物品曝光度的影響，但 是須保留流行度對互動 (捕獲使用者的從眾心理) 的影響，即利用流行度偏差。具體流程如下圖所示：
(其中\(I\)表示使用者，\(U\)表示曝光物品，\(C\)表示互動概率，\(Z\)表示物品流行度。我們將\(Z\)定義為\(I\)和\(C\)之間的混淆因子，並在訓練階段消除混淆因子影響，採用\(P（C|do(U,I)）\)作為興趣匹配)
研究計劃
目前我初步確定了因果推斷作為未來的研究方向，我擬定的研究計劃如下：
- 瞭解概率圖模型知識 這方面可閱讀 Koller D和Friedman N寫的《Probabilistic graphical models: principles and techniques》[6]。
- 系統學習因果推斷知識 這方面可閱讀 Pearl J.寫的《Causality》[4]。
- 閱讀在推薦系統公平性中+因果推斷的論文 這方面可關注頂會論文。ICML、SIGIR、WSDM、WWW等頂會近年來都有大量將因果推斷與推薦系統的偏差/公平性相結合的論文。
- 論文復現與實驗 在論文復現過程中，可充分利用因果推斷相關的開源庫，比如dowhy[7]、causal ML[8]、EconML [9] 等。
開源庫介紹
下面簡要介紹一下因果推斷的開源庫及其特色。
(1) Dowhy
語言: Python
支援方法: 傾向迴歸分層&匹配、逆傾向加權、迴歸方法
(2) Causal ML
語言: Python
支援方法: 基於樹的方法、元學習方法
(3) EconML
語言: Python
支援方法: 雙重穩健估計器、正交隨機森林、元學習方法、深度工具變數
(3) CausalToolbox
語言: R
支援方法: 貝葉斯可加回歸樹、因果森林、基於樹的元學習器
參考文獻
- [1] Schnabel T, Swaminathan A, Singh A, et al. Recommendations as treatments: Debiasing learning and
evaluation[C]//international conference on machine learning. PMLR, 2016: 1670-1679. - [2] Pearl J. Theoretical impediments to machine learning with seven sparks from the causal revolution[J].
arXiv preprint arXiv:1801.04016, 2018. - [3] Spirtes P. Introduction to causal inference[J]. Journal of Machine Learning Research, 2010, 11(5).
- [4] Pearl J. Causality[M]. Cambridge university press, 2009.
- [5] Zhang Y, Feng F, He X, et al. Causal Intervention for Leveraging Popularity Bias in
Recommendation[J]. arXiv preprint arXiv:2105.06067, 2021. - [6] Koller D, Friedman N. Probabilistic graphical models: principles and techniques[M]. MIT press, 2009.
- [7] https://microsoft.github.io/dowhy/
- [8] https://causalml.readthedocs.io/en/latest/about.html
- [9] https://econml.azurewebsites.net/