這是一篇Yahoo比較早期（08年）的使用機器學習模型來解決query-ad相關性的文章，deep learning還沒有流行起來，所以現在看起來還比較naive，看這篇主要是其中一處對position bias的處理。

全部文章的細節就不描述，對早期業界方法感興趣的可以看看，那時候猜測還沒有流行起來直接使用點選資料來作為label來計算點選率（文章中有背景介紹），其餘的其實跟現有框架的差不多，也是提特徵，然後訓練模型，只是現在的模型結構更復雜了些。

下面介紹下對position bias的處理。

考慮以下場景：使用者輸入了query，然後搜尋引擎返回了一頁結果，使用者會瀏覽並且點選感興趣的連結。

這樣一個場景屬於典型的存在position bias，假設有兩個廣告ad1和ad2，且ad1位於ad2的上面，若點選ad1但未點選ad2，並不能說明ad1是更相關的，可能僅僅是因為它在更上面。但如果使用者點選ad2但未點選ad1, 那我們就更有理由相信ad2比ad1更相關，利用這樣的假設，就可以組成pair對。文章中的構造方式如下：

右側每個陰影的地方構成block，每個block包括以下：最下面屬於代表被點選，而其上則是位置更靠上則沒有被點選的，然後在訓練的時候可以採用pair形式的訓練方式。

當然更具體的細節可以看原始論文，講的比較清楚。