1.A Click Sequence Model for Web Search（日誌分析）

更好的理解用戶行為對於推動信息檢索系統來說是非常重要的。已有的研究工作僅僅關註於建模和預測一次交互行為，例如點擊行為。本文首次關註建模和預測交互事件序列。具體來講就是點擊序列（Sequences of clicks）。我們對點擊序列預測的問題形式化，並提出了Click Sequence Model (CSM)來預測用戶與搜索引擎返回結果的交互順序。基於神經網絡，CSM本質上是一個編碼-解碼的架構。Encoder計算返回結果的嵌入；Decoder預測點擊結果的位置順序；Attention機制用來抽取每個時間步與結果相關的必要信息。參數的學習是通過最大化觀測到的點擊序列的似然函數得到。我們通過三個新任務來驗證CSM的有效性：(i)預測點擊序列；(ii)預測點擊次數；(iii)預測用戶是否會以搜索引擎結果頁面（Search Engine Result Page,SERP）所呈現的返回結果的順序來與之交互。除此之外，我們還驗證了CSM在傳統的點擊預測任務（預測一個無序的點擊數據的集合）中的性能，達到了與state-of-the-art方法相媲美的結果。

p.s.:沒太關註這個問題，選到這篇paper僅僅因為它是sequence

2. Dynamic Shard Cutoff Prediction for Selective Search (Prediction)

選擇性搜索（Selective Search）采用資源選擇算法，如Rank-S或Taily算法來排序，進一步決定對於給定的查詢需要搜索多少片段。以前的大多數工作主要評價這些解決方案的改善對效率的改善能力，而忽略精確度的降低（reducing early-precision metrics such as P@5 and NDCG@10）。本文試圖將選擇性搜索（Selective Search）歸結為早期的多步檢索框架，這種框架對於面向召回率的評價更為合適。本文提出了一個新的算法來預測為了達到召回率的目標需要檢索的片段的數目。將片段排序與決定檢索的片段數目解耦和便於澄清效率與性能之間的折中，使得它們能獨立被優化。兩個語料庫上的實驗結果體現了該方法的價值。

p.s.：沖著selective search與Jamie Callan去的

3. Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks (Prediction)

多元時間序列預測（Multivariate Time Series Forcasting）是在很多領域都是一個非常重要的機器學習的問題，例如太陽能能力輸出，電量消費，以及交通擁堵狀況等。在這些實際應用場景中出現的時序數據涉及到長期與短期模式的混合，所以傳統的方法例如自回歸模型以及高斯過程都失效。為了解決這個挑戰，本文提出了一個新穎的深度學習框架，稱為長短期時間序列網絡（Long- and Short-term Time Series Network， LSTNet）。LSTNet使用卷積神經網絡(CNN)以及循環神經網絡(RNN)來抽取變量間的短期（short-term）局部依賴模式，發現時間序列的長期依賴模式。更進一步，我們使用傳統的自回歸模型來解決神經網絡模型的量級不敏感的問題（scale insensitive problem）。在真實數據（重復模式的復雜組合）上進行評價，LSTNet顯著優於state-of-the-art的baseline方法。所有的數據及實驗代碼可供在線下載。

p.s.:如何理解long-term以及short-term需要進一步閱讀。

4. Learning a Deep Listwise Context Model for Ranking Refinement (Learning to Rank I)

排序學習（Learning to Rank）已經被大量研究以及廣泛應用到信息檢索（Information Retrieval）中。一般來講，從標註數據集合中學到的是一個全局的排序函數（a global ranking function），這種全局排序函數可以取得平均意義下的好的性能，但對於每個查詢得到的性能可能並非最優的。造成這種現象的原因在於不同查詢的相關文檔可能在特征空間具有不同的分布。受偽相關反饋的啟發，我們提出了使用排在前面的檢索結果的內在特征分布來學習一個深度列表式背景模型（Deep Listwise Context Model），這樣有助於對初始的排序列表進行微調。所謂偽相關反饋是指排在前面的那些文檔（又稱為局部排序背景（local ranking context））能夠提供關於具體某個查詢的特點的非常重要的信息。具體來講，我們使用循環神經網絡（Recurrent Neural Network）來對排序靠前的結果的特征向量依次編碼，學到一個局部的背景模型（local context model），使用它對排序靠前的結果進行重排。該模型的貢獻主要在於以下三點：（1) 基於排序靠前的結果間的復雜的交互模式，使用深度神經網絡捕捉到局部排序背景（local ranking context）。（2）該模型直接使用抽取的特征向量來采用排序學習得到模型。（3) 模型采用基於註意力機制的損失函數（Attention-Based loss function）來訓練，這種損失函數比已有的列表式方法的損失函數更高效。實驗在標準的檢索語料庫上進行，結果表明該模型顯著由於state-of-the-art排序學習模型（LambdaMART,RankSVM,SoftRank, ListMLE）。

p.s.:。。。

5. Efficient Exploration of Gradient Space for Online Learning to Rank (Learning to Rank I)

在線排序學習（Online Learning to Rank）根據從用戶那直接收集的隱式反饋來優化返回檢索結果的效用函數。在線排序學習為了改善當前的估計結果，通常檢查一個或多個探索的梯度方向，若通過交叉測試發現新的方向用戶更喜歡則更新當前的排序模型。本文通過高效的探索梯度空間來加速在線學習的過程。本文提出的Null Space Gradient Descent將探索的空間縮減到最近性能不佳的梯度的零空間(the null space of recent poorly performing gradients)。這樣做可以防止算法不斷搜索那些已經不被看好的梯度方向。為了改善交叉測試的結果的敏感度，本文選擇性的構建候選排序模型來最大化當前查詢中候選排序文檔的可微的可能性。當對比的排序模型發生不分勝負的情況時，本文使用以前比較困難的查詢來識別最優的排序模型。通過在公開標準數據集上的與state-of-the-art的在線排序學習算法證明了本文提出的方法在快速收斂和排序結果質量方面的有效性。

p.s.:沖著LTR去的，對online不在現階段的考慮範圍

6. Selective Gradient Boosting for Effective Learning to Rank (Learning to Rank I)

從大量的查詢-文檔實例中學習到一個高效的排序函數是一個具有挑戰性的任務。為了建模搜索引擎系統中真實場景（一個查詢通常需要檢索大量的待匹配文檔，但真正相關的是少數），通常需要構建包含查詢及其少數相關文檔與大量不相關文檔的訓練集。本文提出的Selective Gradient Boosting (SelGB)算法解決了排序學習任務中將關註點放在很大可能誤排序的不相關文檔上的問題，因為這成為學到的排序模型質量改善的障礙。SelGB算法采用一個新的技術來最小化誤排序的風險，也就是說兩個隨機采樣的文檔被誤排序的概率，在一個梯度提升的過程中叠代的產生加性決策樹集合（Iteratively generate an additive ensemble of decision trees）。SelGB選擇性的使用訓練實例，使用少量的阜陽裏來增強模型的區分能力。本文在公開的數據集上進行了大量可復現的實驗，結果表明SelGB利用選擇好的多種多樣的負樣例來訓練樹模型的集合，這樣得到的模型性能優於state-of-the-art的算法的性能，在NDCG@10指標上性能提升3.2%。

p.s.:依舊learning to rank

7. Target Apps Selection: Towards a Unified Search Framework for Mobile Devices (App Search & Recommendation)

隨著對話系統與智能助理的飛速發展，如Apple Siri以及Google Assistant，移動設備在日常生活中越來越普及。因此，用戶頻繁的與app的交互以及在app內搜索需要的信息。然而，用戶並不能通過智能助理搜索app內部的信息。這需要一個統一的移動搜索框架（unified mobile search framework）來識別用戶提交查詢的目標app（step1），並將該查詢提交給該app（step2），將搜索結果展示給用戶（step3）。本文首先嘗試開發統一的移動搜索框架的第一步。具體來講，本文引入並研究了目標app選擇（target apps selection）任務，這個任務在現實世界中有很多應用場景。為此本文分析查詢及用戶在不同app中檢索行為的屬性。本文對從眾包平臺獲取的上千個查詢進行分析。最後，本文研究了state-of-the-art的檢索模型應用到這個任務上的性能，並提出了兩個簡單有效的神經網絡模型來顯著改善了baseline方法。本文的神經網絡方法主要用於學習移動app的高維表示。本文的分析及實驗都表明了這個領域的未來的發展方向。

p.s.:沖著app和search

8. Conversational Recommender System (Conversational Systems)

個性化的對話銷售代理可能具有非常大的商業潛能。電商公司如Amazon，eBay，JD，Alibaba等都在展開這類的與用戶交流的代理的研究。然而，關於這個話題的研究工作非常有限，已有的解決方案要麽是基於單輪的自組織搜索引擎（single round adhoc search engine），要麽是傳統的多輪對話系統（multi round dialog system）。他們通常僅使用用戶在當前會話（session）的輸入，忽略用戶長期的偏好（users‘ long term preferences）。從另一方面講，眾所周知的銷售轉換率（sales convesion rate）借助推薦系統有了很大的提升，這裏的推薦系統就是從過去的購買行為中學習到用戶的偏好，進而使得一些商業指標最優化，如轉換率（conversion rate）或期望受益（expected revenue）。本文提出將對話系統（dialog systems）與推薦系統（recommender systems）融合成一個新型的統一的深度增強學習框架，進而構建一個個性化的對話推薦代理（conversational recommendation agent），以期優化每個session的效用函數。

具體來講，本文提出將用戶的對話歷史表示為一個半結構化的分面-值對的形式的查詢（a semi-structured query with facet-value pairs）。信念追蹤器（Belief tracker）分析用戶在每步的自然語言陳述，生成這樣的半結構化的用戶查詢。本文提出了一個適用於推薦代理的機器行為的操作集，訓練這樣的一個深度策略網絡（deep policy network）來決定代理應該在每步采取哪個行動（詢問分面的值或推薦）。當預測評分和做推薦的時候，本文使用用戶以往的打分數據以及當前session中收集的用戶查詢來訓練個性化的推薦模型。這樣的對話系統經常通過提問來收集用戶偏好。一旦收集到了足夠的用戶偏好，就可以為用戶做個性化推薦。為了展示所提框架的性能，既做了仿真實驗，又做了真實在線用戶調研。

9. Chat More: Deepening and Widening the Chatting Topic via A Deep Model (Conversational Systems)

過去的十年裏，人機交互，特別是通過對話系統，獲得了蓬勃的發展。本文研究開放領域中多輪對話系統的回復生成任務（response generation task in open-domain multi-turn dialog systems）。許多研究工作將精力放在構建智能對話系統，鮮有關註一個對話session中如何拓寬或加深對話的話題，這樣可以吸引用戶聊更多。為此，本文提出一種新穎的深度模式，包含三種方式：global,wide and deep。Global方式編碼了給定場景下的完整的歷史信息；wide方式采用基於註意力機制的RNN來預測不太可能出現在歷史背景中的關鍵詞；deep方式訓練一個多層感知機來為深度討論選擇關鍵詞。之後，本文提的模式是將三種方式的輸出融合起來，產生想要的回復。為了驗證該模型，本文進行了詳盡的實驗來與state-of-the-art的方法在兩個數據集上進行對比：自建數據集和公開標準數據集。結果表明本文提出的方法通過加深拓寬興趣話題來取得滿意的性能。

SIGIR2018 Paper Abstract Reading Notes (1)