2. 程式人生 > 其它 >Explainable Reinforcement Learning Through a Causal Lens

Explainable Reinforcement Learning Through a Causal Lens

阿新 • • 發佈：2021-10-26


發表時間：2019（AAAI 2020）
文章要點：這篇文章通過構建一個圖結構，來解釋為啥agent要做/不做某個動作。具體來說就是先把某個問題給抽象成一個圖結構，定義狀態動作回報等關鍵資訊的節點和邊，然後在訓練RL的時候也順便用資料來訓練這個圖。訓練完了之後，就根據圖用深度優先搜尋去找，做某個動作或者不做某個動作最後導致的結果是啥，然後就說一定程度上對RL的策略做了解釋。
總結：這個文章也太晦澀了，不知道在說什麼，裡面太多心理學的詞彙，比如Causal Lens，minimally complete，structural equations，task prediction，5-point Likert Explanation Satisfaction Scale，其實方法和RL關係不大。
疑問：

只知道個大概意思，其實不是很懂怎麼去構造圖的，也不懂怎麼去訓練的。structural causal model需要人為構造嗎，那如果問題太複雜或者我們對問題並不完全瞭解，該怎麼去構造？structural equations具體指的是什麼，怎麼去學的？DAG是啥？
5-point Likert Explanation Satisfaction Scale是啥？文章還說如果圖太大，找不到complete的解釋，所以就去找minimal explanations，不知道這兩的定義是啥，也不知道具體咋找的。

相關推薦

Explainable Reinforcement Learning Through a Causal Lens

發表時間：2019（AAAI 2020） 文章要點：這篇文章通過構建一個圖結構，來解釋為啥agent要做/不做某個動作。具體來說就是先把某個問題給抽象成一個圖結構，定義狀態動作回報等關鍵資訊的節點和邊，然後在訓練RL的時

論文閱讀筆記《Few-Shot Learning Through an Information Retrieval Lens》

小樣本學習&元學習經典論文整理||持續更新 核心思想   本文提出一種完全不同的小樣本學習方法（mAP-SSVM，mAP-DLM），從資訊檢索（information retrieval）的角度來解決小樣本學習問題，與之前episod

Online and Offline Reinforcement Learning by Planning with a Learned Model

發表時間：2021 文章要點：文章接著muzero做的，當時muzero裡面提出了一個MuZero Reanalyze（Reanalyse）的方式，這篇文章提出的MuZero Unplugged演算法其實就是把MuZero Reanalyse用到offline RL裡面。作者想說的

Model-based Reinforcement Learning: A Survey

發表時間：2021 文章要點：一篇綜述，主要從dynamics model learning，planning-learning integration和implicit model-based RL三個方面介紹。dynamics model learning包括stochasticity, uncertainty, partial o

Reinforcement Learning (DQN) 中經驗池詳細解釋

技術標籤：python類大資料多型強化學習 一般DQN中的經驗池類，都類似於下面這段程式碼。

論文記載： Deep Reinforcement Learning for Traffic LightControl in Vehicular Networks

強化學習論文記載 論文名： Deep Reinforcement Learning for Traffic LightControl in Vehicular Networks （ 車輛網路交通訊號燈控制的深度強化學習 ）---年份：2018.3

MFMARL(Mean Field Multi-Agent Reinforcement Learning)實現

Mean Field Multi-Agent Reinforcement Learning（MFMARL）是倫敦大學學院（UCL）計算機科學系教授汪軍提出的一個多智慧體強化學習演算法。主要致力於極大規模的多智慧體強化學習問題，解決大規模智慧體之間的互動及

強化學習論文研讀（四）——Deep Reinforcement Learning with Double Q-Learning

技術標籤：論文研讀深度學習強化學習python演算法 double Q learning + DQN的合成演算法。

讀論文--Characterizing Attacks on Deep Reinforcement Learning

paper：https://arxiv.org/abs/1907.09470 〇、摘要 DRL在各種應用中取得了巨大的成功，然而最近研究表明，機器學習模型很容易受到對抗性攻擊。一方面，可以通過給觀測值新增擾動，另一方面，也是更具實操性的攻擊方

Evaluating the Performance of Reinforcement Learning Algorithms

發表時間：2020（ICML 2020） 文章要點：文章指出RL復現難的原因在於評價指標不一致。作者提出評估指標應該滿足四點：1. Scientific,主要說你這個指標提供的資訊要告訴別人針對某個具體的問題或假設，得出了什麼結

Detecting Rewards Deterioration in Episodic Reinforcement Learning

發表時間：2021（ICML 2021） 文章要點：文章想說，我們訓好一個policy之後，在真正用他的時候需要考慮安全性和可靠性（RL tasks is the safety and reliability of the system）。所以我們就需要一個方法來快速檢

Decoupling Value and Policy for Generalization in Reinforcement Learning

發表時間：2021（ICML2021） 文章要點：這篇文章想說，通常在訓練PG這類演算法特別是影象作為輸入的任務的時候，主流的做法是policy和value用一個網路表徵，沒有分開。這會導致policy overfitting，因為學value比學

Game Theory and Multi-agent Reinforcement Learning筆記 上

一、引言 多智慧體強化學習的標準模型： 多智慧體產生動作a1，a2.....an聯合作用於環境，環境返回當前的狀態st和獎勵rt。智慧體接受到系統的反饋st和ri，根據反饋資訊選擇下一步的策略。

Offline Evaluation of Online Reinforcement Learning Algorithms

發表時間：2016（AAAI2016） 文章要點：通常大家做offline評估的時候都是去評估一個訓好的fixed的策略，這篇文章就說我想在offline的setting 下去評估一個演算法好不好。根據這個出發點，大致思路是先根據收集的d

Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning

發表時間：2020（ICML 2020） 文章要點：這篇文章想說model based方法在data efficiency和planning方面都具有天然優勢，但是model的泛化性通常是個問題。這篇文章提出學一個context相關的latent vector，然後用mod

Improving Generalization in Reinforcement Learning with Mixture Regularization

發表時間：2020（NeurIPS 2020） 文章要點：這篇文章提出了一個叫mixreg的方法來提高agent泛化性。大致方法就是說用多個環境訓練，並且對環境做插值，這樣學到的策略就會更平滑，泛化性就更好。具體的，我有兩個狀

REPAINT: Knowledge Transfer in Deep Reinforcement Learning

發表時間：2021（ICML 2021） 文章要點：這篇文章提出了一個叫REPresentation And INstance Transfer (REPAINT)的演算法來做RL裡的知識遷移。主要方法就是representation transfer和instance transfer。這個repres

LEARNING INVARIANT REPRESENTATIONS FOR REINFORCEMENT LEARNING WITHOUT RECONSTRUCTION

發表時間：2021（ICLR 2021） 文章要點：這篇文章想說，在state裡面其實有很多工無關的東西，如果用Reconstruction之類的方式去做就還是會考慮這些東西，作者提出用Bisimulation metric去做representation，讓late

論文解讀：COLING-2020(ccf-b)-Answer-driven Deep Question Generation based on Reinforcement Learning

目錄1，問題2，創新1 encoder1.1 Word encoder1.2 Graph Encoder2 Decoder2.1 應答感知初始化模組Answer-Aware Initialization Module2.2 語義豐富的融合注意力Semantic-Rich Fusion Attention2.3 複製機制和 Maxou

Learning to Combat Compounding-Error in Model-Based Reinforcement Learning

發表時間：2019（NeurIPS 2019 Deep Reinforcement Learning Workshop） 文章要點：這篇文章想說model based方法裡面通常model都是imperfect的，就是這個model一般只在區域性是準確的，放到全域性上看誤差會越來越