摘要

人與智慧機器之間的有效協作依賴於人類對其智慧機器保持適當的理解和合理的判斷。提出了一種基於態勢感知的人機透明（SAT）模型，以支援人工智慧體團隊中的人的感知。當智慧機器從工具過渡到人類的團隊夥伴時，模型的擴充套件是必要的，以支援需要雙向透明的團隊合作正規化。我們提出一個更新的模型可以更好地在涉及更高階的智慧機器隊友的範例中告知人-智慧機器互動。本文描述了該模型在三個研究專案中的應用，並舉例說明了該模型在不同情境下的效用：自主警衛隊，人類和多個下屬機器人之間的中介以及一個計劃推薦智慧機器。通過這一回顧，我們表明SAT模型仍然是一個可以協助人機相互理解、相互協作，增進人機之間的信任。

相關宣告：機器智慧的進步要求將透明設計作為與人類夥伴合作的智慧機器的優先順序。本文提出了一種強調團隊合作、雙向溝通和操作員-機器態勢感知的透明模型。這些因素為有效的人-智慧機器團隊設計使用者介面提供了一種方法。

關鍵詞：透明性；自主性；人-機器人協作；人-機器人互動；

雙向通訊

簡介

隨著自主系統變得更加智慧，更能做出複雜的決策（Shattuck 2015；Warner Norcross and Judd 2015），人類越來越難以理解系統輸出背後的推理過程。然而，這種理解對於雙方有效合作至關重要，尤其是在動態環境中（Chen和Barnes 2014）。事實上，DARPA於2016年8月宣佈的可解釋人工智慧（2016年Gunning）專案強調了使智慧系統更容易被人類理解的重要性。美國國防科學委員會（U.S.Defense Science Board）最近發表了一份報告《關於自主系統的夏季研究》（Summer Study on Autonomy，Defense ScienceBoard 2016），在報告中，委員會指出了人類對自主系統信任的六大障礙，即“可觀察性、可預測性、可定向性，“可審計性”和“對共同目標的相互理解程度低”是關鍵問題（第15頁）。Chen和她的同事（2014年）開發了一個模型，基於情境感知的智慧體透明度（SAT），用於組織與支援人類感知智慧體有關的問題：1）當前行動和計劃；2）推理過程；3）結果預測。在這篇論文中，來自三個專案的實驗結果將被用來說明智慧機構透明度對於支援人類自主團隊效能的效用。此外，原始的SAT模型被擴充套件到包含團隊協作和雙向透明性，以應對動態任務環境中的挑戰。

本文中討論的“智慧機器”包括虛擬智慧機器，它是可以被視為“智慧”的軟體系統（休息時的自治；國防科學委員會2016年），也可以是具有一定自主性的機器人（動作的自主性；國防科學委員會2016年），它們是具體化和獨立的（Fong，et al。2005年；Sycara和Sukhankar 2006年）。這些智慧機器人的特點是他們的自主性，對環境的反應性，追求目標導向的行為（Russell和Norvig，2009；Wooldridge和Jennings 1995）。本文的重點是通過混合主動系統與人類互動的這類智慧機器，在這種系統中，人和智慧機器協作做出決策（Allen、Guinn和Horvtz1999；Chen和Barnes 2014）。在混合主動系統框架中，智慧機器可以有幾個不同的任務，並且根據每個任務的需要和人類隊友的需要，以不同程度的自主性執行每個任務（Kaupp、Makarenko和DurrantWhyte 2010）。設計用於提供低水平混合倡議互動的智慧機器可以報告出現的關鍵資訊或在不確定的情況下尋求解釋和澄清（Allen、Guinn和Horvtz1999）。在更高的層次上，可以將智慧機器設定為在預定義的情況下（例如，當人類過載或反應太慢時）採取主動，接管計劃的實施-在需要時提示人類做出決策或實施預先指定的演算法來實現目標，一旦子任務完成，將主動權還給人類（Allen、Guinn和Horvtz1999；Chen和Barnes 2014；Parasuraman、Barnes和Cosenzo2007；Parasuraman和Miller 2004）。在混合主動互動的最高級別，智慧機器積極地監視當前任務，並使用它所擁有的關於其能力、人的能力和對其資源的其他需求的資訊來評估它是否應該採取主動（Allen，Guinn和Horvtz1999）。人工操作員通常是混合倡議框架中的最終權威，通常以監督的身份執行任務，特別是在軍事環境中，這是由於戰鬥中固有的複雜性和安全考慮因素（Barnes、Chen和Jentsch2015；Chen和Barnes 2014；Goodrich 2013）。這種關係容易出現各種監督控制問題，包括操作員錯誤率、難以保持態勢感知（SA）以及對智慧機器人的不適當信任（Chen和Barnes 2014）。由於未經校準的信任可能會由於操作員誤用或不使用自動化系統而導致災難性的失敗，因此至關重要的是，智慧機器人的行為、推理和預期結果對操作員是透明的（Bitan和Meyer 2007；deVisser等人，2007年）。2014；Linegang等人。2006年；Parasuraman和Riley 1997年；Seppelt和Lee2007年；Stanton、Young和Walker 2007年）。

基於態勢感知的智慧機器透明性

Lee和See（2004）確定了一個透明度影響操作者信任校準的三個組成部分：目的（purpose）、過程(process)和績效(performace)（3Ps）。Lee（2012）提出，為了增加機器智慧機器的透明度，系統的3P和效能歷史記錄應該以簡化的形式（例如，整合的圖形顯示）顯示給操作員，這樣操作員就不會被太多的資訊淹沒（Cook和Smallman 2008；Neyedli、Hollands和Jamieson 2009；Selkowitz等人。2017年；Tufte2001年）。Chen and associates（2014）利用了Endsley的情境意識模型（SA；Endsley1995）、BDI（信念、願望、意圖）智慧機器框架（Rao和Georgeff 1995）、Lee的上述3Ps（2012）以及其他相關的前期工作（Chen和Barnes 2012a，Chen和Barnes 2012b；Lyons和Havig2014），以開發基於態勢感知的智慧體透明度（SAT）模型（圖1）。從Endsley（1995）提出的SA的三個層次-感知、理解和預測判斷中獲得靈感，SAT模型描述了智慧機器人需要傳達的關於其決策過程的資訊，以促進有效的人-智慧機器團隊合作所需的共享理解（Chen等人，1995年）。2014年；Stubbs、Wettergreen和Hinds 2007年；Sycara&Sukhankar 2006年）。SA是三個層次階段的累積結果，SAT模型由三個獨立的層次組成，每一個層次都描述了agent為了保持與人類的透明互動而需要傳遞的資訊（Chen et al。2014年；恩斯利1995年）。

在第一個SAT級別（SAT 1），智慧機器向操作員提供有關智慧機器當前狀態、目標、意圖和計劃的基本資訊。這一級別的資訊有助於人類感知智慧機器當前的行動和計劃。在第二個層次（sat2），智慧機器揭示其推理過程以及規劃其行為時考慮的約束/啟示。通過這種方式，SAT2支援人類對智慧機器人當前行為的理解。在第三個SAT級別（SAT 3），智慧機器向操作員提供有關其對未來狀態的預測、預測的後果、成功/失敗的可能性以及與上述預測相關的任何不確定性的資訊。因此，sat3資訊有助於人類對未來結果的預測。SAT 3還包括不確定性方面的透明度，因為預測是基於許多因素，而這些因素的結果可能並不確切（Bass、Baumgart和Shepley2013；Chen等人。2014；Helldin 2014；Mercado等人。2016年；Meyer和Lee 2013年）。先前的研究表明，傳遞不確定性的智慧機器對聯合人-智慧機器團隊的績效有效性和操作者對智慧機器可信度的認知產生了積極影響（Beller、Heesen和Vollrath 2013；McGuirl和Sarter 2006；Mercado等。2016年）。以下部分詳細說明了與智慧機器的透明互動如何影響人類對智慧機器的信任。

圖1 基於原始情境感知的Agent透明性（SAT）模型，改編自Chen等人。2014

對經營者信任的影響

一些實證研究調查了智慧機器人透明度對操作者信任的影響（Bass、Baumgart和Shepley2013；Helldin等人。2014年；Mercado等人。2016年；周和陳2015年）。Mercado等人。（2016）發現，當與智慧規劃智慧機器互動時，操作者績效和對智慧機器的信任度隨著智慧機器透明度水平的增加而增加。同樣，Helldin等人。（2014年）發現，在感測器精度和不確定性資訊方面的透明度提高了信任和操作員任務績效（使用自動分類器進行正確的目標分類）。然而，在決策延遲和操作員工作量增加方面增加透明度是有代價的，而Mercado等人的研究則不是這樣。（2016）研究。在Zhou和Chen（2015）最近的一項研究中，系統透明度（其中顯示了底層機器學習演算法的流程）提高了操作員監控智慧機器程序以及他們對其結果的接受程度的能力。

此外，有證據表明，瞭解機器智慧機器的不確定性可以提高人機團隊的績效（Bass、Baumgart和Shepley2013；Beller、Heesen和Vollrath 2013；Chen等人。2016年；Mercado等人。2016年）。透明度已經被證明具有（也許是違反直覺的）能力，即通過揭示智慧機器人具有高度不確定性的情況，提高經營者對不太可靠的自主性的信任，從而發展對智慧機器人瞭解其侷限性的能力的信任（Chen和Barnes 2014；Chen和Barnes 2015；Mercado等人，等人。2016年）。此外，通過透明聯合推理支援的決策過程，可以提高操作人員的信任度校準。例如，智慧機器可能表示當前計劃基於考慮約束x、y和z。人工操作員根據其對任務需求和智慧機器不一定能訪問的資訊（例如，情報報告）的理解，可以指示智慧機器忽略z，只關注其他兩個約束。如果沒有agent對其推理過程的解釋，操作者可能不會意識到agent的規劃是次優的，因為它考慮了一個不重要的約束。換言之，SAT模型不僅致力於解決操作員信任和信任校準問題，而且還致力於確定所需的資訊需求，以促進人與智慧機器人之間的有效聯合決策。下一節回顧了基於SAT模型的三個專案的結果，以進一步說明在人工agent團隊任務環境中，agent透明度對操作者績效和信任校準的影響。

研究計劃

在這一節中，我們描述了三個研究專案，它們使用SAT模型來通知在各種實驗正規化中從一個智慧機器到人類的資訊的呈現。我們將討論每個專案中的實證研究，這些研究考察了智慧機器人透明度對人-智慧機器人團隊有效性衡量的影響，包括共享理解和適當的信任校準。這些研究深入瞭解了在人工智慧體團隊中實現透明性的方法，併為我們提供了用於更新模型的資訊，這些資訊將在本節後面進行描述。這些範例評估了基於SAT的透明資訊效能的不同方面：（1）模擬的具體化智慧體（小型地面機器人），（2）提出護航路線變更的智慧機器，以及（3）幫助操作員管理多個異構機器人（例如，計劃行動過程）的智慧體，用於基地防禦。

自主防禦小隊(autonomous squad member)

當前的自主性研究專案，如美國國防部自主研究試點計劃（ARPI；國防部2013年），已經開始調查一些關鍵的人智慧機團隊問題，這些問題必須解決，以使混合自主性團隊在現實世界中有效地執行任務，儘管這些問題非常複雜以及意料之外的動態。自主小隊成員（ASM）是ARPI下的七個專案之一，它包含了一系列研究工作，這些研究工作圍繞著在模擬徒步步兵環境中人類與小型地面機器人團隊成員的互動作用展開。ASM是一種機器騾子，在自動向集結點移動時攜帶補給（Selkowitz等人。2017年）。ASM的推理過程使用來自環境、其過去行動的結果、當前資源水平以及對其人類隊友當前狀態的理解的資訊來確定競爭激勵因素的優先順序，例如完成任務目標，保持實現未來目標的能力（Gillespie et al。2015年）。根據這些資訊，ASM選擇一個行動，例如，向前移動，繞障礙物改道，尋找掩護，並預測該行動將如何影響其資源（Selkowitz等人，2017年）。ASM專案的目標之一是建立一個透明的智慧機器，它允許其人類隊友保持對其當前行動、計劃、對環境/團隊的感知、其推理和預期結果的認識。

智慧體的介面傳遞有關自身及其周圍環境的資訊，以支援人類的感知。特別令人感興趣的是，ASM將其人類隊友的感知行為作為其與隊友交流的資訊集的一部分。感知團隊行為的顯示是實現人與智慧體之間雙向透明的第一步。ASM通過觀察獲得有關世界及其人類隊友的資訊；然後，它將這些資訊以及有關其推理過程的資訊傳遞給其隊友。然後，人類可以使用他們從ASM收到的資訊來通知他們的後續行動。

根據SAT模型，ASM的使用者介面具有一個“一目瞭然”的透明模組（圖2的左上角，如下所述），在該模組中，使用者測試的智慧機器人計劃、激勵因素和預測結果的圖示用於促進與智慧機器人的透明互動（Selkowitz等人，2016年）。對ASM的使用者介面的研究已經調查了智慧機器透明性對隊友的態勢感知、對ASM的信任和工作負載的影響（Selkowitz，et al。2017年）。

在最近的一次人為因素實驗中，參與者監控虛擬環境中的威脅，同時通過其顯示器保持對ASM的感知（Selkowitz等人。2017年）。每個參與者使用四種不同的介面配置執行任務，參與者之間的條件順序平衡（圖2）。每個介面配置中顯示的資訊反映了每個SAT級別需要傳達的資訊。在顯示條件SAT 1中，參與者接收到與SAT級別1相關的資訊，包括ASM對其環境的感知（圖2，第9和第10項）、對其團隊隊友當前狀態的感知/理解（圖2，第4項）、當前位置（圖2，第12項）、當前對它的推理（圖2，第1項）、當前資源水平（圖2，第8項）和當前目標（圖2，第12項）。在顯示條件SAT 1+2中，顯示與SAT級別1和SAT級別2相關的資訊，ASM在其當前行動和計劃（例如，時間或資源可用性）後顯示了最重要的“激勵因素”（圖2，第2項）。顯示條件SAT 1+2+3，其中顯示與SAT級別1、SAT級別2和SAT級別3的預測判斷元素相關的資訊，進一步添加了有關ASM的預測（圖2，專案3）及其對未來狀態的預測（例如，預計的資源使用量和到達目的地的時間）。最後，條件SAT 1+2+3+U（顯示所有三個SAT級別的資訊）除了有關ASM對其所呈現資訊的不確定性的資訊外，還包括來自所有先前級別的資訊（如圖2第9和10項所示，為菱形/三角形圖示周圍的光環）。通過在這樣一個粒度級別上檢查這些視覺元素，我們能夠指定哪些資訊最能滿足人類隊友的需求。

在與ASM相關的SA（Jones and Kaber 2004）方面，通過SAGAT風格的調查來衡量，人類隊友在SAT 1+2+3條件下對ASM行為（2級SA）的理解水平顯著高於SAT 1+2條件下（η²=0.066）。同樣，在SAT1+2+3條件下，他們比SAT1和SAT1+2條件下更能預測ASM的未來狀態（3級SA）。不同條件下，人類的SAT1沒有顯著差異。這些結果表明，支援SAT模型所有三個層次的智慧機器介面比單獨支援1級和2級的基於SAT的使用者介面更容易理解智慧機器的推理和對ASM未來狀態的預測。然而，SAT 1+2+3+U（uncertainty）使用者介面上可用的附加不確定性資訊並沒有進一步改善人類的表現，這表明，這些附加資訊所提供的細微差別對於給定任務中的態勢感知是不必要的。

圖2 自主防禦小隊的顯示器，帶有註釋

與其他條件（η²=0.097）相比，人類隊友在提出SAT 1+2+3資訊時主觀信任度最高。他們報告說，對sat1+2+3條件的信任度明顯高於sat1和sat1+2條件。sat1+2+3和sat1+2+3+U之間的主觀信任度略有下降，但差異不顯著。結果表明，在不同的顯示條件下，參與者的工作量沒有差異。

總體結果表明，當向人類提供更多的基於SAT模型的資訊時，他們能夠有效地使用這些資訊，並且不會顯示明顯更高的工作量成本，這通常與向顯示器新增額外資訊有關。隨著ASM功能的增強，允許人和智慧機器之間更緊密的協調，雙向通訊變得更加重要。人和智慧體之間的雙向通訊不僅使他們能夠意識到彼此決策過程中的潛在因素，並隨後在自己的決策過程中使用這些資訊，而且還允許他們糾正對方可能存在的錯誤因素。為了支援雙向透明，控制機制將新增到ASM“透明模組”中，以支援人工提供輸入（例如，更改約束的優先順序）。這種雙向模組的有效性將在未來的人為因素研究中進行檢驗。

智慧中樞（roboleader）

另一個探索SAT模型方面的應用是混合自主化監督控制任務。開發了一個智慧規劃智慧機器RoboLeader，作為操作員和下屬機器人團隊之間的調解人（Chen和Barnes 2012a；圖3）。先前使用RoboLeader試驗檯的研究表明，對於人類智慧體團隊來說，有許多好處，例如減少操作員的感知工作量和提高操作員的任務效能（Chen和Barnes 2012a；Chen和Barnes 2012b）。然而，當RoboLeader處於高度自治狀態時，人類表現出的自滿行為表現為自動化偏見（Wright等人。2013年）。自動化偏見被描述為不適當信任的表現，即過度信任（Parasuraman、Molloy和Singh1993），高度可靠的系統、操作人員缺乏經驗和高工作負荷都會助長過度信任（Chen和Barnes 2010；Lee和See2004）。當Roboleader不完全可靠時，這種脫離迴路的情況可能會帶來災難性的後果，因為人類操作員不會意識到潛在的錯誤。

圖3 操作員控制單元：車隊管理和360°任務環境的使用者介面。OCU視窗（從上中心順時針方向）：1、地圖和路線概述，2、RoboLeader通訊視窗，3、命令

通訊視窗，4、MGV正向180°攝像機饋送，5、MGV向後180°攝像頭饋線，6、UGV前進攝像頭饋送和，7、無人機攝像頭（Wright，Chen，Hancock，Yi和Barnes即將釋出）。

最近的RoboLeader研究探討了智慧體推理透明性（SAT 2）對人類行為，特別是自滿行為（Wright，Chen，Hancock，Yi和Barnes即將出版）。在一系列旨在引發高工作負荷的場景中，參與者在RoboLeader的協助下，一邊指導機器人車輛車隊通過模擬環境，一邊參與多項任務。進行了兩個實驗；在這兩個實驗中，agent推理的透明度都是通過RoboLeader的報告來操縱的，這些報告改變了傳遞給人類隊友的推理量（即無透明度、中等透明度和高透明度）。無透明度條件包括RoboLeader在建議更改路線時通知參與者。在中等透明度條件下，RoboLeader在建議更改路線時通知參與者，幷包括建議更改的原因（例如前方濃霧）。高透明度條件與中等條件下相同，但也包括在收到RoboLeader基於其建議的資訊時（例如，前方濃霧，1小時）。第一個實驗為參與者提供了關於他們最初路線的資訊，但是沒有關於修改後的路線的資訊，而第二個實驗為參與者提供了關於這兩條路線的資訊。同時，這些實驗使我們能夠探索任務環境資訊水平的增加所產生的效果，以及它如何影響agent推理透明性和操作者效能之間的關係。結果表明，當參與者對其環境的資訊有限時（實驗1），包含RoboLeader推理（中等透明度）的報告似乎減少了自滿行為，提高了操作員的路徑選擇任務的效能，而不會增加感知的工作量。然而，通過增加報告時間（可能模稜兩可且可能難以解釋），增加報告中所傳達的機器人閱讀器推理量（透明度高），會對參與者的任務績效和自滿行為產生負面影響。事實上，在高透明度條件下的結果與沒有提供推理資訊（沒有透明度）時的結果相似。在無透明度和高透明度條件下，與中等透明度條件下的參與者相比，參與者表現出更多的自滿行為、更低的任務績效和更高的信任度。

當受試者掌握了兩種路徑選擇的資訊時（實驗2），提高機器人領導者推理透明度的有效性似乎取決於個體差異因素，如（自我報告的）自滿可能性。雖然在沒有提供推理資訊（沒有透明度）的情況下，自滿行為沒有差異，但（據報告）自滿行為可能性較低的個人在中等和高透明度條件下的表現要好於其對應者。事實上，似乎智慧機器人推理透明度的存在並沒有給任何人帶來好處，因為它似乎損害了高自滿潛在個體的績效，而低自滿潛在個體似乎對這種影響更具彈性。這一結果可能是由於高透明度條件所提供的資訊（報告時間）可能是模稜兩可的，參與者很難解釋。因此，如果資訊不那麼模稜兩可，高水平推理透明度的效果可能不同。總之，這些研究結果表明，根據操作員對任務環境的瞭解及其個體差異，改變所提供的智慧機器推理透明度的數量可能有助於減輕自滿行為。人類對任務環境的瞭解會隨著時間的推移而變化，因此有效的個性化需要人和智慧機器之間的雙向通訊。

具有自適應協作/控制技術的智慧多UxV規劃器（IMPACT）

除了協助人類和管理機器人團隊外，智慧機器現在還可以作為計劃人員來建立和建議在複雜環境中遵循的策略。這將混合主動決策提升到一個新的層次，在這個層次上，智慧機器不僅執行操作和提出建議，而且還建立完整、詳細的活動計劃。一個這樣的例子可以在美國國防部自主研究試點計劃（Behymer et al。即將出版；Calhoun等人。2017年）。這個專案涉及到使用一個智慧機器來管理軍事任務環境中的多個無人駕駛車輛，使用“情景呼叫”正規化（Fern和Shively2009）在這種情況下，情景是一個模板，運營商可以從中選擇管理多個異構的無人駕駛車輛（例如，使用x空中車輛和y地面車輛進行路線偵察）。IMPACT專案的目標之一是開發一種智慧機器，它可以向人類操作員推薦“情景”。

為了支援IMPACT探索人-智慧體組合的目標，以大學生為參與者，進行了一項實驗室研究，其中模擬智慧體可以快速重新配置（即基於SAT模型傳遞不同級別的透明度）。具體而言，實驗設計操作檢驗了資訊透明度型別和水平對參與者決策績效的影響。智慧機器人扮演“規劃者”的角色，為人類生成並建議車輛和路線計劃；而人類（實驗參與者）則充當“決策者”，審查這些計劃並選擇實施的方案（Bruni等人，2007年）。為了檢驗其對經營者決策績效的影響，對智慧機器人溝通的透明度進行了操縱。

在第一項研究中（圖4），由Mercado等人完成。（2016年），根據圖1中審查的SAT模型，實施了三個級別的透明度：SAT 1（基本計劃資訊）、SAT 1+2（新增推理資訊）和SAT 1+2+3（新增的推斷資訊，包括不確定性）。結果表明，當透明度達到最高水平（SAT1+2+3）時，操作員的任務績效最高，信任度最好（正確時遵守智慧機器人的建議，錯誤時拒絕建議）。此外，這不會影響響應時間或主觀工作量。最後，隨著智慧機器透明度的提高，運營商對智慧機器的建議和決策能力的主觀信任也會增加。

圖4 用於顯示Mercado和同事研究透明度的介面（2016年）。透明度資訊通過使用文字、地圖上的車輛特性和餅圖來傳達。

Stowers等人對該實驗進行復現（2016）涉及介面的輕微變化（圖5）檢查了三種類似情況，同時從其他預測資訊中描繪了不確定性。實施的條件是SAT 1+2（推理）、SAT 1+2+3（新增預測）和SAT 1+2+3+U（附加不確定性）。結果表明，當透明度達到最高水平（SAT1+2+3+U）時，操作員的績效再次達到最高水平。此外，這樣做不會帶來附加工作量。然而，在這項研究中，隨著透明度的提高，響應時間顯著增加，這表明操作員在閱讀和處理透明度較高的條件下所描繪的資訊時花費的時間更長。最後，當顯示更高級別的透明資訊時，操作人員基於狀態的主觀信任度會增加。

圖5 用於顯示透明度的介面，供Stowers和同事研究（2017年）

介面被修改為將透明度資訊拉到地圖下方的一個單獨區域，其中文字和滑動條比例代表所提供的大部分透明度資訊。地圖上的車輛特徵也被操縱以與這些資訊相關聯。

這些研究共同表明，智慧機器的透明性有利於人類的決策，從而提高人類-智慧機器團隊的整體績效。與典型的人-人團隊一樣，這種相關資訊的交流有助於團隊成員之間建立共享的心理模型，從而促進處理和決策。有待觀察的是人的相似資訊（即雙向透明性）如何進一步促進人-智慧機器團隊的績效。

在Mercado等人的模擬中使用。（2016）和Stowers等人（2016）的研究表明，雙向通訊被納入其中。例如，按鈕點選行為可以通過允許人類向智慧機器提供輸入來幫助雙向通訊。然後，智慧機器可以根據這些輸入進行更新，並提供人工反饋。事實上，目前由大學生參與者進行的模擬，有可能通過為訓練有素的軍事人員使用而開發的系統中的介面來提供資訊（Calhoun等人。2017年）。為了使一個或多個智慧機器在開發計劃中考慮到的一個或多個約束條件，以及一個或多個智慧機器所考慮的約束條件和約束條件能夠由智慧機器來指定。對這個模擬的一個近期合理的修改是增加一個聊天框，讓操作員向智慧機器輸入資訊，增加三個級別雙向通訊的透明度。這樣的一個聊天室需要對人類進行廣泛的培訓，或者對智慧機器人而言，需要具有閱讀自然語言的強大能力。然而，這種支援透明性的附加通訊將是有用的，因為它將允許機器智慧機器向人類學習，這是人機團隊的一個重要目標（Singh、Barry和Liu 2004）。此附加功能還將提供一種機制，通過該機制，人工和智慧機器共享任務完成（在本例中，共享任務是“計劃”）。

動態SAT模型的必要性

對上述三個專案的審查表明，SAT模型在預測時間受限任務（ASM）中的效能方面是有效的，明確推理SAT資訊（RoboLeader）的重要性，以及所有三個SAT級別在使用智慧機器協助進行規劃方面的效用，尤其是，顯示告知操作員智慧機器不確定性（影響）的好處。研究還表明，最初的SAT模型（Chen等人，2014年）可能不足以應對複雜的軍事環境。SAT資訊必須是動態的、雙向的，並對操作員在共享決策中的角色敏感。

自2014年首次提出SAT模型以來，人工智慧和自主系統能力方面的進展不斷推進。新系統正在出現，其中包括比以前使用的更廣泛的機器學習能力（Koola、Ramachandran和Vadakkeveedu2016）。在上述研究專案中，智慧機器人的能力也在提高；他們能夠在以持續活動和變化為特徵的環境中做出複雜的決定和處理優先事項。

為了充分利用機器學習的這些進步及其在混合主動團隊中的潛在應用，我們擴充套件了SAT模型，加入了團隊協作透明性和人與智慧機器之間的雙向通訊。此更新模型的目標是更好地解決human-agent團隊中的聯合行為，重點關注資訊的雙向通訊以及每個團隊成員在協作任務中分配職責的方式。這種更新的模型與具有學習或至少理解作為互動一部分的人類輸入的能力的智慧機器最相關，因為這樣的基本理解是團隊互動的一個組成部分（Barrett等人。2012年）。下一節將回顧人類團隊研究的理論基礎，這些基礎是對模型的這些補充。然後我們將介紹修改後的模型。

團隊合作透明，雙向溝通

僅由人類組成的團隊對其績效環境、與之互動所需的裝置、與之合作的隊友以及隊友之間的互動模式形成了共同的認知理解（DeChurch和Mesmer Magnus 2010；Mathieu等人。2000年）。對於上述因素，擁有相容的知識結構可以讓團隊成員預測彼此的行為，有效地相互溝通，協調他們的行為，從而提高團隊績效（Cannon Bowers，Salas，andConverse 1993；Sycara and Sukhankar 2006）。對團隊成員的瞭解，如他們的技能或傾向，可以讓團隊成員建立對團隊成員的期望，而對團隊互動的瞭解，如角色和責任、角色相互依賴性和互動模式，則可以讓團隊成員預測未來的團隊互動（Mathieu等人，2010年）。2000年）。有效團隊中建立的共享理解的知識可用於指導支援人-智慧機器團隊的介面設計（Mathieu等人。2000年；Sycara和Sukhankar2006年）。Lyons and associates（2017）認為，透明度由許多不同的維度組成（Lyons 2013）。在其中的一個維度，團隊維度中，智慧機器通過傳達對哪些任務屬於人類許可權的理解，哪些任務是智慧機器的責任，哪些任務需要人和智慧機器的干預來支援人類對人與智慧機器之間的分工的理解（Bradshaw，Feltovich and Johnson，2012年；Bruni等人，2007年；Lyons 2013年；Lyons等人。2017年）。與Chen和她的同事（2014年）最初提出的模型相比，這種人工智慧體協作需要更動態的SAT模型。為了描述所需的透明度

人-智慧機器協作，更新後的SAT模型包含了團隊合作的透明度，並確定了促進團隊互動所必需的知識結構；它還確定了保持人和機器智慧機器對各自職責的相互理解所需的雙向透明度。

在人工智慧體團隊中，智慧體的透明性是至關重要的，因為它促進了人機互動的三個主要方面：隊友的相互預測性、共享的理解以及相互調整和適應的能力（Lyons and Havig 2014；Sycara and Sukhankar2006）。為了便於建立和維護人與機器智慧機器之間的共享理解，機器不僅必須傳達任務工作資訊（例如，任務過程、可能的場景、環境約束），而且還必須傳達與團隊合作相關的資訊（例如，角色互依關係、互動模式，隊友的能力；馬修等。2000年；Stubbs、Wettergreen和Hinds2007年；Sycara和Sukhankar2006年）。加入特定於隊友之間互動的資訊，使得每一方都能從一個相容的參照系中解讀線索，從而對未來的互動產生更準確的預測，並使人類和智慧機器人之間的適應更加靈活的混合主動系統（Mathieu et al。2000年；Stubbs、Wettergreen和Hinds2007年；Sycara和Sukhankar 2006年）。

人與人之間或人與智慧機器人之間的團隊合作需要一定程度的相互依賴（Bradshaw、Feltovich和Johnson2012；Cannon Bowers、Salas和Converse 1993；Sycara和Sukhankar 2006）。在混合倡議系統中，通過將任務分解為更小的職責集並將其與可動態分配的角色聯絡起來，可以建立和協商對分工的共同理解（Hayes and Scassellati 2013；Lyons 2013）。這種方法，再加上意圖的交流，允許相互適應，在這種情況下，智慧機器人可以改變其在團隊中的角色，並自主行動以實現目標（Chen和Barnes 2014；Sycara和Sukhankar 2006）。雖然在人類團隊合作文獻（Cannon Bowers、Salas和Converse 1993；DeChurch和Mesmer Magnus 2010）中，對角色、責任及其履行的公開交流在最近才受到越來越多的關注（Hayes和Scassellati 2013；里昂2013年；Sycara和Sukhankar2006年）。團隊成員知識和團隊互動方面的透明度的結合支援了最初的SAT模型。具體地說，更新後的模型超越了描述和構建關於智慧機構關於自身的通訊的透明性（即，當前狀態、目標、推理，預測）幷包含透明度，因為它適用於智慧機器對其隊友的角色和責任的理解以及與隊友的互動。在一個包含這些型別的透明性的模型中，人和智慧機器都負責維護關於他們自己的任務以及他們對共享任務的貢獻的透明度，如圖6所示。這種雙向透明性允許人類和智慧機器人在做出決定時考慮到彼此，正如之前在描述自動安保成員的含義中所建議的那樣。這也將允許他們在自己的決策過程中利用彼此的行為和推理作為一種資源，這在IMPACT專案未來研究的討論中有所描述（Fong、Thorpe和Baur 2003；Kaupp、Makarenko和DurrantWhyte 2010）。在智慧機器在其決策過程中使用機器學習演算法的情況下，人類行為和推理可用於告知智慧機器的世界模型；此外，如果智慧機器參與支援透明度的行為，他們的人類對應者將知道在未來的迭代中他們需要向智慧機器提供什麼資訊（Thomaz和Breazeal 2006）。將人的行為和理解融入到智慧機器的決策過程中更完整地使用了機器的能力，其中包括機器學習作為其組成部分。

圖6 人工智慧體團隊中基於態勢感知的雙向Agent透明模型。作為一個團隊，人和智慧機器都共享他們的目標、推理和預測來實現他們的目標。人和智慧機器都保持對共享任務的貢獻的透明度

考慮到人-智慧機器團隊中人與智慧機器之間互動的動態性，我們將模型擴充套件為包含雙向、連續迭代和相互依賴的互動，從而建立了動態SAT模型（圖7和圖8）。人和智慧體在整個任務中相互作用：改變計劃，對不可預見的事件作出反應，並不斷地適應環境。這種相互作用，再加上模型的層次是相互關聯的，使得這個模型是動態的。

動態SAT模型包括智慧機器的決策過程以及保持該過程對人類和智慧機器透明所需的通訊前提條件。本模型目標和行動（包括智慧機器人的當前目標、狀態、意圖、計劃和行動）中強調的智慧機器人決策的三個方面，推理（當前選定計劃背後的基本原理），和預測（包括對未來狀態和限制的預測）通過多個前饋迴路相互影響（Chen等人。2014年）。如圖7所示，智慧機器決策過程的概念模型計劃限制了預計可能發生的結果（目標和行動與預測相符）。此外，計劃中的更改會影響智慧機器的推理（例如，需要滿足的約束；推理的目標和操作）。隨後，推理過程中的任何變化都會產生新的預測結果，並影響與新預測結果相關的任何不確定性（推理到預測）。

在這個模型中描述的決策過程可以用一個假設的，自主車輛的例子來說明。如果一輛自動駕駛汽車必須行駛到兩個點，一棵樹和一個標誌，並且它選擇了一個到達樹的計劃，那麼它對未來的預測包括到達樹和排除到達標誌（目標和行動到預測）。因此，通過選擇到樹作為目的地，自主車輛實現了其去樹的動機，並將重點放在與到樹這個地點旅行相關的約束和啟示（推理的目標和動作）。如果車輛在通往樹的路上遇到障礙物，其預測結果將因為該障礙物而改變（推理到預測）。

圖7 動態SAT模型的機器決策部分，包括反饋和前饋迴路。這個概念模型描述了智慧機器的目標和動作、推理或預測的變化如何影響其他兩個元件

反饋迴圈的反應方向相反，如圖7所示。智慧機器根據當前資訊進行預測。當機器獲得經驗時，它對其侷限性的理解（例如，過去效能的歷史、錯誤的可能性）將告知它對任務環境中的啟示和約束的理解，從而允許智慧機器機器改變其推理過程以更好地反映其更新的理解（Projections to reasoning；Chen，et al。2014年）。此外，智慧機器對其約束和可供性的理解可能會建議不同的目標狀態以及實現其目標的新規劃方法（對目標和行為的推理）。此外，由於當前進展與初始目標的實現不匹配，導致智慧機器重新計劃（對目標和行動的預測），因此未能實現預期結果。由反饋迴路誘導的重新規劃啟動前饋迴路，計劃的改變會導致智慧體推理的變化，進而產生新的結果預測。

假設的自主汽車也可以用來描述反饋迴路。當上述車輛到達樹時，它已經獲得了有關其環境、在該環境中操縱的能力以及這些因素如何影響其目標實現的經驗。一旦車輛達到當前目標，它將切換到下一個目標並開始朝標誌移動。車輛將使用其先前的預測以及從其先前行動中獲得的資訊來告知其未來行動的基本原理，例如避免先前阻礙其前進的障礙物（對推理的預測）。隨著對環境及其在其中的能力的廣泛瞭解，車輛可以選擇一個到達標誌的計劃，以避免先前阻礙它的障礙物（對目標和行動進行推理）。這輛車走了這條新的路線，到達了路標，但卻發現自己在路上陷進了泥坑。車輛識別出其當前狀態與預測不符，必須重新規劃（對目標和行動的預測）。這輛車的目標是從泥坑裡出來。這個新的目標影響了自動駕駛器的推理和預測結果，刺激了前饋迴路。

前向反饋和環境反饋等因素由智慧機器的外部環境反饋。然而，當人與智慧機器合作時，人成為影響智慧機器決策過程的因素之一。與其他因素不同的是，作為團隊成員，人類可以有一個特權迴圈進入智慧機器的決策過程，並有可能影響智慧機器行為過程的不同方面（圖8）。圖8不僅描述了有關智慧機器決策過程的資訊被傳遞給人類，而且描述了人類向智慧機器反饋該過程的能力。人類能夠在任何時候進行干預以提供當前計劃的輸入，質疑智慧機器的推理，或者告知預期的結果狀態，從而確保智慧機器具有更大的靈活性。然而，為了使人為干預有效，人類必須意識到智慧機器正在考慮的因素以及這些資訊是如何被使用的。

圖8 動態SAT模型的雙向透明部分。人的團隊成員在agent的決策過程中具有特權環，而agent可以向人傳遞影響人的決策過程的資訊

智慧機器人決策過程的動態性要求在與人類隊友合作時具有透明度。利用智慧體決策過程的資訊，人類隊友可以構建一個相容的知識結構，做出明智的決策。類似地，智慧機器需要了解其人類隊友用於決策的因素。在人類-智慧機團隊中，SA是雙向的，因此SAT應該是雙向的。如果智慧體的計劃、預期目標狀態或其潛在的推理過程仍然未知，則人類無法有效地干預；反之，除非智慧機瞭解人類的意圖、約束和總體目標，否則無法優化其計劃。因此，人與智慧體之間的雙向推理資訊通訊雙向透明性對於高效運作的混合主動團隊的有效效能至關重要。在人類和智慧體隊友之間建立互惠關係也有助於緩解與人類偏見有關的問題。Smith、McCoy和Layton（1997）發現，當一個用於飛行計劃的決策支援系統提出了一個糟糕的建議時，36%的參與者在自己探索之前看到了這個建議，他們實際上選擇了系統的糟糕建議。在第一個Roboleader研究中，當智慧機器人只給人類隊友推薦時，人類表現出自滿的行為；然而，如果給人類隊友一個建議，同時提供有關智慧機器人推理的資訊，他們就不太可能表現出自滿行為（Wright et al。即將出版）。相反，太多的資訊產生的自滿行為幾乎與智慧機器人只提供建議時一樣多。在我們的模型中，雙向通訊可以直接將人的需求指定給agent的推理過程。我們假設，人和agent之間的雙向通訊可以讓人工智慧體團隊獲得透明性的好處，同時減輕之前看到的資訊過多的問題。

圖8演示了人與智慧機器之間的實際通訊，顯示了動態SAT模型中雙向通訊的位置。智慧體可以將有關其推理過程的資訊傳遞給它的人類隊友。相反，人類可以在agent的決策過程框架內，交流有關其決策過程的資訊。這種相互溝通促進了混合的主動性互動（Allen、Guinn和Horvtz1999）。智慧機器人蔘與與人類合作決策的程度可能因混合倡議互動的實施方式而異（Allen、Guinn和Horvtz 1999；Chen和Barnes 2014）。最終，一個設計良好的“透明模組”不僅應該呈現出智慧體對自身的描述（基於SAT的三個級別）以及它對人類任務及其共享任務的理解，而且還應該支援人類進行有效的“調整”。換言之，每個SAT元件都應該支援人類的微調，要麼糾正智慧機器的理解，要麼提供智慧機器不知道的指令或資訊。對於人工智慧體團隊來說，動態SAT模型在動態和不確定條件下對操作者信任和依賴的影響尤為重要。人類“看到”智慧體的意圖、推理和預期結果的能力在很大程度上取決於智慧體推理過程的伴隨能力，該推理過程是基於對人類意圖和世界觀的理解。隊友之間的信任，無論是合成的還是人類的，都依賴於對各自角色、分工和能力的相互理解。這種雙向和動態的通訊應該確保智慧機器的任務需求模型與人的模型是同步的，這樣的系統應該通過讓人蔘與透明的雙向通訊來改進信任校準。

結論

SAT透明模型是作為一種透明模型開發的，它通過強調智慧機器的意圖、推理、未來計劃以及與之相關的不確定性來支援人類對機器的認識。三個不同的研究專案ASM，RoboLeader和IMPACT被回顧，以探索這個範例是如何影響人-智慧機器團隊的績效、信任、情境意識和遵從性的。利用從這些研究中獲得的資訊，再加上對智慧機器新的技術和未來發展的理解，我們擴充套件了SAT模型，以更好地解決新的和即將到來的人類agent團隊關係的動態特性。擴充套件模型強調了特定於人-智慧機器互動、雙向通訊以及維持互動有效性所需的後續雙向透明性。隨著智慧機器變得越來越複雜，從中獲得混合自主互動的能力，需要解決人與智慧機器之間的顯式協調。我們建議擴充套件的SAT模型解決了這個複雜性，並且未來對混合主動的人-智慧機器團隊的研究可以使用這個模型來指導他們實現雙向透明的方法。