王小鳳 金瀟陽 翻譯

現代與技術的互動越來越多地從人類僅僅把計算機作為工具向人和有自主性的智慧體建立聯絡，讓自主性智慧體代替人作出行動轉變。在最近的一篇評論中，彼得·漢考克向人因工程領域發出了一個嚴峻的警告，即必須關注一類新技術的適當設計：高度自主的系統。在本文中，我們注意到了這一警告，並提出了一種以人為中心的方法，旨在確保未來的人與人之間的自主互動仍然集中在使用者的需求和偏好上。通過編輯來自工業心理學的文獻，我們提出了一個框架，將一種獨特的類似人類的能力注入自主系統，建立並積極修復信任機制。最後，我們提出了一個模型來指導未來自主系統的設計，並提出了一個研究議程來探索當前在修復人類和自主系統之間的信任方面的挑戰。

[業者總結]

該論文呼籲從業者將我們與技術的聯絡重新塑造成類似於兩個人之間的關係，而不是一個人和他們的工具之間的關係。為此，設計具有信任修復能力的自主將確保未來的技術維護和修復與人類夥伴的關係。

[關鍵詞]

信任修復；自主權；自動化；人性；人機合作

1.0 簡介

在最近的一篇評論中，彼得·漢考克向人因工程領域發出了一個嚴肅的警告，即必須關注一類新技術的適當設計：高度自主的系統。在那次警告中，他認為，隨著更多獨立、自主的系統的引入，社會正處於重大變革之中，這些系統似乎與傳統的自動化不同。他進一步認為，雖然這些新系統的開發正由從業者以極快的速度進行，但對心理和人為因素影響的研究可能被忽視。在這篇文章中，我們注意到了這個警告，並提出了一個以人為中心的方法，旨在為這些未來系統的設計者提供指導。最後，為了進一步討論這些新的自主系統。

1.1 自動化和自主的新形式重新定義了我們與技術的關係

現代與技術的互動越來越多地從簡單的人類使用計算機作為工具轉向與自主實體建立人類關係。與代替使用者執行一組有限的預程式設計監督任務的傳統自動化系統相比，自主性是設計用於實現使用者目標的技術(硬體或軟體)，但不需要監督。這種高度自治技術的最新例子是Stuxnet病毒及其獨立規劃然後自動在網際網路上傳播的能力(Kushner，2013年)或Mirai未來組合殭屍網路，它們執行了迄今為止最複雜的分散式拒絕服務攻擊(Graff，2017年)。同樣重要的是，要考慮到高度自主的系統被計劃儘早融入我們的日常生活。例如，空軍最高層的人員一直在討論一項名為“忠誠的僚機”的倡議，該倡議涉及與有人駕駛飛機一起飛行的自主無人飛機(例如，(格尼，2013；漢弗萊斯，科布，雅克，&雷格，2015)。此外，“無人自動駕駛”汽車已經開始在我們的社會中傳播，像谷歌(布朗，2011)這樣的公司開始測試無人自動駕駛汽車，以及在瑞士和芬蘭測試的原型自動公共交通模式(如公共汽車)(邁耶，貝克爾，博施，阿克豪森，2017；羅默、瓊斯、馬裡諾、海蘭、索思伍德，2017；Salonen，2018)。鑑於此，我們開始研究與使用自主系統相關的問題是至關重要的。

具有自主性的系統特點是它們能夠隨著時間的推移進行學習和改變，動態地設定自己的目標，以及能夠通過外部感測器資訊或更新的輸入資料適應環境條件。設計者可能主導這種系統的啟動狀態和引數，但是一旦部署，自主性將隨著在不同環境中的使用而演化。這意味著這項技術有可能以意想不到的方式發展(庫茲韋爾，2005)。由於這些系統的潛在不可預測性，自主性比較簡單的自動化系統更有可能讓人類夥伴感到驚訝(Sarter & Woods，1997)，這有可能極大地影響對這種技術的信任和採用。此外，因為自主系統不太像工具，而更像助手或合作者，他們可能會因為他們的獨立性而花更多的時間與我們在一起，這將導致與這項技術的長期關係。例如，雖然亞馬遜Echo、Alexa或Siri等新的永遠線上、永遠接近的虛擬助理類別尚未達到完全自主系統的水平，但它們被設計為永久駐留在我們的家中或留在身體上。最後，這些虛擬助手被設計為隨著時間的推移學習我們的行為和偏好，從環境中收集上下文資訊(例如，位置)，並從我們不斷更新的使用者簡檔中學習。由於這些能力更強的系統，我們對這些技術的依戀和動機可能會變得更深、更親密(de Visser，Monfort，et al .，2017；Szalma，2014；威斯、肖、洛法羅和鮑德溫，2017)。由於前面提到的自動化和自主系統之間的一些差異，我們認為有必要採用一種完全不同的方法來增強人機互動；一個自主系統和人類之間的關係不斷變化的地方，反映了自主本身和人類感知的適應性。相反，人-自主互動的正規化應該模仿人與人之間關係的豐富互動，應該採用人-人模型作為它們的初始標準；自主性應該能夠利用現存的人類能力來檢測來自他人的偶然資訊。考慮到這一點，並受到人機互動模型的啟發，我們建議未來的自主設計應該從社會科學中獲得線索。儘管我們認為這是一種謹慎的通用方法，用於實現自主的新設計方法，在這篇文章中，我們將重點放在一個特定的人際關係特徵上，我們認為這種特徵有利於人際自主關係。為此，我們概述了一種可能的機制，作為健康關係的一個基本方面：信任修復。具體來說，我們建議研究人員必須1)將他們對人類自主系統的觀點重新定位為超越簡單的“互動”，而更多地是“關係”，2)進一步將人類關係研究的應用擴充套件到人類自主(馬德哈萬和威格曼，2004，2007a)。

1.2 進一步區分自動化和自治

雖然我們同意漢考克對自動化和自主性之間差異的初步觀察(2017年)，但我們基於這一想法，使這種差異更加清晰，並將這種差異的含義納入未來的研究議程。為了對自主系統的設計提出建議，以優化人與自主的互動，我們概述了一個框架，該框架將先前定義的自主概念與新的人性化設計概念並列，靈感來自社會心理學構造(哈斯拉姆，2006；哈斯拉姆，貝恩，道格，李和巴斯蒂安，2005)。我們將人性化設計定義為旨在與人聯絡和交流的任何策略、機制和自主特徵。我們的人性概念是有意寬泛的，其定義只是為了捕捉與他人聯絡和交流的設計意圖，但我們的概念包含了哈斯拉姆(2006)的兩種人性意識，包括1)獨特的人類特徵；使我們區別於其他生物的人類特徵(即文明、文雅、道德情感、理性、成熟)，以及2)人性；代表人類本質的人類特徵(即情緒反應、人際溫暖、認知開放性、能動性、深度)。可以說，任何自主設計都至少需要一些人性化(即接受使用者輸入的機制)，但這個軸上的更高層次接近人類的外觀、情感、行為和能力。

圖1 現有的和虛構的代理人的概念表示，以自治和人性化設計的程度繪製

圖1展示了我們如何在現有的自治系統定義的基礎上進行構建。該圖示出了相對於人的設計(即，設計用於與人連線和交流的特徵、策略和機制)的自主水平(即，無監督行動的能力)的概念表示空間。利用這兩個維度，我們建立了四個不同的象限，代表了看似不同的機器質量類別。左下象限代表當前或不久的將來，以及虛構的表示，意在代表自治系統的範例。例如，設計用來玩策略遊戲的機器，如圍棋或象棋(AlphaGo，DeepBlue)，代表了中等程度的自治，因為這些系統朝著一個目標執行，如贏得遊戲，並且不需要監督。然而，這些形式的自主性在人性化方面非常有限，因為它們不是明確設計來與使用者直接通訊或互動的；這些機器只是為一個特殊目的而設計的演算法。在同一象限內的是目前的機器人寵物，如艾博或帕羅，它們被明確設計為與人類互動和交流，但幾乎沒有或沒有自主權，可能有一個分散的目標或沒有目標，除了為人類提供娛樂、陪伴或舒適。更高層次的自主性或人性化設計大多由虛構的例子來代表。因此，象限內的相對位置是近似的，並且基於它們在電影中的描繪。因此，圖中的小距離不應理解為精確。

高度自主但適度的人性化(左上象限)代表了工具，這些工具可以自行實現目標，但與操作員的溝通不是主要關注點，因此他們的溝通能力有限(例如，基本的輸入和輸出模式)。也許最經典的例子是超智慧的人工智慧天網，它在終結者電影系列中是高度自治的(即，它有自己的自我保護目標，並自主地按照這些目標行事)，但對於直接的人類通訊能力或考慮有限。高度的人性化，但適度的自主性(右下)代表了明確設計用於與人類交流和互動的機器，因此它們可能具有高度發達的輸入和輸出模式(自然聲音、手勢交流、幽默或態度)或使用旨在與人類融合的外觀線索(擬人化外觀)。然而，他們可能幾乎沒有能力產生或實現自己的目標，或者除了提供陪伴之外沒有其他目標。具有高度人性化和高度自主性的技術(右上象限)代表了有自己意圖和目標的機器，並且在幾乎沒有人監督的情況下執行。

該框架既捕捉了當前的技術，也捕捉了預期的虛構技術。從這個概念框架中，可以得出幾個結論。

1. 如果設計需要與人類使用者的聯絡和溝通，就需要增加人性化。我們認為，隨著複雜性的增加和使用者之間潛在的不匹配，人性化的設計是必要的人工智慧的感知和能力(塞米格蘭、萊文、努迪和梅羅特拉，2016)。

人性化將成為必要的介面特徵，因為我們相信它代表了一種傳達複雜自主行為的最佳(高頻寬、低資源要求)方式(如面部表情；(切爾諾夫，1973；Nass &Lee，2001；Nelson，2007；Semigran等人，2016年)。

2. 將人性化納入設計可能是一個平衡因素，以防止不良

自主。為了創造一個平衡的自主道路，我們提倡在早期就融入人性的自主。我們認為技術應該為人類世界而創造。沒有人性的自主會創造出強大的機器，但這些機器會與人性脫節(最少的是出圈現象)。沒有自主性的人類創造了和諧的社會機器，但這些機器相當於我們以前的工具。這兩個設計方面的結合可以有效地提高自主性(Waytz，Heifner & Epley，2014)。

3.平衡自治——人性可能代表不友好實體控制人性的一種方式

自主系統的目標和意圖必須對使用者透明。微妙的意外和不希望的影響的例子是演算法中的偏見(臉譜網、亞馬遜、谷歌)和一家公司將其商業目標強加給使用者，如賭博(麗娃、薩基和布蘭比拉，2015年)。

對於前面提到的自動化系統和表現出自主性的系統之間的所有差異，前面確定的自動化問題(例如，跳出迴圈綜合徵、模式意識、自滿、信任)預計不僅存在，而且會被放大，這種現象被稱為伐木工人效應(Onnasch，Wickens，李，& Manzey，2014)。此外，我們期望一類新的問題是自主系統所獨有的；這些都是由這些系統的獨立性帶來的，也是由它們與使用者互動的方式帶來的。例如，雖然傳統的自動化研究高度關注自動化對使用者效能的影響，並在一定程度上關注主觀感知，但我們預計人類與高度自主系統的互動將導致高度情緒化的反應，與傳統自動化相比，對自主的接受和使用將在更大程度上受到社會和心理因素的支配。

自主系統帶來的另一個主要挑戰涉及系統應該向操作員傳達的資訊水平。在人因工程文獻中，關於人與機器之間關係的術語使用發生了變化，研究人員現在用“人機合作”來代替更傳統的“人機互動”(陳和巴恩斯，2014)術語的這種變化代表了底層HCI框架的變化，使得機器從“工具”(即自動化)演變為“隊友”(即

自主)。在人與人的夥伴關係中，溝通一直被視為團隊合作和協作的一個重要方面——團隊成員通過對環境的共同理解和對績效的共同期望來預測和預測彼此的需求，從而進行協調(薩拉斯、西姆斯和伯克，2005)。人類自主夥伴關係也將受益於這種型別的溝通(克萊恩，伍茲，布拉德肖，霍夫曼和費爾托維奇，2004年)。除了傳統的閉環溝通方式(McIntyre & Salas，1995)經常出現在優越的人-人團隊中，還需要溝通系統的透明性(Chen & Barnes，2015；里昂，2013年)。系統透明性是系統的質量，支援對系統行為、意圖和未來目標的理解(陳、普羅奇、博伊斯、賴特和加西亞，2014)。雖然透明度已被確定為一個重要的研究領域，但究竟有多少透明度是必要的，以及應該準確傳達哪些資訊和線索，仍是一個懸而未決的研究問題(德·維瑟、科恩、弗裡迪和帕拉素拉曼，2014年；貝利格里尼·森田，森田&伯恩斯，2014)。重要的是，應該有足夠的透明度來支援和促進信任校準(陳等，2014；Mercado等人，2016年；Zuk & Carpendale，2007)。

2.0 高頻研究忽略了積極修復信任的可能性

除了最近關於自主的限制和風險的一些討論(漢考克，2017；伍茲，2016)，許多人的因素研究團體大多忽略了根據對這些新的自主關係的更多要求來看待自主的發展，與自動代理和機器人系統的禮儀和禮貌的研究和討論除外(比克莫爾和卡塞爾，2001；海斯&米勒，2010；Jung，2017；邁耶，米勒，漢考克，德維瑟，多內奇，2016；Parasuraman & Miller，2004)。雖然有些人提出了在技術系統背景下修復信任的好處(如霍夫曼等人，2009年；霍夫曼，約翰遜，布拉德肖和欠林克，2013)或增加自治系統的一般社會性質(Kwiatkowska & Lahijanian，2016年，9月；森田和伯恩斯，2012年)，很少有後續工作探索這種可能性。相反，許多努力主要集中在改進人的自動化信任校準上(例如，(de Visser等人，2014；McGuirl & Sarter，2006)，增強系統的總體透明度(Koo等人，2014；Mercado等人，2016)，傳達意圖(Schaefer，，Chen，Putney，& Evans，2017)，傳達不確定性(Helldin，Falkman，Riveiro，Dahlbom，& Lebram，2013)，評估系統的可靠性(van Dongen & van Maanen，2013)。這並不奇怪，因為長期以來，人們成功地將自動化系統視為放在桌子上或安裝在駕駛艙中的獨立工具。雖然這項研究本身非常有價值，對於建立人們可以理解和使用的可解釋的人工智慧和系統至關重要，但我們認為，鑑於形式、環境和未來自治互動的可能性的多樣性，一個更加積極和可交易的自主正規化至關重要，不應被忽視。我們認為，除了更好的機器資訊和使用者培訓，我們還需要對技術本身提出更高的要求，併為自主系統配備更好的人類能力，可以說是“半途而廢”。這種新的自主需要不同於自動化的範例，原因有幾個；這需要研究界改變態度。為了清楚起見，我們對自動化系統(例如，現有的自動化系統，如GPS導航)和顯示自主性的系統(例如，無人機可以使用感測器檢測障礙物來導航未知路線)進行了區分，如前所述。自主性需要一種彈性的工程方法(伍茲，利韋森和霍爾納格爾，2012)，能夠主動預測和處理錯誤。我們相信在出現錯誤後主動修復信任，任何自主設計的一個基本部分都應該是無意的行為。直接評估計算機違規後修復信任效果的研究很少或已經過時。例如，錯誤後的道歉通常對人們的情緒和對電腦的感覺有積極的影響(阿克京，卡爾蒂，澤裡克，2010；曾，2004)。其他人已經表明，信任彈性隨著強調道歉的自動化而增加(de Visser等人，2016)。還有一些人探索了禮貌對使用者與自動化和機器人系統互動的影響，這表明通過建立個人關係與使用者建立信任是有希望的(Dorneich，Ververs，Mathan，Whitlow，& Hayes，2012；海斯&米勒，2010；英博&邁耶，2015；克勞斯，斯特恩，賴澤，鮑曼，2015；李、金、金、權，2017；龍，卡爾平斯基&布利斯，2017；Seo等，2017；Srinivasan & Takayama，2016；Torrey，Fussell，& Kiesler，2013)。一個值得注意的例子是一項研究，該研究表明機器人可以通過修復干預來提高違反規範的程度，從而幫助調節團隊衝突(Jung，Martelaro & Hinds，2015)。需要更多的研究來確定自主修覆信任對人們的確切影響。

因此，我們提倡一種新的標準來建立自主性，這種自主性可以起到類似於生產性人際關係的作用。不要悲觀，就像在人類團隊中一樣，意想不到的事件很可能會成為日常事務。就像自動化系統一樣，完美的自治可能無法保證或不可行(漢考克，2017；Parasuraman & Riley，1997；Woods，2016)。自主誤差、錯誤和不匹配的期望可能是全新的，需要一種新的解決方案來增強人機互動。出錯後需要快速調整。期望需要更快地調整。

我們已經指定了一種方法(見圖2)，研究人員和設計人員可以在早期人機合作工作的基礎上採取這種方法(納斯、福格和穆恩，1996；納斯，月亮，福格，裡夫斯，烘乾機，1995年；納斯、斯特爾和陶貝爾，1994)。該模型首先詢問自治是否應該充當社會代理人。可以使用人-人模型，也可以使用新開發的帶有設計建議的人-自主框架，為這類問題提供初步答案。下一步是從經驗上驗證人們是否真的將自主性視為一種社會因素

圖2 決定何時應用人-人或人-自主框架的模型

無論這是提高還是損害效能。然後，這個測試的結果可以用來更新模型，提供具體的設計建議，並進一步加深我們對人-人自治團隊的瞭解，以及哪些因素類似於人-人自治，或者團隊工作的哪個方面可能需要一種獨特的方法來處理團隊中的自治。這種方法的好處是利用了人-人團隊世界中已知的東西，同時確定了需要特殊設計和培訓考慮的自主性的獨特方面。人為因素團體在調查人機團隊有效性的研究中以各種形式接受了這種方法(艾哈邁德等人，2014年；Bagosi，Hindriks & Neerincx，2016；陳巴恩斯，2014；de Greeff，Hindriks，Neerincx & Kruijff-Korbayova，2015；de Visser & Parasuraman，2011年；德維瑟，帕拉素拉曼，弗裡迪，弗裡迪和韋爾特曼，2006年；高，卡明斯，索洛維，2016，2014；McKendrick等人，2013年；Walliser，2017)。工業心理學(Lewicki，Tomlinson，& Gillespie，2006)，社會心理學(Thielmann & Hilbig，2015)和大量關於人-人團隊合作的文獻(Salas & Cannon-Bowers，2001；薩拉斯，庫克和羅森，2008)提供了許多人-人團隊模型和信任研究。最好的人類團隊實際上是在建立融洽的關係，修復信任，暴露自己的心理弱點(杜希格，2016)。這種結構通過團隊成員參與自適應備份行為來相互支援。這正是我們需要灌輸給自主系統的行為型別，以促進良好的人類自主團隊合作。對於最初的想法和框架，本文重點研究人類團隊內部的信任修復，以及當信任崩潰時，哪些方法可以有效地修復信任。

3.0 開始研究信任修復的一個好地方是關於信任修復的組織文獻

對於“管理”人類自主信任的想法，我們從研究人類信任修復的日益增長的研究領域中獲得靈感(克雷默和萊維基，2010)。自動化文獻中的信任始於以人與人之間的信任為模型，並與自動化中的信任進行比較和對比(馬德哈萬&威格曼，2004，2007a，2007bMuir，1987；穆爾&馬裡，1996)。從本質上來說，我們正在重新審視這種方法，看看它是如何根據自治的新發展來應用的。

3.1人際信任修復框架和模型

在這一研究領域，信任被定義為一種心理狀態，在這種狀態下，一個人基於對另一個人的意圖或行為的積極期望而接受脆弱性(盧梭，西特金，伯特，卡梅勒，1998)。因此，違反信任是一方的行為，是一種越軌行為，削弱了另一方對越軌者的信任。信任修復被定義為在違規發生後使信任更加積極的行為(Kim，Dirks，Cooper & Ferrin，2006)。信任修復行為的一些例子是道歉(內部歸因接受責任)或否認(外部歸因將違規歸咎於其他地方)。信任修復可以區別於信任的發展或信任的初步建立(伯格，迪喬，麥凱布，1995)。例如，快速信任是指技術專家(如外科醫生)通過快速識別專家行為(如手部動作)來快速建立信任的概念。雖然大部分研究正確地集中在建立信任上，因為它是隨後信任的重要預測因素，我們相信信任修復值得類似的認可。一些研究表明，修復信任的能力實際上是健康關係的一個指標。鑑於我們正在進入更親密、更長久的自主關係，我們可能需要類似的框架和結構來評估與機器的關係的健康程度。

在組織行為學文獻中，信任修復是在實驗中研究的，在實驗中，參與者被置於信任被破壞的情況下，並進行修復嘗試。在違反信任之後，可以採取糾正措施來修復失去的信任(Dirks，Lewicki & Zaheer，2009；Gillespie & Dietz，2009；Kramer & Lewicki，2010；湯姆林森和梅耶爾，2009)。這項工作檢查了關係信任修復方法(席爾克，雷曼和庫克，2013年)，組織(吉萊斯皮和迪茨，2009年；Nakayachi & Watabe，2005)和《社會的整體》(Slovic，1993，1999)。然後評估信任以確定修復是否成功。例如，Kim等人(2006年)讓參與者充當招聘經理，負責評估求職者的視訊面試。在視訊中，求職者被發現有違反信任的行為(即在稅務表格上的違規行為)，視訊展示了求職者修復信任的嘗試。申請人要麼為違規行為道歉，要麼否認責任。提出的信任修復機制包括重塑因果歸因，如罪責(無辜/有罪)、因果關係所在地(人/情境)、可控性(可修復/固定)和穩定性(暫時/恆定)(Dirks等人，2009年；金，德克，庫珀，2009；湯姆林森和梅耶爾，2009)。基於這種理解，研究人員檢查了哪些方法對修復信任最有效，並解決了互動的雙方:從違法者的角度來看道歉的作用(德克、金、費林和庫珀，2011年；Kim等人，2006年；金，費林，庫珀，德克，2004；施韋策，好時和布拉德洛，2006)和從受害者的角度刺激寬恕的因素，如可愛度，責備歸因，未來侵犯的概率，和產生同理心(布拉德菲爾德和阿基諾，1999；麥卡洛，沃星頓，馬克西，瑞秋，1997；湯姆林森，迪內和萊維基，2004)。這些都是潛在的富有成效的技術信任修復干預，這些方法可以很容易地應用於實驗環境。

3.2人類自主信任修復模型

信任修復策略可能對人類和計算機代理都有效。信任修復的概念雖然在人機環境中是直觀的，但在人機互動環境中可能很難直觀地視覺化或理解。然而，使用者通常可能一天多次參與一種簡單形式的機器信任修復。考慮您的計算機應用程式可能已經失敗，或者網路連線丟失，但是系統通知您失敗的原因並提供道歉的情況。在這些情況下，使用者可能會變得理解，並且對系統的信任不會被永久破壞。通知或解釋是信任修復的一個簡單例子。一篇關於人的因素的新興文獻從理論上和經驗上證明了人和機器之間的顯著差異(德·維瑟等，2016；馬德哈萬和威格曼，2007年b；Pak，Fink，Price，Bass & Sturre，2012)。首先，計算機被認為比人類更可靠的部分原因在於它們的不變性。如果使用者認為計算機的行為是固定的，不太可能改變，那麼來自計算機的道歉可能就不那麼有效了。其次，提供簡單的道歉通知或解釋可能不足以讓一個自治系統也改變自己的行為並從錯誤中吸取教訓。這些結果的含義是，人與人之間的互動不能自動複製到人與自助系統之間的互動，應該得到測試和驗證。

受組織文獻工作的啟發，我們基於以前提出的模型建立了一個初步的信任修復關係框架(Tomlinson等人，2004；湯姆林森和邁耶，2009)，涵蓋三個主要階段，包括1)關係行為，2)關係調整，和3)網路受害者效應(見圖3)。這個框架描述了一個自主的機器參與者的行為，以及他們對一個人類代理參與者的感知。

3.2.1關係行為

信任修復週期始於受託人的關係行為。這種行為可能代價高昂，也可能有利可圖。昂貴的行為被委託人視為對關係中的信任有害。對於自主機器，這些行為可能是錯誤、損壞、時間損失、效率低下和通訊錯誤。有益行為是被人類視為積極或愉快的互動的行為。這些可以是良好的效能、演算法能力的展示、禮貌或愉快的閒聊。有益行為可以作為一種整體關係機制，建立或積累善意、耐心、可信度和寬恕。

3.2.2關係調整

關係調節法是一種對關係行為提供立即或延遲糾正措施的行為。這些調節行為對於維持開心穩定的關係至關重要(戈特曼和萊文森，1992)。戈特曼和萊文森(1992)確定了兩種假設的監管關係行為，包括修復和抑制。修復法案旨在減輕昂貴的關係法案的影響(戈特曼，2005)。抑制行為旨在減輕有益關係行為的影響。這兩種行為都是保持最佳關係平衡所必需的。

3.2.3淨受害者效應

淨受害者效應是損失信任和修復行為或有益和抑制行為對人類主體的感知和體驗的綜合影響。此外，每個人在如何看待代價高昂或有益的行為及其相應的監管行為方面會有所不同。一些研究記錄了個體差異對信任的影響以及影響信任的個體差異(梅里特&伊爾根，2008；羅維拉、帕克和麥克勞克林，2016年；辛格、莫洛伊和帕拉素拉曼，1993年；Szalma & Taylor，2011)。信任修復模型必須包含信任感知中的個體差異，以及調和和恢復關係的意願中可能存在的個體差異。

圖3 信任修復的事務模型

3.3 恢復信任的速度:措施和修復干預

上一節概述的模型模擬了一段關係中的單個行為。顯然，許多行為發生在一段關係的過程中。因此，我們建立了一個假設的信任修復週期的信任軌跡(見圖4)。此圖中顯示的等級範圍從1(低信任)到10(高信任)。信任可以從中度到高度開始。在駕駛環境中，可能會發生小的違規行為，從不便(剎車太快)到大的違規行為(撞上另一輛車)。發生違規後，可以嘗試修復信任。一些信任修復努力，如承諾，可能會導致比其他人更快的恢復(施韋策等人，2006年)。例如，根據戀愛經歷的時間長短，也有可能向基線自然恢復(席爾克等人，2013年)。量化該模型的研究的主要目標是建立一個預測理論和框架，可以預測許多現象，包括1)基於個人個性的信任違規可能發生的時間，2)違規的程度和影響，3)信任修復干預的程度和影響，以及4)預期的信任修復率、程度和恢復軌跡。

圖4 可能的信任恢復軌跡

圖4立即提出了一個問題，即哪種信任修復努力會導致最快的信任恢復。表1概述了可能的干預措施及其說明。在支援這項技術的證據存在的地方，我們引用了這項研究。此表旨在說明問題，並非所有可能的維修形式的詳盡列表。該表是修復信任研究人員和設計人員可能希望檢查的型別的初步列表，並強調了該領域正在進行的研究。我們希望並期待在未來，這張表將會增長，並將通過研究得到驗證。

表1 .信任修復型別和描述。

為了進一步說明信任修復策略的不同之處，我們將在下一節中描述一組示例。

3.4 插圖示例

作為信任修復策略如何用於高度自治系統的一個具體例子，想象一下自動駕駛汽車的駕駛員的場景。與目前可用的車輛不同自主技術(例如，自適應巡航控制、自主緊急制動)，真正的自主車輛將能夠接受目的地，在考慮當地條件後規劃路線，並完全導航到目的地(國家公路交通安全管理局，2016年)。自動化(例如，自動制動)和自主(自動駕駛汽車)之間的關鍵區別在於，前者的行為是相對確定的，而後者由於高度的自主性而不可預測。當驅動程式與如此高度自治的形式互動時，簡單的通知或解釋可能不足以修復信任。在這些情況下，當系統不可避免地出現故障時(例如，選擇非最佳路線，與另一輛車發生事故)，採取主動措施來修復信任變得更加重要。

我們將通過三個小例子來強調自動駕駛和信任修復的可能例子。我們在這些描述用虛構的自主技術修復信任過程的小插曲的特徵的背景下討論該框架。我們的重點是強調輕微的使用者體驗問題，而不是更嚴重的違反信任的情況，如事故。在這些情況下，恢復會很難，這些方法可能不會那麼有效。在下一節描述的研究議程中，我們討論了嚴重且不可恢復的信任違規的一些方法和挑戰。

3.3.1駕駛風格不匹配

約翰正在他的自動駕駛汽車的輪子前放鬆。它處於完全自主模式，在繁忙的高速公路上行駛。這輛車為了繞過速度較慢的車，換了很多車道，這是約翰通常喜歡的駕駛風格。然而，在第四個車道轉彎處，約翰對汽車保持的緊密跟隨距離感到有點不安。他覺得太近了。汽車察覺到了他的不安，說道:“我注意到你在我換道後感到不安。為了更快到達目的地，我換了很多。很抱歉給您帶來不便。你要我調整跟車距離還是維持車道？”約翰確認，汽車調整其行為。約翰放鬆下來，旅途順利進行。在這個例子中，我們可以將信任修復的週期分解如下。成本行為是車道轉換的次數和跟隨距離。淨受害者效應是讓他不安，減少信任，因為車應該知道他的喜好。監管法案是為了檢測不安，道歉，並通過改變行為來回應。淨受害者的影響是，他現在更喜歡乘坐。在本例中，由於系統的主動響應，信任很可能已被修復到違規前的水平，甚至得到增強。

3.3.2人類-機器人救援受害者資訊

弗吉尼亞發生地震，許多房屋倒塌。蘇珊，一個67歲的寡婦在廢墟下，活著，但被埋葬了。城市搜尋和救援(USAR)在她的社群部署了一個單位，並釋放了一個自主機器人。機器人挖進她的房子，能夠清除足夠多的碎片，露出她的臉。機器人檢測到她的聲音中的壓力和不適，並開始對話以檢索關鍵的醫療資訊。“你好，我是援救機器人。我是來幫助你的，我已經通知我的團隊來進一步挖掘你。為了便於快速響應併為您提供最佳幫助，我需要了解一些醫療資訊，如您的病史。”蘇珊猶豫了。儘管看到機器人的幫助她鬆了一口氣，但她仍然感到震驚、困惑、疲憊、不舒服和緊張。另外，蘇珊從來沒有和機器人互動過，對技術普遍不適應。她問:“你會怎麼處理這些資訊？我能和一個人說話嗎？”機器人試圖安撫她並說:“我想盡快把你和一個人聯絡起來，但是我沒有在結構中得到這麼深的接受。向您保證，這裡記錄的所有資訊都將嚴格用於為您提供更好的醫療保健，並符合國會通過的HIPAA，以確保醫療資訊的隱私。您的醫療資訊只能與醫療專業人員共享。一旦我有了你的醫療資訊並記錄了你的生命體徵，我就可以找到空地把這些資訊送回我們的基地。我強烈建議你和我分享你的病史。”蘇珊繼續告訴機器人她目前的狀況。

在這個例子中，我們可以將信任修復的週期分解如下。有損失的行為是對隱私的潛在侵犯。受害者的淨影響是她擔心她的醫療資訊沒有得到保護。監管法案是為了保證她的資訊受到保護。受害者的影響是她洩露了自己的醫療資訊。在這個例子中，基於很少的經驗，蘇珊不信任技術，但系統能夠通過向她直接提問提供保證來修復她的不信任。

3.3.3個人助理示例

大衛已經購買了一個薩曼莎個人助理裝置，它具有先進的自主能力。它可以訪問他的電子郵件、病歷、購物、娛樂消費習慣等。大衛給薩曼莎下達了“改善大衛生活”的總體指示。通過分析，她注意到大衛經常喜歡看一部無腦的動作電影來放鬆自己。在檢查了最近電子郵件的內容、飲食習慣和活動水平後，她推斷大衛壓力很大。為了減輕他的壓力，她決定租下電影《木乃伊4》，價格為4.99美元。大衛回到家，驚訝地發現電視開著，電影卻在播放。他問薩曼莎發生了什麼，她告訴他她做了什麼。大衛說“如果你在買電影之前通知我，我會更喜歡”。薩曼莎道歉說:“對不起大衛，我只是想讓你在經歷了一天的艱難後感覺好點。要不要我取消這部電影，把資金退給你的賬戶？”。大衛對此很滿意，他說:不，電影現在聽起來確實不錯。請也點我最喜歡的中國菜。我需要一些消遣”。

在這個例子中，我們可以將信任修復的週期分解如下。成本行為是未經許可購買電影。淨受害者的影響是這個決定的驚喜和煩惱以及經濟損失。監管法案旨在提供一種解決問題的簡單方法。受害者的淨影響是，通過知道他能控制局面，他決定接受建議。3.5自動化設計中修復策略選擇的初步指南任何信任修復策略的一個重要方面是根據違規的性質和規模以及可能的情況(如上述示例所示)給出適當的響應(表1)。給定對信任衝突的各種可能的響應，設計者如何選擇合適的信任修復策略？現在給出明確的建議還為時過早，因為目前正在進行的研究旨在1)驗證人機環境中人機信任修復策略的適用性(儘管最初的研究很有希望；(奎因，帕克，&德維瑟，2017)和(2)驗證我們的修復框架在特定環境中的有用性(馬里納喬科，科恩，帕拉蘇曼，&德維瑟，2015)。雖然這個建議可能有些不成熟，但我們可以根據自己研究的初步結果向自主設計者提供一些一般性建議，以及關於人際信任修復策略的更廣泛的文獻。

首先，一個顯而易見的建議是，單一的信任修復策略(例如，道歉)不應該一般性地應用於系統。道歉策略只被證明在人與人和人與機器的關係中，對某些型別的侵犯行為保持或修復信任(金等人，2006；Quinn，Pak，& de Visser，2017)。此外，作為人性化設計的提示，人們對道歉的反應可能有無數的個體差異；來源從認知(如工作記憶能力差異)、性格(如服從權威)到經驗水平。例如，以前的工作表明，使用者對電腦奉承的積極反應程度取決於他們的經驗水平(D. Johnson，Gardner & Wiles，2004)。早期的工作也證明了這種方法的成功，通過配對駕駛員情緒和汽車聲音(Nass等人，2005年)。最近的工作證明了具體的駕駛行為如何與個人使用者偏好相匹配(巴蘇，楊，亨格曼，辛哈爾和德拉根，2017)。

其次，我們建議自動化設計人員將信任修復策略(例如，道歉或拒絕)與違規型別精確匹配。更具體地說，我們建議當自動化出現基於能力的故障時(它出現故障、不可靠或無法完成任務)，任何信任修復策略都比沒有好。但是，當它提交基於完整性的失敗(它提交了與使用者的價值觀或願望不一致的行為)時，拒絕更好地保持信任，同時警告完整性失敗是合法的或被確認為合法的(即違反與使用者的價值觀或願望不一致)。基於完整性的故障在大多數自動化系統中有些罕見，但在未來自治和基於人工智慧的系統能夠自己做出決策的例子中可能更常見。應該注意的是，該建議類似於人類-人類信任修復文獻中的發現(例如，Kim等人，2006年)，並且在人類自主的背景下具有一些嘗試性的支援(Quinn，Pak，& de Visser，2017年)。此外，完整性故障不一定是由自主機器造成的，而是由建立該裝置並對其負有主要責任的組織造成的。例如，Facebook現在被認為應對其規範新聞訂閱的演算法中的偏見負責(《經濟學人》，2017年)。這是一個很好的例子，說明了技術的完整性與它在組織中的功能緊密相關。終端使用者如何區分機器的完整性和對組織的感知是一個關鍵的研究問題，它將直接告知這些機器是如何設計的。

第三，一個重要的問題是違反信任的背景，如環境和它發生的具體情況。雖然人與人之間的信任修復文獻沒有更仔細地檢查圍繞信任違反性質的上下文因素，但自動化研究表明，上下文在不同使用者如何感知和應對自動化失敗方面至關重要(霍夫和巴希爾，2015年；Hoffman等人，2013年；米圖，索奇，瓦格納，&無法無天，2016；Pak，Rovira，Mclaughlin & Baldwin，2016；謝弗，陳，艾爾瑪，漢考克，2016)。每種情況下的風險程度都有重要的含義(薩特菲爾德，鮑德溫，德維瑟，肖，2017)。例如，當自動化失敗時，與其他情況相比，使用者對某些情況更寬容(即信任受影響更小)(de Visser等人，2016)。這種差異有望延續到自治領域。例如，在關鍵環境(例如，自動駕駛汽車)中的信任違規可以被直觀地預期為比在不太關鍵的環境(例如，被設計來幫助服裝選擇的人工智慧)中的違規更難修復。信任違規和修復工作也將對城市搜尋和救援領域的人類機器人團隊產生獨特的影響，正如我們在簡介中強調的那樣(de Visser，Pak，& Neerincx，2017；漢考克等人，2011)。即使在同樣的背景下有信託代理人，仍然可能有關鍵的偏見，如全系統的信任，需要仔細檢查(賴斯和熱爾斯，2010年；Walliser，de Visser，& Shaw，2016；2016年冬季)。

第四，設計的一個基本問題是修復策略的時機。最近的工作表明，在下一次決策機會時為使用者道歉比在違規後立即道歉更能保持信任(Robinette等人，2015，2017)。產生這種效果的一種可能機制是，使用者不必回憶道歉，而是在資訊與他們的即時決策相關時對其進行處理。設計者將需要對他們的修復策略進行計時，這將需要一個模型，該模型可以精確地檢測何時發生違規，並跟蹤使用者下次必須做出關鍵決定的時間。最後，設計者應該跟蹤一個信任修復策略應該被執行一次還是多次，並在表達上有一些可變性以獲得最佳效果。目前的語音系統，如亞馬遜回聲或蘋果的Siri，將為同樣的錯誤以同樣的方式道歉。這種策略可能會讓使用者聽起來不真誠，最終可能會破壞其有效性。道歉的表達方式或陳述問題原因的可變性可能更有效。如果道歉沒有在自主方面改變行為，這也可能在機器上反映不佳，聽起來也不真誠。設計者應該記住，不要過度承諾超出機器能力的能力，並且作為不希望的副作用，把期望提得太高。雖然我們已經為設計師提供了一些初步的指導，但我們強調需要更多的研究來支援和驗證這些建議。我們鼓勵研究人員和設計人員嘗試這些方法，並與社群分享他們的研究。圖2中概述的一般方法應該為開始提供一個初始框架。為了進一步支援這一重要領域的未來研究，我們現在轉向一個具體的研究議程，以解決我們認為應該研究的關鍵問題。

4.0 研究議程

將人與自主的關係視為管理兩個自主實體之間的關係，為未來的研究開闢了許多可能性。研究人員的最終目標應該是模仿功能最好的人類團隊；這本身就是一個巨大的挑戰。我們可以通過直接比較人-人團隊和人-自主團隊來評估人和自主機器對團隊的獨特貢獻，並評估他們的個人和聯合績效貢獻，從而實現這一結果。有了這種方法和關於人-自動化互動的現有知識，同時利用豐富的組織和社會心理學文獻、理論和框架，我們不僅可以探索新的問題，還可以發現其他領域提供的解決方案的新方法。這種方法將允許我們描述人類自主團隊如何過渡到像人類團隊一樣工作。這種方法將告訴我們最好的團隊合作型別，以及人類自主團隊成功道路上的獨特障礙。本文最後簡要概述了這種方法的一些挑戰、研究領域和未來研究的想法。

首先，將人類自主信任視為一種可以管理的關係必然意味著事件的時間程序。如前所述，從設計的角度來看，最有用的是能夠以可解釋的方式將信任快速恢復到違規前水平的策略或條件，並且可由機器操作；也就是說，可以從環境(例如，人類行為、環境意識、系統可靠性)中獲取輸入並採取行動提供適當響應的模型或演算法。大多數人憑直覺理解這一概念，根據違反的性質和程度，會對試圖迅速恢復信任的另一方產生行為。我們能讓自動機器表現得如此適應性嗎？

對於演算法的概念，基本的工作是必要的，以闡明不同型別的自治系統違規或機器故障對人類信任的精確影響。當涉及到組織-人和人-人的信任時，組織文獻在建立這些概念的有效性方面走得很遠。但是這些概念適用於人類自主關係嗎？這不是一個簡單的問題。直觀地說，我們期望基於諸如違反的程度或型別以及領域(例如，交通、醫療保健、消費者應用)的因素的自主互動的差異。例如，無人駕駛汽車中的機器故障比個人助理的機器故障對信任的影響要大得多。對於某些使用者來說，機器故障對信任的影響可能會更大，這進一步增加了複雜性。例如，年輕的司機可能會認為自動駕駛汽車的失敗是“條約破壞者”，因為他們對駕駛的自信將超過他們的信任(J. D. Lee & Moray，1992)，而老年人可能更容易原諒這種錯誤，因為他們依賴技術，無論多麼有缺陷，以實現行動的獨立性(Donmez，Boyle，& Lee，2006；Pak，McLaughlin，Leidheser & Rovira，2017)。然而，能夠合理預測某種型別的機器故障對信任的影響的演算法的存在，僅僅是實際修復信任的第一步。平行工作還需要將各種信任恢復方法的功效(範圍和時間程序)描述為上述所有因素(恢復策略的規模/型別、個體差異、自主領域)的函式。這被封裝在一個模型或演算法中，可以想象在使用者中啟動一個快速的信任恢復過程。組織文獻的結果表明，這些並不總是直觀的。在某些情況下，否認、模糊或分散責任可能有助於修復信任。需要進行更多的研究來建立一個考慮到修復型別、環境和使用者的分類法，其中不同的修復策略將是最有效的。然而，這種方法有缺陷。對於給定的違反型別和程度的演算法機器響應可能僅適用於人類精神狀態的特定範圍或型別(例如，當人快樂或放鬆時)，但是可以想象的是，可能損害對另一種狀態的信任(例如，人疲勞或憤怒)。違規或響應型別是否有閾值，它們在多大程度上取決於使用者當前的精神狀態？這個潛在的問題在概念上反映了早期自動化設計者面臨的問題，當時他們意識到在設計一個總是對訊號發出警報但經常產生錯誤警報的高靈敏度警報和一個不太容易出現錯誤警報但也不太敏感的警報之間進行權衡(Parasuraman & Riley，1997)。為了解決這個問題，Parasuraman及其同事(Parasuraman & Hancock，1999；帕拉素拉曼，謝里丹和威金斯，2000)提出了模糊訊號檢測和貝葉斯方法來對映對世界狀態的響應。在這種方法中，特定型別響應的閾值根據條件而變化。在信任演算法可能使用概率函式來確定給定已知資訊的“最佳”響應的情況下，可以使用類似的方法，類似於可能性警報(索金、坎特維茨和坎特維茨，1988；楊，楊，胡爾卡，李，&沙阿，2017)。這種方法需要對機器置信度進行仔細的建模、量化和視覺化，目前這方面的研究雖然剛剛起步，但卻是充滿希望的階段(哈欽斯、卡明斯、德雷珀和休斯，2015)。

假設開發了一種可行的信任修復方法，將需要進行研究來評估這種主動方法的有效性，並將結果與現有的人機信任方法進行比較。眾所周知，任何主動的信任修復機制都會受到個體差異的影響；也就是說，它可能對某些人有效，但對其他人無效。鑑於先前對使用者對計算機奉承敏感性的研究(D. Johnson等人，2004)，新手使用者可能對機器的修復努力反應良好，但經驗豐富的使用者可能會發現它們陳腐或令人不快。此外，最近的研究已經確定了工作記憶容量和對自動化的信任之間的關係(Rovira等人，2016年)，因此與工作記憶較低的人相比，工作記憶較高的人往往不信任自動化。這意味著未來的信任修復努力可能與認知能力相互作用。年齡也有望在信任修復的功效中發揮調節作用。先前的研究表明，與年輕使用者相比，老年人對機器的信任不太容易受到擬人化手段的明顯操縱(Pak等人，2012年)。由於主動信任修復是一種擬人化的操作，這表明它可能對老年人不太有效。這一結果的含義是，某些信任違規是不可恢復的，信任修復策略將不會有效。這種影響可能是由於違反信任的型別(反覆違反承諾、嚴重事故)、信任修復策略的有效性以及個人與肇事者和解的意願造成的。這些因素的相互作用將是未來研究的一個重要問題。我們提出的信任修復是自治系統的一種新的基本社會能力，這也為最近的一場討論提供了資訊，這場討論隨著自治的興起提出了許多關鍵問題(恩德斯利，2017a漢考克，2017；Kaber，2017bWoods，2016)。一個特別的爭論是關於自動化和自治的水平和階段，一些人主張其實用性(恩德斯利，2017bSheridan，2017；Wickens，2017)，其他人反對這種分類(Jamieson & Skraaning，2017；M. Johnson，Bradshaw & Feltovich，2017；Naikar，2017；史密斯，2017)和許多人指出了這種方法的侷限性(伯恩斯，2017；Byrne，2017；卡明斯，2017；Kirlik，2017；J. D. Lee，2017；米勒，2017)。Kaber (2017b)指出，這種分歧的本質是基於一方討論如何自動化以及自動化什麼，另一方討論自治的特徵和期望，重點是人和機器應該如何相處。鑑於我們提議建立具有信任修復能力的自治系統，我們對這場辯論有幾點意見。首先，我們認為自治，一個獨立、可行和自治的系統(Kaber，2017a)，與自動化相比，提出了一個全新的挑戰；這是一種更加受限的技術，它專注於特定的任務和指令碼。研究和設計這兩種形式的技術應該保持不同。其次，本文提出的觀點主要傳達了人和機器應該如何相處的概念。信任修復提供了一種社會彈性的形式，一種技術識別自身錯誤並試圖與使用者一起重新構建或解決錯誤的方法。這種新提出的能力明顯不同於自動化或一般技術的典型期望。技術錯誤經常不被承認，人們會因為錯誤而受到責備或自責(諾曼，1988)。通過主動信任修復，人與機器之間更好的相互理解有望創造更好的人機合作。最後，我們確實看到了提供自治級別或型別的價值，但沒有看到什麼和如何自動化的觀點與人和機器應該如何相處是相互排斥的。圖1顯示了自治程度和人性程度之間的初始框架。雖然我們故意沒有規定具體的級別，但我們相信自主性可以並將被分為實用和有用的級別，這些級別可以作為績效和團隊合作的重要基準。這麼高的水平

關於自主性，我們預測機器自身識別和糾正錯誤的能力將成為人機團隊健康和高效運作的越來越重要的能力。未來的研究應該專門測試這個假設。

最後，法律和倫理問題一直圍繞著自動化的引入和使用(漢考克，2017)。然而，隨著自治的興起，有可能自適應地改變他們的信任恢復行為，這些問題預計會隨著自治和人性化設計水平的提高而顯著放大。一個具體的例子是一輛自動駕駛汽車撞死了一名行人；誰負責？這個法律問題可能會在自主系統的設計中產生人為因素的影響(邦納豐、沙里夫和拉赫萬，2016；Goodall，2014；林，2016)。此外，在自主失敗後，通過道歉來修復信任的概念可能是不明智的，因為這意味著內疚。法律學者目前正在自主車輛的背景下討論這些問題(Gurney，2013)，但討論的範圍需要擴大到包括試圖管理信任的自主機器。法律學者和人為因素專業人士可能需要解決完全新穎的自主性錯誤的可能性。這種失敗的一個很好的例子是機器視覺中的錯誤(沒有看到白色的卡車)導致了致命的事故(不丹，2017年)。正如在設計部分提到的，自主機器在組織中的角色決定了誰對機器負責，以及在出現錯誤、故障和效能錯誤的情況下，責任將指向哪裡。公司可能有競爭利益，如創造利潤和確保客戶滿意度。他們的信任修復策略必須平衡這些利益和這些策略將暴露的法律責任。調查人們如何區分他們對機器的直接體驗和建造機器的組織將是一個有趣的研究問題。

5.0 結論

人類和技術之間的關係將隨著其最新的部分——自主性的開始——繼續發生重大變化。“儘可能自主的合作者”正規化代表了與“自動化作為工具”正規化有著根本不同的變革，因此人因工程專業需要預測這些技術可能的不利結果，並最大限度地提高它們的收益。由於我們在心理學和系統方面的知識，我們在人類因素領域處於領先地位。從我們的角度來看，這種準備必須從將我們與技術的聯絡重新塑造為兩個幾乎平等的合作者之間的關係開始，而不是簡單地與工具進行互動。作為這一重鑄的一部分，該領域必須重新發現和重新測試來自社會科學的現有基礎知識，以判斷它們在人類自主合作的新背景下的適用性和侷限性。作為第一步，本文提供了一個路線圖和框架，可以幫助其他研究人員在結合、適應、測試和解釋人機合作的社會科學發現的艱苦過程中。這樣的框架和模式可能會提供新的創造性解決方案，並創造總體上更具彈性和生產力的關係，從而帶來更健康的生活。

6.0 參考

略