1.動態陰影：在人工智慧和計算機視覺領域，基於靜態陰影的研究相對多些，但基於陰影的變化來估計目標的距離、形狀、運動速度等的文章則少了很多。考慮到他能提供的豐富輔助資訊，相信未來會有更多的學者會把動態陰影的分析加入到人工智慧的研究中。–愛犯錯的智慧體-五
2.除了兩個同化，深度學習對預測效能的追求也存在隱憂，那就是穩定性和可解釋性。–童話(同化)世界的人工智慧–張軍平
3.雖然流形學習在認知、機器學習方面都有很好的可解釋性，不過這幾年隨著深度學習的盛行，與它相關的文獻在相對份量上正慢慢減少。一個原因是，由於這一波人工智慧的熱潮主要是產業界開始的， 而產業界對預測的重視程度遠高於可解釋性。所以，不管學術界還是產業界都把重心放到如何通過優化深度學習模型的結構和引數優化去了。正如我之前強調過的，過分關心預測效能的同時，必然會犧牲可解釋性。因為前者關心個例，後者需要統計。兩者是一個矛盾，類似於測不準定理中的速度和位置的關係。從目前的情況來看，犧牲的可能還不止流形學習這一種具有可解釋性的方法。儘管大家在討論資料的時候，還會時不時說下流形，但最多也只是扔個概念出來，並沒有太多實質性的融入。—愛犯錯的智慧體-七
4.從顏色的傳授還能看到，人對顏色甚至知識的學習似乎是從具體到抽象逐漸過渡的，而不會一開始就接觸非常抽象的概念。如果想建構一個擬人的智慧體，是否也應該遵循這一規範呢？是否不應該從相對於視覺更為抽象的自然語言處理開始著手呢？—愛犯錯的智慧體—視覺篇(九)
5.人的視覺對邊緣的反應也有自舉的表現。圖4左圖是一組光的強度按寬度逐漸變化構成的。將其強度的柱狀圖畫出來，就象一組臺階。然而，有實驗表明，人在感知時，會在兩個相鄰的強度級的連線處產生“感受到”的向上和向下的強度變化，稱之為“馬赫效應”，可以稱其為偽邊緣。這種偽邊緣的出現，可拉開相鄰目標或前景、背景之間的差異，使輪廓會變得更清晰，繼而能幫助人類更好地區分目標和背景或其他目標。–愛犯錯的智慧體—視覺篇(十)
6.基於這個觀察，科學家們推測如果要提高人工智域很關心的可解釋性，最直觀的策略是將原空間的資料變換至一個能讓特徵數量變得極其稀疏的空間。但天下沒有免費的午餐，有稀疏必然意味著在某個地方付出稠密的代價。這就是在2000年左右提出的壓縮感測(Compressive Sensing)或稀疏學習理論的主要思想。值得一提的是，完善壓縮感測理論的貢獻人之一是據說智商高達160、拿過菲爾茲獎的華裔數學家陶哲軒。該理論最有意思的一點就是把基函式變成了一個如高斯分佈形成的隨機噪聲矩陣，在這個矩陣裡，每個點的分佈是隨機、無規律的，因而可以視為稠密的。通過這樣的處理，一大批壓縮感測或稀疏學習方法被提出，並獲得了不錯的稀疏解。
不管採用哪種方法，傅立葉、小波還是稀疏學習，都能看出類似於時間換空間、兩者不可能同時完美的影子。這種情況可以視為人工智慧領域在時空/時頻意義下的“海森堡(Heisenberg)不確定原理”。–愛犯錯的智慧體—視覺篇(十一)
7.在聽覺系統和視覺系統收集的資訊存在相互矛盾時，人類會優先相信視覺通道傳輸進來的資訊。因為與視覺系統相比，聽覺系統獲得的資訊沒有那麼強的確定性。他們將這一現象稱“麥格克效應”(McGurk effect)。該成果發表在1976年的《自然》雜誌上。隨著研究的深入，科學家們發現這種視聽覺相互影響的“麥格克效應”在很多方面都有體現。如兒童早期發音的學習上。如果視覺和聽覺沒有得到好的整合，兒童就容易產生錯誤的發音。另外，視力不好的人，如果摘下眼鏡，也很可能出現“麥格克效應”，會感覺自己的聽力也同時下降了。—愛犯錯的智慧體 — 聽覺篇(十三)：視聽錯覺與無限音階中的拓撲
8.聽覺反過來會促進視覺上的感知。我們在觀賞影視作品時經常能感受到。比如在家看恐怖電影時，一到令人發悚的情節， 膽小點的就會情不自禁把音量關小或乾脆把耳機拿下來，說明視聽覺的雙重作用確實增強了影片的恐怖程度。另外，在音樂中，還有個奇怪的旋律。他通過兩個或多個聲部的交替，能產生無窮遞進的感覺，讓人誤以為聲音一直在往高處走。這就是謝帕得音階(Shepard tone)，也稱為無限音階。有趣的是，這種迴圈，我們不僅能在音樂中看到，還能在很多方面見到類似的。比如藝術作品中，前面提到過的荷蘭著名畫家艾舍爾就畫過一系列無限迴圈的作品。如圖3所示的水的迴圈流動、樓梯的“迴圈”、還有畫裡畫外的蜥蜴。這些都是現實世界不可能實現的無限迴圈。— 聽覺篇(十三)：視聽錯覺與無限音階中的拓撲
9.拓撲學的研究在計算機圖形學方面有著異常重要的地位，因為圖形學裡涉及的結構變形、幾何結構分析上都離不開它。但是在人工智慧裡怎麼使用拓撲呢？與圖形學不同，人工智慧中有的主要是資料。每個資料點都是離散的、有噪的。如果直接利用拓撲學的概念，並不好處理，因為Betti數的估計需要連續的結構。不過幸運地是，數學家們發明了一套新的辦法來研究資料中的拓撲，叫持續同調(Persistent Homology)。需要提醒的是，僅用拓撲結構來構造目標識別系統是有風險的。比如帶把手的咖啡杯和實心甜甜圈這種人一眼就能區分的目標，從拓撲學家的角度來看卻是分不清的。更重要的是，將這類方法用於高維資料分析還存在一個問題：這些基元指標如Betti數是基於人對三維空間的直覺來獲得的；至於高維空間是否還存在一些特別的基元，人類還無法感知。也許存在更復雜的高維基元，只是無法感知和想象而已。要解開這個難題，或許和解開彭羅斯超弦理論中隱藏的高維結構一樣的困難。所以，單純依賴拓撲結構來完成人工智慧中常常面臨的預測任務，現階段很有可能會陷入與“量子計算用於人工智慧”一樣、看上去很美的尷尬境界，因為“不是不好，時辰未到”。— 聽覺篇(十三)：視聽錯覺與無限音階中的拓撲
10.在外語學習方面，有一個比較有趣的拐點錯覺，即12歲以前學習外語往往被認為是黃金時期。誇張地講，兒童在全英文環境下獲得的英文提升能力的效率，大概是成年人在相同環境下的六倍左右。這似乎與直覺有些相悖，因為成人的學習能力、學習方法、注意力都能做得更有效。如果比較下當今人工智慧對新模式的學習策略，就能發現，多數是在模擬終段的學習。不管是零樣本學習(zero-shot)、少量樣本學習(few-shot)、遷移學習(transfer learning)還是領域自適應(domain adaptation)，它們都假定了有某一已知的、（接近）固化的結構在其中，或是分佈、或是幾何結構、或是其它某種假設。如果能研究下人類智慧中段的學習模式，說不定能讓目前極容易固化的機器智慧得到更強的可塑性。----愛犯錯的智慧體 — 語言篇（十五）：可塑與多義
11.既然人類智慧體普遍具有快和慢兩種思維方式，人類還有獨特的頓悟能力。而且頓悟的最終迸發似乎又是一種接近快思維的方式。那麼，我們現有的人工智慧模型有沒可能複製這些機制呢？如果只考慮預測效能，人工智慧模型的“慢”的思維方式在某些領域確實已經佔了上風。2017年以來各大人工智慧頂會上的論文投稿數量巨增，人臉識別、影象檢索領域的識別率已優於人類的能力，這些都可以佐證人工智慧在利用複雜模型進行預測的方面有了明顯的突破。但是，“快”的思維方式這塊則還有明顯的差距。其原因一是缺乏人類學習的可塑性。結果，人工智慧模型只能沿著固化的模型結構來完成指定任務。二是缺乏對“不同結構、不同模態的網路之間的聯絡”的學習。三是未考慮認知錯覺或直覺統計學的可借鑑性。除了頓悟和認知錯覺，智慧體還有什麼感覺也可能以淺層思維或快思維模式為主呢？—愛犯錯的智慧體（十七）：靈光一閃與認知錯覺
12.現有機器遺忘內容的方法與人類及其他非人智慧體的處理有本質區別。因為機器的“遺忘”是為了適應新資料的分佈，而不會考慮保留的資訊對回憶、情感的意義。 而人類保留資訊的目標並非完全是為了適應新的資料分佈，而是用這些片段來幫助自己回顧個人的人生、體會曾經的酸甜苦辣。這些都造成了人與機器的本質性區別，即機器缺乏對真實情感的需求。所以，機器遺忘機制在方法論上隱含的假設應該是：機器不需要回憶，他只需要按人類既定的指標要求，實現精準預測即可。----愛犯錯的智慧體(十八)：情感與回憶錯覺
13.回憶錯覺的一種，稱為曼德拉效應（英語：Mandela Effect），是指很多人都發覺對同一事物的記憶與事實有出入的現象。一種可能的解釋是人在刪除資訊後，重建的時候更容易將記憶的與最緊密相關但不一定正確的內容聯絡，並還原完整的資訊。----愛犯錯的智慧體(十八)：情感與回憶錯覺
14.我不懷疑現有的人工智慧模型可以以足夠高的精度來預測智慧體的情感狀態，但我比較懷疑這些模型是否能真正明白什麼是情感？什麼是回憶？如果在建模時，缺乏從直覺情感到深層次情感的遞進建模過程，缺乏形成智慧體個體與眾不同的多樣性，那麼還原出來的情感也只能是機器的機械錶現。也許，我們可以考慮重拾“觀察”這個古樸的研究方法，去深入瞭解情感的發育，比如兒童的情感發育。考慮到人類兒童期過於漫長，也可以觀察下最能理解人類情感、成熟又比較快的巨集物狗的情感、常識發育。----愛犯錯的智慧體(十八)：情感與回憶錯覺
15.不論採用的是哪種方法，從本質上都有一個隱含假設在其中。既認為個體的活動具有隨機性，但納入群體後，最終這種區域性或個體的隨機性可以收斂到全域性平衡有序的環境。基於這一假設，以上提及的非人智慧群體智慧、微觀群體演算法和遺傳演算法常被用於目標的尋優，目的是為了幫助需要迭代求解或梯度尋優的演算法獲得最優解。需要注意的是，由於這類演算法或多或少都帶有比較強的啟發式，因此不太容易找到好的理論性證明，如數學家們偏好的存在性、收斂性和唯一性等以及統計學家偏好的泛化界。即使有一些理論性的證明，也只是在給了較多假設條件後的有限結論。儘管如此，這類方法在工程上仍然形成了不少好的應用成果。----愛犯錯的智慧體(十九) – 群體智慧與錯覺
16.如果分析以上這些群體智慧學習，不難發現，這些群體演算法要麼是針對某個目標的優化來考慮的，要麼是針對某個目標的預測來實施的。研究非人智慧體的群體演算法時，科學家們著重觀察的現象似乎主要與其群體的生存密切相關。反觀人類，在成了地球主宰後，早已不再僅僅滿足於生存需求，還衍生了生理、安全、社交、尊重和自我實現共五個層次的需求，被稱為馬斯洛需求層次理論。而這些高層次的需求在人工智慧的學習中卻很少被涉及。如果要研究人工智慧，必然要考慮人工智慧體形成社會和群體、而非個體時的情況。那我們不妨看看，人類智慧體在生存需求以上，群體生活時會存在哪些錯覺。如果人工智慧體希望模擬人的群體行為，也許就能從這些錯覺中得到一些經驗的借鑑。----愛犯錯的智慧體(十九) – 群體智慧與錯覺
17.比如馬路上突然有人打架，於是路人們會一擁而上，觀戰拿手機發朋友圈。這是資訊理論下“對知識的渴求”表現出來的群體本能反應。可是假如不是打架，而是刑事事件時，旁觀者願意主動施救的反而可能變少，尤其是在人來人往的場所。這是因為當在場的人太多時，幫助的責任就被大家平分，平分到連旁觀者都意識不到，以至於給人造成了“集體冷漠”的感覺。這不是資訊量在起作用，而是責任分散效應的群體錯覺。我國的“三個和尚”故事中講的“一個和尚挑水喝,兩個和尚擡水喝,三個和尚沒水喝”，就是責任分散效應的體現。----愛犯錯的智慧體(十九) – 群體智慧與錯覺
18.有人期望通過群體的力量獲得整合學習般的效能提升。然而，“物以類聚、人以群分”，即使現代社會也是如此，如朋友圈中的五花八門的群，常是因某一方面的共性而形成的群體。在這種群體時，執異見的更容易被孤立而非接納。不僅群體有排斥現象，甚至有時還會有智商、情商的拉低效應。比如如果參加傳銷團體，人會不由自主失去自我意識，導致本應正常的智商無法表現，變成智力水平低下的生物。這些現象是群體的拉平錯覺。----愛犯錯的智慧體(十九) – 群體智慧與錯覺