1. 程式人生 > >讀書筆記∣概率論沉思錄 01

讀書筆記∣概率論沉思錄 01

  概率的解釋基礎分為兩種,一是物理世界本身存在的隨機性(客觀概率),二是是我們由於資訊不足而對事件發生可能性的度量(主觀概率)。基於此,形成了概率論的兩大學派:頻率論學派(傳統數理統計學)和貝葉斯統計學

  頻率論學派認為概率是物質屬性,認為事件本身具有客觀的隨機性,試圖從自然角度出發,直接為“事件”本身建模,即事件A在獨立重複試驗中發生的頻率趨於極限p,這個極限就是該事件的概率。

  貝葉斯學派認為概率是主觀認識,認為同一事件對於知情者而言就是確定事件,對於不知情者而言就是隨機事件,隨機性並不源於事件本身是否發生,只是描述觀察者對該事件的知識狀態。

  現有教材大多都圍繞頻率論,《概率論沉思錄》(Probability Theory:The Logic of Science)((美)E.T.Jaynes)基於主觀概率假設和幾個其他的假設(人腦思考抽象而來),用嚴格的邏輯推理證明概率論的幾大公理,證明了所有能用客觀概率假設能解的題,用主觀概率假設也都能解,且在給定充分資訊情況下,主觀概率都會逼近客觀概率。它闡述了貝葉斯理論的豐富應用,彌補了其他概率和統計教材的不足。

1 合情推理 Plausiblereasoning

The actual science of logic is conversantat present only with things either certain, impossible, or entirely doubtful,none of which (fortunately) we have to reason on. Therefore the true logic forthis world is the calculus of Probabilities, which takes account of themagnitude of the probability which is, or ought to be, in a reasonable man’smind.

JamesClerk Maxwell (1850)

1.1 演繹推理與合情推理 Deductiveand plausible reasoning

該部分作者主要基於亞里士多德的《工具論》總結出五種三段論推理,並結合相關案例,以此來對比演繹推理和合情推理的不同。

(1)演繹推理:強三段論,證明式推理apodeixis

證明式推理是一種必然性推理,只要前提為真,其結論也就必然為真,書中總結了兩種形式:

例如:

All men are rational(men(A) →rational(B))

Bob is a man(men(A))

Therefore, bob is rational(rational(B))

②同理

例如:

All men are rational(men(A) →rational(B))

Bob is not rational(rational(-B))

Therefore, bob is not a man(men(-A))

(2)合情推理:弱三段論

例如:

A ≡ itwill start to rain by 10 am at thelatest

B ≡ thesky will become cloudy before 10 am

這個例子表明,“如果A成立則B成立”表明B只是A的一個邏輯性後果;但在物理上這兩者之間不一定存在因果關係,並不意味著A之後的一段時間B一定發生。早上10點鐘的雨並不是9:45的烏雲的物理原因。相反的,此處合適的邏輯關係不存在於不確定的因果方向(雲→雨),而是(雨→雲),這是確定的但並非存在因果關係。

在這種情況中,我們並不能說B是假的,但B的真實性由於A而降低了,因此我們對B為真的相信程度降低了。

  These examples show that the brain, indoing plausible reasoning, not only decides whether something becomes moreplausible or less plausible, but that it evaluates the degree of plausibilityin some way. The plausibility for rain by 10 am depends very much on the darknessof those clouds at 9:45. And the brain also makes use of old information aswell as the specific new data of the problem; in deciding what to do we try torecall our past experience with clouds and rain, and what the weathermanpredicted last night.

  大腦在作出合理推導的時候,並不僅僅決定某些事比較合理或者較不合理,而是用某些方法評估合理的程度。早上10開始下雨的合理性很大程度上依賴於9:45天黑的程度。大腦同樣也使用過去的資訊和當前資訊的細節對比;我們一方面回憶過去烏雲和下雨的關係,一方面回憶昨晚天氣預報的情況,以作出判斷。

  為了說明大腦基於先前經驗來評估推論合理的程度,我們舉另一個例子:

  一個珠寶店的窗戶被砸碎了,同時,一個戴著面具的男子正從窗戶裡往外爬,攜帶的包裹裡似乎裝滿了昂貴的珠寶,一般情況下,我們判斷出這個男子是小偷。但這個男子可能是珠寶店的主人,他剛從一個假面舞會上回來,而且身上沒有帶著鑰匙。當他剛剛經過自己的店面時,一輛經過的卡車上甩落的石頭砸碎了窗戶,而他只不過是在照看自己的私人財產而已。假如每個警察每天晚上都要遇到好幾次這種情況,每次遇到的男子都是無辜的,那麼警察們就會把這類情況當成無關緊要的小事了。這說明:

  In our reasoning we depend very much onprior information to help us in evaluating the degree of plausibility in a newproblem. This reasoning process goes on unconsciously, almost instantaneously,and we conceal how complicated it really is by calling it common sense.

總結:

  The deductive reasoning described above hasthe property that we can go through long chains of reasoning of the type ①and ②and the conclusions have just as much certainty as the premises.With the other kinds of reasoning, ③–⑤, the reliability of the conclusion changes as we go through severalstages. But in their quantitative form we shall find that in many cases ourconclusions can still approach the certainty of deductive reasoning. Even apure mathematician actually uses these weaker forms of reasoning most of thetime. Of course, on publishing a new theorem, the mathematician will try veryhard to invent an argument which uses only the first kind; but the reasoning processwhich led to the theorem in the first place almost always involves one of theweaker forms.

1.2 和物理理論的類比Analogies with physical theories

             本部分轉載自豆瓣《概率論沉思錄02》 https://www.douban.com/note/101705248/

   物理學中,我們知道世界如此複雜,以致不能一次性全部分析。只有把問題分解成小份,並單獨研究,才可能取得進展。有時,我們能設計數學模型,體現出一個小問題的部分特性——我們把這種也稱之為進展。這些就是物理理論。隨著知識累積,我們建立的模型也越來越好,並能體現越來越多、越來越精確的真實世界的特性。沒人知道這個過程什麼時候結束,抑或會無窮地發展下去。
   在理解常識時,我們也採取相同步驟。我們並不一次性全部理解,但如果我們能建立理想化的數學模型,並體現部分特性,我們就認為有了進展。我們期待,我們所建立的任何模型,都會在未來被更復雜的模型所取代,而且我們也不知道這種過程何時會自然結束。
   這種和物理理論的對應,比單純的方法論的類比更為深刻。通常,對於我們最熟悉的事物也是最難理解的事物。有些現象,大多數人並不知道它們的存在(比如鐵和鎳的紫外線光譜區別),可以用大量的數學技巧來解釋——但是一片草葉是如何長出來的,這種最常見的現象並不能為現代科學所解釋。相應的,我們並不能對我們的模型作過多期望;我們必須理解,要對精神活動中最常見的特點進行建模,很可能是最困難的。
   還有更多的相似性。物理中,我們看見有些領域,任何知識的進展都可以帶來一系列大量的實際價值,但其本質是不可預料的。倫琴發現的X光帶給醫學診斷新的可能性;麥克斯韋方程式的發現,則帶來全球即時通訊的變革。 
我們  關於常識所建立的數學模型,也體現了實用的特性。任何成功的模型,即使只能體現少量的常識特性,也會在某些應用領域體現出其強大威力。在該領域中,問題推理涉及到如此繁瑣的細節,以至於(除了我們的模型以外)別無他法可以解決。

總結:在本書中,作者嘗試建立數學模型來進行問題推理