1. 程式人生 > >均值與期望:傻傻分不清?

均值與期望:傻傻分不清?

作者: 一人

前些日子偶然間聽到一位新同事問一位做演算法的同事:均值是不是期望?老演算法回答說:這是不同的概念。說完之後,由於有事就急匆匆的走了。偶聽到之後狐疑了一會,打開了搜尋引擎。當然,答案是非常明晰且簡單的,均值嚴格來說就是期望。然而在查閱網上相關討論時發現很多人對它們是分不清的。後來思來想去,為什麼造成如此大的誤解?直至近日有了答案。

由於語言等方面的原因,通常人們口中說到均值的時候,是在談論平均值。因此,以上的混亂事實上是對平均值和期望的混亂。而平均值屬於《數理統計》的範疇,期望屬於《概率論》的範疇,因此,這種混淆更深層次的反映出人們對這兩門學科理解的混亂。

眾多原因造成平均值與期望的混淆

通過查閱相關資料,發現混淆平均值和期望的現象並不是個例1,因此有理由懷疑這種現象的存在有著本質的原因,經過多方分析,我發現造成人們混淆兩者關係的原因是多個方面的:
1. 學習與應用過程當中對於二者“不加區分”
2. 二者都是總體趨勢的一種度量
3. 語言文化的影響

學習與應用過程當中對於二者“不加區分”

++內容安排與課程設定上沒有進行隔離++。在學習相關知識的時候教材通常是《概率論與數理統計》,由於概率論與數理統計聯絡十分緊密,出版社將這兩門學科安排在了同一本書中。對於懵懂的大一新生來說,都是一本書、一堂課、一個教學老師,對於習慣了以前不同科目不同老師的劃分方式,這樣的內容安排以及教學安排是很難接受的。學生在思維上沒有及時轉變過來,因此,混淆這兩者的關係就是情理之中了。

++缺少實踐機會無法對知識進行修正++。我們說實踐是檢驗真理的唯一標準,如果學習到錯誤的知識,那麼在應用過程中就會出錯,進而人們對於以前的概念進行修正,最終吸收的知識就一定是正確的。如果缺乏這種應用,那麼就失去了發現錯誤概念並修正的機會。而且,應用實踐相比學習難度大了不止一個量級,很多人往往也僅僅是做到了“學”,而放棄了”習“的過程。在《概率論與數理統計》這門課的學習過程中,在教學過程當中缺乏對於這兩門知識的實踐應用,安排的只是一些純理論的計算,沒有實驗驗證環節。因此,混淆知識就是十分普遍的了。

二者聯絡十分緊密

++二者都是總體趨勢的一種度量++。平均值2和中位數、眾數、中點距被一起用來描述一組樣本的中心趨勢,是樣本集合的一種中心化趨勢的描述。期望的描述引述陳希孺院士《概率論與數理統計》

3如下:

數學期望常稱為“均值”,即“隨機變數取值的平均值”之意,當然這個平均,是指以概率為權的加權平均。……數學期望是由隨機變數的分佈完全決定。

以上表明數學期望是隨機變數的一種中心化趨勢的描述。如果認為平均值和期望相同,大腦只需對一個點進行記憶;如果不同,就需要對兩個點進行記憶,更何況是隨機變數這種十分抽象的概念。因此,忽視前面的修飾(樣本集合、隨機變數)就是十分普遍的事情了。

++大數定理將二者連線起來++。大數定理45說明當樣本量N趨近無窮大的時候,樣本的平均值無限接近數學期望。

In probability theory, the law of large numbers (LLN) is a theorem that describes the result of performing the same experiment a large number of times. According to the law, the average of the results obtained from a large number of trials should be close to the expected value, and will tend to become closer as more trials are performed.

這裡有一個限定條件“樣本量趨近無窮大”,往往人們容易遺忘的就是這個限定條件。如果樣本較小的時候,使用平均值來代替期望就要計算它可信程度了(置信水平)。

語言文化的影響

前面引文說過,數學期望又叫均值;而我們的平均值和均值只是一字之差,少一個字就是相同的。而在英語中平均值寫作average,均值寫作mean,這兩個字型上就差別比較大。

我們的目的是更好的應用,縱然有許多困難,還是需要克服。弄明白了混淆的原因,就要想辦法將二者清晰的區分開來了。

區分平均值和期望

本文開頭已經敘述過,平均值屬於《數理統計》的範圍,期望屬於《概率論》的範圍。文中又說到大數定理的連線作用。接下來我們將對其展開描述。

明確平均值的研究範疇-數理統計

數理統計6是數學的一個分支,通過資料收集、分析、理解來進行推理;應用於科學、工業、社會問題。通常研究的是統計類總體或統計模型的過程。在進行資料普查的時候,統計學家通過設計特定的實驗來進行樣本收集。其中,典型性抽樣假設可以通過合理的方法將基於統計樣本的結論和推論應用於整個總體。實驗性研究通過設計系統的評價,並對系統進行修改,之後通過相同的過程對系統進行評價,判斷通過這種修改系統的方式能否成功的修改系統的測量值。

資料分析領域有兩個主要的統計方法:描述統計和統計推斷。描述統計使用一些指標如均值、標準差對資料集合進行總結性描述;而==統計推斷從資料當中得出關於隨機變數的結論,是對隨機現象的分析,它的基礎是概率論==。

標準的統計過程是關於測試兩個資料樣本之間的關係的,一個是真實的資料樣本,一個是從理想模型當中取樣得到的虛擬樣本。通常人們開始時,都先假設這兩個資料集之家沒有關聯,稱關係假設為空。之後通過在資料集上進行統計測驗,來對這種假設進行驗證,根據驗證結果來判斷假設是否合理。這種情況下就會容易出現兩種錯誤:“false positive”(假設被錯誤的拒絕)與“false negative”(假設被錯誤的接受),引起這些問題的因素非常的多:從獲取足夠的資料樣本到想象夠多的假設等。

對系統進行衡量而產生統計資料的過程也同樣會面對誤差,這些誤差被分為隨機誤差和系統誤差,但是其他類誤差如人們無意間犯的錯誤、資料來源錯誤等也同樣重要。資料的丟失和刪除可能會導致有偏性的估計值,當然現在已經有以下特定技巧對其進行緩解。

統計的出現可以追溯到公元前5世紀了,但是直到18世紀才開始了基於計算理論和概率論的理論分析。在近些年,統計已經成為更多的使用統計軟體進行統計測試了,例如描述性分析。

從以上描述中可以看出平均值就是描述統計當中一個描述性指標,是資料集合總體趨勢的一種描述指標。

數理統計以樣本資料集合為出發點;概率論則不同,以事件的概率本質為出發點。

明確期望的研究範疇-概率論

概率論7是數學的一個分支,主要研究事件的概率。雖然概率論有很多種不同的解釋,但對於它的表示則是建立在一組公理之上,這可是非常嚴謹的。嚴格講,它將0與1之間的一個數值分配給輸出集合(樣本空間),這樣在概率空間中形式化的表示概率。輸出集合的任意子集就稱作為一個事件。

概率論研究的主題主要包括離散和連續變數、概率分佈、隨機過程。它是非確定性或者不確定性過程的一個抽象表示,是隨機方式出現或執行過程的一種可測性度量。

雖然不能完美的對隨機事件進行預測,但是依然說明了很多規律。概率論有兩個主要成果:大數定理和中心極限定理。

作為統計學的數學基礎,概率論在人們關於資料定量分析有關的活動中扮演非常重要的角色。在複雜系統當中,當只提供部分資訊時,概率論中的方法也可以用來對其進行描述。二十世紀最偉大的發現之一是在量子力學中,人們發現了在原子空間中物理現象的本質是基於概率的。

期望就是其中關於隨機變數的一種總體性描述,它是事件本質的一種表達。

叢然,世間事物的本質撲朔迷離,對其進行準確的定量描述十分困難。但是經過眾多天才科學家的不懈努力,最終找到了一條通往事物本質的大道,那就是大數定理。

大數定理的應用與侷限

大數定理將屬於數理統計的平均值和屬於概率論的期望聯絡在一起。通過前文描述我們知道,通過收集大量的樣本並計算樣本集合的平均值可以無限近似期望,而且事物的其他本質屬性則可以通過基於期望的變換得來,因此人們可以通過運用大數定律來接近事物本質。

找到接近事物本質的方法無疑是令人振奮的,其強大的魅力使很多人迷戀。但是,我們知道沒有放之四海而皆準的東西,大數定理也不例外。

樣本量很大的要求限制了大數定理的應用。大數定理強調需要當樣本量趨近無限大的時候,平均值才可以無限接近期望,此時可以使用平均值代替期望,但是很多時候,樣本收集具有很大的成本,或是時間成本或是金錢成本,因此只能收集到小樣本量的資料。此時根據大數定理採用平均值代替期望的方法可信度就會下降,例如在醫學臨床試驗中樣本量太少;在行星軌跡觀測中收集時間過長。

為了解決這個問題,人們提出了貝葉斯8的方法,此處不再展開,請查閱其他資料。

學習建議

當然,知識混亂我私以為大部分的責任是旁人的,個人只是承擔很少的責任。倘若開始學習就看的是經典教材而不是為了照顧本校某位老師編著教科書的銷量;倘若上課老師直接就是領域內的泰山北斗而不是某位領導的弟子;倘若課程中設計了動手實驗環節而不是僅僅讀書朗誦,那麼我相信這種基礎概念的混淆是不會出現的。當然以上闡述是以少看劇、少打遊戲為前提的。

相關推薦

均值期望

作者: 一人 前些日子偶然間聽到一位新同事問一位做演算法的同事:均值是不是期望?老演算法回答說:這是不同的概念。說完之後,由於有事就急匆匆的走了。偶聽到之後狐疑了一會,打開了搜尋引擎。當然,答案是非常明晰且簡單的,均值嚴格來說就是期望。然而在查閱網上相關討論時

狀態圖活動圖

前言 最近在畫UML圖的時候突然間發現對於狀態圖和活動圖優點傻傻不分清,及時知道了原理也很難畫出來,為此我困惱了很長時間,通過和王嘯師哥交流才更加的有信心!不同人畫的圖有不同的思考,只有圖畫的多,思考

Web前端後端,

processor sea fix world port submit 文章 word targe 1. Web前端後端傻傻分不清 原創 2016年12月25日 19:50:08 7178 0 2 前言 ??做C開發將近六年,基本上沒有接觸過web相關的東西,原

NPM install -save 和 -save-dev

als config 回顧 tool 變量 項目 比較 gulp itl 本文原文地址:https://www.limitcode.com/detail/59a15b1a69e95702e0780249.html 回顧 npm install 命令 最近在寫Node程序的時

python接口自動化13-data和json參數

自動 AS json格式 tle class ID -name loading CA 前言 在發post請求的時候,有時候body部分要傳data參數,有時候body部分又要傳json參數,那麽問題來了:到底什麽時候該傳json,什麽時候該傳data? 一、識別jso

[web前端] npm install -save 和 -save-dev

本文原文地址:https://www.limitcode.com/detail/59a15b1a69e95702e0780249.html 最近在寫Node程式的時候,突然對 npm install 的-save和-save-dev 這兩個引數的使用比較混亂。其實博主在這之前對這兩個引數的理解也是模糊的,各

神經網路訓練中,Epoch、Batch Size和迭代

你肯定經歷過這樣的時刻,看著電腦螢幕抓著頭,困惑著:「為什麼我會在程式碼中使用這三個術語,它們有什麼區別嗎?」因為它們看起來實在太相似了。 為了理解這些術語有什麼不同,你需要了解一些關於機器學習的術語,比如梯度下降,以幫助你理解。 這裡簡單總結梯度下降的含義… 梯度下降 這是一個在機器學習中用於尋找最

JavaScript陣列之系列(split,splice,slice)

因業務場景需求,需要將一個數組截斷而不需要影響原陣列。這裡來理解一下 slice,splice,split 2個引數:1、起點,從這個起點開始(從0開始算,包含它)2、結束點,到這個位置的前一個結束(即不包含它本身),未設定或者超出長度則預設到結尾由於它有不改變原陣列的特性,slice(0)可以深度拷貝一

Post,Get介面

Post,Get介面傻傻分不清? 引言 幾天前和後端同事探討介面問題。起因是他給我一個不需要任何資料提交,單純得到資料的Post介面。引發了我對Post,Get介面的思考。 Post,Get介面是我們最常使用的介面。那麼那些似乎約定俗成的規則又是怎麼來的呢? 他們究竟哪裡不同? 下面讓我們一探究竟吧。

[隨手記]NPM install -save 和 -save-dev

說明: 想了解到這個問題,在網上搜索到的解釋,覺得很好,隨手記下來,依據原作者要求,附上原文資訊: 如下是原文的資訊: 作者:暗夜餘暉 正文: 回顧 npm install 命令 最近在寫Node程式的時候,突然對 npm install 的-save和-sa

[轉自有道]十六種英語時態?一篇文章告訴你它們的所有用法

時態Tense是表示行為、動作和狀態在各種時間條件下的動詞形式。因此,當我們說時態結構的時候,指的是相應時態下的動詞形式 英語時態共有16種,分別是一般現在、一般過去、一般將來、過去將來時,以及這四者的進行時、完成時和完成進行時 在不同的時態中,動詞都會發生相應變化,時間狀

的javascript執行機制

學習到javascript的執行機制時,有幾個概念經常出現在各種文章中且容易混淆。Execution Context(執行環境或執行上下文),Context Stack (執行棧),Variable Object(VO: 變數物件),Active Object(AO: 活動物件),LexicalEnvi

超畫素、語義分割、例項分割、全景分割

在計算機視覺中,影象分割是個非常重要且基礎的研究方向。簡單來說,影象分割(image segmentation)就是根據某些規則把圖片中的畫素分成不同的部分(加不同的標籤)。 影象分割中的一些常見的術語有:superpixels(超畫素)、Semantic Segmentation(語義分割)、Instan

C++ 全域性變數 靜態全域性變數

今天上午寫C++程式碼,被神馬全域性變數和靜態全域性變數困住了,出現了各種“重定義”和“連結”相關的error。到底在哪裡宣告,在哪裡定義,哪裡使用extern?傻傻分不清~ 本來我想自己總結一下的,後來看到網上的總結太詳細了,我就直接轉載一下,以下文章轉自網站“指令碼之家”,看這篇文章還順帶複習編

Cuda Core,SM,SP等等

背景   在深度學習大熱的年代,平行計算也跟著火熱了起來。深度學習變為可能的一個重要原因就是算力的提升。作為平行計算平臺的一種,GPU及其架構本身概念是非常多的。下面就進行一個概念闡述,以供參考。 GPU:視訊記憶體+計算單元   GPU從大的方面來講

ERP、進銷存、倉儲管理系統三者

查了很多資料、聽了很多介紹,看到ERP、進銷存、倉儲管理系統這三個詞是不是依然一臉懵B? 今天,選軟體網就來給大家說說他們仨之間的區別與聯絡。 一、懵圈源頭:共同的模組功能 這三大管理軟體為什麼會讓大家產生混淆,究其根本,是因為ERP、進銷存、倉儲管理系統

指標陣列,陣列指標

總結如下(1) 指標陣列:簡單講,就是由指標組成的陣列。即指標中的每個元素都是相同的資料型別的指標變數。定義:char *arr[4] = {"hello", "world", "shannxi", "xian"};//arr就是我定義的一個指標陣列,它有四個元素,每個元素是

RCurl中這麼多get函式,是是一直!!!

杜雨,EasyCharts團隊成員,R語言中文社群專欄作者,興趣方向為:Excel商務圖表,R語

別在session跟cookies了。

我相信大家有很多時候分不清session跟cookies的使用,確實他們真的很像。會話(Session)跟蹤是Web程式中常用的技術,用來跟蹤使用者的整個會話。常用的會話跟蹤技術是Cookie與Session。Cookie通過在客戶端記錄資訊確定使用者身份,Session通過

騰訊雲的開發環境和生產環境

開發環境和生產環境 為了方便開發除錯,防止影響到線上服務,騰訊雲提供開發和生產兩套環境,兩套環境擁有以下特點: 開發環境 免費使用 自動分配測試用二級域名:xxxxxxx.qcloud.la 自動部署免費 HTTPS 僅可用於線上除錯,不可釋出