01複雜度分析(上)
一、資料結構和演算法解決的是“快”和“省”的問題,即如何讓程式碼執行的更快,如何讓程式碼更節省儲存空間。執行效率是演算法一個非常重要的考量指標。如何衡量演算法的執行效率?就需要時間、空間複雜度分析。
二、程式碼跑一遍,通過統計、監控,就能得到演算法執行的時間和佔用的記憶體大小,這種叫做事後統計法。事後統計法有侷限性,測試結果依賴測試環境、受資料規模影響大。所以我們需要一個不用具體測試資料,,就可以粗略估計演算法的執行效率的方法,即時間、空間複雜度分析方法。
三、大O複雜度表示法
1 int cal(int n) { 2 int sum = 0; 3 int i = 1; 4示例1for (; i <= n; ++i) { 5 sum = sum + i; 6 } 7 return sum; 8 }
假設每行程式碼的執行時間都一樣,為unit_time。在這個假設基礎上,這段程式碼的總執行時間:第2、3行程式碼分別需要1個unit_time的執行時間,第4、5行都運行了n遍,所以需要2n*unit_time的執行時間,這段程式碼總的執行時間就是(2n+2)*unit_time。可以看出,所有程式碼的執行時間T(n)與每行程式碼的執行次數成正比。
1 int cal(int n) { 2 int sum = 0;示例23 int i = 1; 4 int j = 1; 5 for (; i <= n; ++i) { 6 j = 1; 7 for (; j <= n; ++j) { 8 sum = sum + i * j; 9 } 10 } 11 }
這段程式碼總的執行時間是T(n) = (2n2+2n+3)*unit_time。
所有程式碼的執行時間 T(n) 與每行程式碼的執行次數 f(n) 成正比。我們可以把這個規律總結成一個公式。注意,大 O 就登場了!
具體解釋一下這個公式。其中,T(n) 我們已經講過了,它表示程式碼執行的時間;n 表示資料規模的大小;f(n) 表示每行程式碼執行的次數總和。因為這是一個公式,所以用 f(n) 來表示。公式中的 O,表示程式碼的執行時間 T(n) 與 f(n) 表示式成正比。
所以,第一個例子中的 T(n) = O(2n+2),第二個例子中的 T(n) = O(2n2+2n+3)。這就是大 O 時間複雜度表示法。大 O 時間複雜度實際上並不具體表示程式碼真正的執行時間,而是表示程式碼執行時間隨資料規模增長的變化趨勢,所以,也叫作漸進時間複雜度(asymptotic time complexity),簡稱時間複雜度。
當 n 很大時,你可以把它想象成 10000、100000。而公式中的低階、常量、係數三部分並不左右增長趨勢,所以都可以忽略。我們只需要記錄一個最大量級就可以了,如果用大 O 表示法表示剛講的那兩段程式碼的時間複雜度,就可以記為:T(n) = O(n); T(n) = O(n2)。
四、時間複雜度分析
1.只關注迴圈執行次數最多的一段程式碼
我剛才說了,大 O 這種複雜度表示方法只是表示一種變化趨勢。我們通常會忽略掉公式中的常量、低階、係數,只需要記錄一個最大階的量級就可以了。所以,我們在分析一個演算法、一段程式碼的時間複雜度的時候,也只關注迴圈執行次數最多的那一段程式碼就可以了。這段核心程式碼執行次數的 n 的量級,就是整段要分析程式碼的時間複雜度。
示例1中,迴圈執行次數最多的是第 4、5 行程式碼,所以這塊程式碼要重點分析。前面我們也講過,這兩行程式碼被執行了 n 次,所以總的時間複雜度就是 O(n)。
2.加法法則:總複雜度等於量級最大的那段程式碼的複雜度
1 int cal(int n) { 2 int sum_1 = 0; 3 int p = 1; 4 for (; p < 100; ++p) { 5 sum_1 = sum_1 + p; 6 } 7 8 int sum_2 = 0; 9 int q = 1; 10 for (; q < n; ++q) { 11 sum_2 = sum_2 + q; 12 } 13 14 int sum_3 = 0; 15 int i = 1; 16 int j = 1; 17 for (; i <= n; ++i) { 18 j = 1; 19 for (; j <= n; ++j) { 20 sum_3 = sum_3 + i * j; 21 } 22 } 23 24 return sum_1 + sum_2 + sum_3; 25 }示例3
這個程式碼分為三部分,分別是求 sum_1、sum_2、sum_3。我們可以分別分析每一部分的時間複雜度,然後把它們放到一塊兒,再取一個量級最大的作為整段程式碼的複雜度。
第一段的時間複雜度是多少呢?這段程式碼迴圈執行了 100 次,所以是一個常量的執行時間,跟 n 的規模無關。
這裡我要再強調一下,即便這段程式碼迴圈 10000 次、100000 次,只要是一個已知的數,跟 n 無關,照樣也是常量級的執行時間。當 n 無限大的時候,就可以忽略。儘管對程式碼的執行時間會有很大影響,但是回到時間複雜度的概念來說,它表示的是一個演算法執行效率與資料規模增長的變化趨勢,所以不管常量的執行時間多大,我們都可以忽略掉。因為它本身對增長趨勢並沒有影響。
那第二段程式碼和第三段程式碼的時間複雜度是多少呢?答案是 O(n) 和 O(n2),你應該能容易就分析出來,我就不囉嗦了。
綜合這三段程式碼的時間複雜度,我們取其中最大的量級。所以,整段程式碼的時間複雜度就為 O(n2)。也就是說:總的時間複雜度就等於量級最大的那段程式碼的時間複雜度。
那我們將這個規律抽象成公式就是:如果 T1(n)=O(f(n)),T2(n)=O(g(n));那麼 T(n)=T1(n)+T2(n)=max(O(f(n)), O(g(n))) =O(max(f(n), g(n))).
3.乘法法則:巢狀程式碼的複雜度等於巢狀內外程式碼複雜度的乘積
公式:如果 T1(n)=O(f(n)),T2(n)=O(g(n));那麼 T(n)=T1(n)*T2(n)=O(f(n))*O(g(n))=O(f(n)*g(n)).
也就是說,假設 T1(n) = O(n),T2(n) = O(n2),則 T1(n) * T2(n) = O(n3)。落實到具體的程式碼上,我們可以把乘法法則看成是巢狀迴圈,我舉個例子給你解釋一下。
1 int cal(int n) { 2 int ret = 0; 3 int i = 1; 4 for (; i < n; ++i) { 5 ret = ret + f(i); 6 } 7 } 8 9 int f(int n) { 10 int sum = 0; 11 int i = 1; 12 for (; i < n; ++i) { 13 sum = sum + i; 14 } 15 return sum; 16 }示例4
我們單獨看 cal() 函式。假設 f() 只是一個普通的操作,那第 4~6 行的時間複雜度就是,T1(n) = O(n)。但 f() 函式本身不是一個簡單的操作,它的時間複雜度是 T2(n) = O(n),所以,整個 cal() 函式的時間複雜度就是,T(n) = T1(n) * T2(n) = O(n*n) = O(n2)。
五、幾種常見時間複雜度例項分析
對於剛羅列的複雜度量級,我們可以粗略地分為兩類,多項式量級和非多項式量級。其中,非多項式量級只有兩個:O(2n) 和 O(n!)。
我們把時間複雜度為非多項式量級的演算法問題叫作 NP(Non-Deterministic Polynomial,非確定多項式)問題。
當資料規模 n 越來越大時,非多項式量級演算法的執行時間會急劇增加,求解問題的執行時間會無限增長。所以,非多項式時間複雜度的演算法其實是非常低效的演算法。因此,關於 NP 時間複雜度我就不展開講了。我們主要來看幾種常見的多項式時間複雜度。
1.O(1):常數階時間複雜度
O(1) 只是常量級時間複雜度的一種表示方法,並不是指只執行了一行程式碼。比如這段程式碼,即便有 3 行,它的時間複雜度也是 O(1),而不是 O(3)。
1 int i = 8; 2 int j = 6; 3 int sum = i + j;示例5
只要程式碼的執行時間不隨 n 的增大而增長,這樣程式碼的時間複雜度我們都記作 O(1)。或者說,一般情況下,只要演算法中不存在迴圈語句、遞迴語句,即使有成千上萬行的程式碼,其時間複雜度也是Ο(1)。
2. O(logn)、O(nlogn):對數階時間複雜度
1 i=1; 2 while (i <= n) { 3 i = i * 2; 4 }示例6
根據我們前面講的複雜度分析方法,第三行程式碼是迴圈執行次數最多的。所以,我們只要能計算出這行程式碼被執行了多少次,就能知道整段程式碼的時間複雜度。
從程式碼中可以看出,變數 i 的值從 1 開始取,每迴圈一次就乘以 2。當大於 n 時,迴圈結束。還記得我們高中學過的等比數列嗎?實際上,變數 i 的取值就是一個等比數列。如果我把它一個一個列出來,就應該是這個樣子的:
所以,我們只要知道 x 值是多少,就知道這行程式碼執行的次數了。通過 2x=n 求解 x 這個問題我們想高中應該就學過了,我就不多說了。x=log2n,所以,這段程式碼的時間複雜度就是 O(log2n)。
現在,我把程式碼稍微改下,你再看看,這段程式碼的時間複雜度是多少?
1 i=1; 2 while (i <= n) { 3 i = i * 3; 4 }示例7
根據我剛剛講的思路,很簡單就能看出來,這段程式碼的時間複雜度為 O(log3n)。
實際上,不管是以 2 為底、以 3 為底,還是以 10 為底,我們可以把所有對數階的時間複雜度都記為 O(logn)。為什麼呢?
我們知道,對數之間是可以互相轉換的,log3n 就等於 log32 * log2n,所以 O(log3n) = O(C * log2n),其中 C=log32 是一個常量。基於我們前面的一個理論:在採用大 O 標記複雜度的時候,可以忽略係數,即 O(Cf(n)) = O(f(n))。所以,O(log2n) 就等於 O(log3n)。因此,在對數階時間複雜度的表示方法裡,我們忽略對數的“底”,統一表示為 O(logn)。
如果你理解了我前面講的 O(logn),那 O(nlogn) 就很容易理解了。還記得我們剛講的乘法法則嗎?如果一段程式碼的時間複雜度是 O(logn),我們迴圈執行 n 遍,時間複雜度就是 O(nlogn) 了。而且,O(nlogn) 也是一種非常常見的演算法時間複雜度。比如,歸併排序、快速排序的時間複雜度都是 O(nlogn)。
3. O(m+n)、O(m*n)
我們再來講一種跟前面都不一樣的時間複雜度,程式碼的複雜度由兩個資料的規模來決定。老規矩,先看程式碼!
1 int cal(int m, int n) { 2 int sum_1 = 0; 3 int i = 1; 4 for (; i < m; ++i) { 5 sum_1 = sum_1 + i; 6 } 7 8 int sum_2 = 0; 9 int j = 1; 10 for (; j < n; ++j) { 11 sum_2 = sum_2 + j; 12 } 13 14 return sum_1 + sum_2; 15 }示例8
從程式碼中可以看出,m 和 n 是表示兩個資料規模。我們無法事先評估 m 和 n 誰的量級大,所以我們在表示複雜度的時候,就不能簡單地利用加法法則,省略掉其中一個。所以,上面程式碼的時間複雜度就是 O(m+n)。
針對這種情況,原來的加法法則就不正確了,我們需要將加法規則改為:T1(m) + T2(n) = O(f(m) + g(n))。但是乘法法則繼續有效:T1(m)*T2(n) = O(f(m) * f(n))。
六、空間複雜度分析
前面,咱們花了很長時間講大 O 表示法和時間複雜度分析,理解了前面講的內容,空間複雜度分析方法學起來就非常簡單了。
前面我講過,時間複雜度的全稱是漸進時間複雜度,表示演算法的執行時間與資料規模之間的增長關係。類比一下,空間複雜度全稱就是漸進空間複雜度(asymptotic space complexity),表示演算法的儲存空間與資料規模之間的增長關係。
我還是拿具體的例子來給你說明。(這段程式碼有點“傻”,一般沒人會這麼寫,我這麼寫只是為了方便給你解釋。)
1 void print(int n) { 2 int i = 0; 3 int[] a = new int[n]; 4 for (i; i <n; ++i) { 5 a[i] = i * i; 6 } 7 8 for (i = n-1; i >= 0; --i) { 9 print out a[i] 10 } 11 }示例9
跟時間複雜度分析一樣,我們可以看到,第 2 行程式碼中,我們申請了一個空間儲存變數 i,但是它是常量階的,跟資料規模 n 沒有關係,所以我們可以忽略。第 3 行申請了一個大小為 n 的 int 型別陣列,除此之外,剩下的程式碼都沒有佔用更多的空間,所以整段程式碼的空間複雜度就是 O(n)。
我們常見的空間複雜度就是 O(1)、O(n)、O(n2 ),像 O(logn)、O(nlogn) 這樣的對數階複雜度平時都用不到。而且,空間複雜度分析比時間複雜度分析要簡單很多。所以,對於空間複雜度,掌握剛我說的這些內容已經足夠了。