資料流小問題--find the missing elements

阿新 • • 發佈：2019-02-20

這是關於資料流的一個有趣的小問題。問題可以定義為：整個資料流裡的元素為1到n的排列（無序），假設移除了k個數，如何找出這k個數。要求使用盡可能少的空間。而且只能順序掃描資料一次。

對於這個問題，如果沒有空間的限制，我們可以使用bitmap輕鬆搞定，bitmap使用n位即可，掃描到每個元素i，就把第i位設為1，最後結束後值為0的那些位置序號找出來就是所求結果，空間複雜度為O(n)。這個問題時間複雜度肯定是O(n)，但在空間複雜度上仍可改進。我們從k=1和k=2這特殊情況開始討論，然後給出這個問題的通用解決方法。

一、k=1

假設 $\pi$ 是1到n的排序， $\pi _{-1}$ 是 $\pi$ 中移除其中一個元素構成的元素， $\pi _{-1}=\left \{ a_1,\dots,a_{n-1} \right \}$ 。如何找出移除的那個元素i，也就是找出 $i\in\pi$

，但是 $i\notin\pi_{-1}$ 。

對於這個問題，應該比較容易想出來如下方法來進行計算。我們知道 $\pi$ 中元素總和為 $\sum_{j\in[n]}j=n(n+1)/2$ ，而 $\pi _{-1}$ 中元素總和為 $\sum_{j\in[n],j\neq i}j=n(n+1)/2-i$ 。我們只需要統計出流中元素總和即可。這時候我們演算法中儲存的最大的數字為n*(n+1)/2，需要 $\left \lfloor \log n(n+1)/2 \right \rfloor+1$ 位來儲存，所以空間複雜度為 $O(\left \lfloor 2\log n \right \rfloor)$ 。

二、k=2

該種情況就是資料流中原本n個元素，移除了兩個元素，還剩n-2個元素 $i1$ 和 $i2$ 。按照第一節中的思路，我們可以求出移除元素的和以及平方和，然後通過解方程來獲得最終答案。具體來說，我們首先計算：

$\alpha =\sum_{j\in[n]}j=n(n+1)/2$ ， $\beta =\sum_{j\in[n]}j^2=n(n+1)(2n+1)/6$

我們在遍歷每個元素 $a_k$ 的時候，進行：

$\alpha \leftarrow \alpha -i1$ ， $\beta \leftarrow \beta -a_k^2$

當遍歷完整個資料流後，我們可得：

$\alpha ={i1}+{i2}$ ， $\beta ={i1}^2+{i2}^2$

通過解方程組即可得出：

$i1=(\alpha +\sqrt{2\beta -\alpha ^2})/2$ ， $i2=\alpha -i1$ 。

我們需要儲存 $\alpha$ 和 $\beta$ 兩個變數。 $\alpha$ 需要 $\left \lfloor 2\log n \right \rfloor$ ， $\beta$ 需要 $\left \lfloor 3\log n \right \rfloor$ ，總共需要 $\left \lfloor 5\log n \right \rfloor$ 位儲存。

三、k>=3

該種情況下我們可以將k=2時的解決思路進行拓展。我們首先可以使用第二節中的方法得到移除元素的和、平方和，一直到k次方的和。

$\\a_1+a_2+\dots+a_k=b_1\\ a_1^2+a_2^2+\dots+a_k^2=b_2\\ \dots\\ a_1^k+a_2^k+\dots+a_k^k=b_k\\$

另外：

$\\c_1=a_1+a_2+\dots+a_k\\ c_2=a_1a_2+a_1a_3+\dots+a_{k-1}a_k\\ \dots\\ c_k=a_1a_2\dots a_k$

通過newton identities， $c_i$ 可有由 $b_1,\dots,b_{i}$ 和 $c_1,\dots,c_{i-1}$ 表示。 $c_1$ 到 $c_k$ 其實就是 $(x-a_1)*(x-a_2)*\dots*(x-a_k)$ 展開後 $x_{k-1}$ 到x的係數以及常數項（的絕對值）。 $x^k-c_1x^{k-1}+\dots+c_k=0$ 的解是 $a_1$ 到 $a_k$ 。