2013百度校園招聘資料探勘工程師

一、簡答題（30分）
1、簡述資料庫操作的步驟（10分）

步驟：建立資料庫連線、開啟資料庫連線、建立資料庫命令、執行資料庫命令、儲存資料庫命令、關閉資料庫連線。

經萍萍提醒，瞭解到應該把preparedStatement預處理也考慮在資料庫的操作步驟中。此外，對實時性要求不強時，可以使用資料庫快取。

2、TCP/IP的四層結構（10分）

3、什麼是MVC結構，簡要介紹各層結構的作用（10分）

Model、view、control。

二、演算法與程式設計（45分）
1、由a-z、0-9組成3位的字元密碼，設計一個演算法，列出並列印所有可能的密碼組合（可用虛擬碼、C、C++、Java實現）（15分）

把a-z,0-9共（26+10）個字元做成一個數組，然後用三個for迴圈遍歷即可。每一層的遍歷都是從陣列的第0位開始。

2、實現字串反轉函式（15分）

#include <iostream>
#include <string>
using namespace std;

void main(){

    string s = "abcdefghijklm";
    cout <<  s << endl;
    int len = s.length();
    char temp = 'a';
    for(int i = 0; i < len/2
 
; i++){
        temp = s[i];
        s[i] = s[len - 1 - i];
        s[len - 1 - i] = temp;
    }
    
    cout << s;
    
}

3、百度鳳巢系統，廣告客戶購買一系列關鍵詞，資料結構如下：（15分）
User1 手機 智慧手機 iphone 桌上型電腦 …
User2 手機 iphone 膝上型電腦 三星手機 …
User3 htc 平板電腦 手機 …
（1）根據以上資料結構對關鍵詞進行KMeans聚類，請列出關鍵詞的向量表示、距離公式和KMeans演算法的整體步驟

KMeans方法一個很重要的部分就是如何定義距離，而距離又牽扯到特徵向量的定義，畢竟距離是對兩個特徵向量進行衡量。

本題中，我們建立一個table。

只要兩個關鍵詞在同一個user的描述中出現，我們就將它在相應的表格的位置加1.

這樣我們就有了每個關鍵詞的特徵向量。

例如：

<手機>=（1,1,2,1,1,1,0,0）

<智慧手機> = （1,1,1,1,0,0,0,0）

我們使用夾角餘弦公式來計算這兩個向量的距離。

夾角餘弦公式：

設有兩個向量a和b，，

所以，cos<手機，智慧機>=（1+1+2+1）/(sqrt(7+2^2)*sqrt(4))=0.75

cos<手機，iphone>=(2+1+2+1+1+1)/(sqrt(7+2^2)*sqrt(2^2+5))=0.80

夾角餘弦值越大說明兩者之間的夾角越小，夾角越小說明相關度越高。

通過夾角餘弦值我們可以計算出每兩個關鍵詞之間的距離。

特徵向量和距離計算公式的選擇（還有其他很多種距離計算方式，各有其適應的應用場所）完成後，就可以進入KMeans演算法。

KMeans演算法有兩個主要步驟：1、確定k箇中心點；2、計算各個點與中心點的距離，然後貼上類標，然後針對各個類，重新計算其中心點的位置。

初始化時，可以設定k箇中心點的位置為隨機值，也可以全賦值為0。

KMeans的實現程式碼有很多，這裡就不寫了。

不過值得一提的是MapReduce模型並不適合計算KMeans這類遞迴型的演算法，MR最拿手的還是流水型的演算法。KMeans可以使用MPI模型很方便的計算（慶幸的是YARN中似乎開始支援MPI模型了），所以hadoop上現在也可以方便的寫高效演算法了（但是要是MRv2哦）。

（2）計算給定關鍵詞與客戶關鍵詞的文字相關性，請列出關鍵詞與客戶的表達符號和計算公式

 這邊的文字相關性不知道是不是指非語義的相關性，而只是詞頻統計上的相關性？如果是語義相關的，可能還需要引入topic model來做輔助（可以看一下百度搜索研發部官方部落格的這篇【語義主題計算】）……

如果是指詞頻統計的話，個人認為可以使用Jaccard係數來計算。

通過第一問中的表格，我們可以知道某個關鍵詞的向量，現在將這個向量做一個簡單的變化：如果某個分量不為0則記為1，表示包含這個分量元素，這樣某個關鍵詞就可以變成一些詞語的集合，記為A。

客戶輸入的關鍵詞列表也可以表示為一個集合，記為B

Jaccard係數的計算方法是：

所以，假設某個使用者userX的關鍵詞表達為：{三星手機，手機，平板電腦}

那麼，關鍵詞“手機”與userX的關鍵詞之間的相關性為：

J("手機"，“userX關鍵詞”)=|{三星手機，手機，平板電腦}|/|{手機，智慧手機，iphone，桌上型電腦，膝上型電腦，三星手機，HTC，平板電腦}| = 3/8

關鍵詞“三星手機”與使用者userX的關鍵詞之間的相關性為：

J("三星手機"，“userX關鍵詞”)=|{手機，三星手機}|/|{手機，三星手機，iphone，膝上型電腦，平板電腦}| = 2/5

 三、系統設計題（25分）
一維資料的擬合，給定資料集{xi,yi}(i=1,…,n)，xi是訓練資料，yi是對應的預期值。擬使用線性、二次、高次等函式進行擬合
線性：f(x)=ax+b
二次：f(x)=ax^2+bx+c
三次：f(x)=ax^3+bx^2+cx+d
（1）請依次列出線性、二次、三次擬合的誤差函式表示式（2分）

誤差函式的計算公式為：

係數1/2只是為了之後求導的時候方便約掉而已。

那分別將線性、二次、三次函式帶入至公式中f(x_i)的位置，就可以得到它們的誤差函式表示式了。
（2）按照梯度下降法進行擬合，請給出具體的推導過程。（7分）

假設我們樣本集的大小為m，每個樣本的特徵向量為X₁=(x₁₁,x₁₂, ..., x_1n)。

那麼整個樣本集可以表示為一個矩陣：

其中每一行為一個樣本向量。

我們假設係數為θ，則有係數向量：

對於第 i 個樣本，我們定義誤差變數為

我們可以計算cost function：

由於θ是一個n維向量，所以對每一個分量求偏導：

梯度下降的精華就在於下面這個式子：

這個式子是什麼意思呢？是將係數減去導數（導數前的係數先暫時不用理會），為什麼是減去導數？我們看一個二維的例子。

假設有一個曲線如圖所示：

假設我們處在紅色的點上，那麼得到的導數是個負值。此時，我在當前位置（x軸）的基礎上減去一個負值，就相當於加上了一個正值，那麼就朝導數為0的位置移動了一些。

如果當前所處的位置是在最低點的右邊，那麼就是減去一個正值（導數為正），相當於往左移動了一些距離，也是朝著導數為0的位置移動了一些。

這就是梯度下降最本質的思想。

那麼到底一次該移動多少呢？就是又導數前面的係數α來決定的。

現在我們再來看梯度下降的式子，如果寫成矩陣計算的形式（使用隱式迴圈來實現），那麼就有：

這邊會有點棘手，因為j確定時，x_ij為一個數值（即，樣本的第j個分量），Xθ-Y為一個m*1維的列向量（暫時稱作“誤差向量”）。

括號裡面的部分就相當於：

第1個樣本第j個分量*誤差向量 + 第2個樣本第j個分量*誤差向量 + ... + 第m個樣本第j個分量*誤差向量

我們來考察一下式子中各個部分的矩陣形式。

當j固定時，相當於對樣本空間做了一個縱向切片，即：

那麼此時的x_ij就是m*1向量，所以為了得到1*1的形式，我們需要拼湊 (1*m)*(m*1)的矩陣運算，因此有：

如果把θ向量的每個分量統一考慮，則有：

關於θ向量的不斷更新的終止條件，一般以誤差範圍（如95%）或者迭代次數（如5000次）進行設定。

梯度下降的有點是：

不像矩陣解法那麼需要空間（因為矩陣解法需要求矩陣的逆）

缺點是：如果遇上非凸函式，可能會陷入區域性最優解中。對於這種情況，可以嘗試幾次隨機的初始θ，看最後convergence時，得到的向量是否是相似的。

（3）下圖給出了線性、二次和七次擬合的效果圖。請說明進行資料擬合時，需要考慮哪些問題。在本例中，你選擇哪種擬合函式。（8分）

因為是在網上找的題目，沒有看到圖片是長什麼樣。大致可能有如下幾種情況。

如果是如上三幅圖的話，當然是選擇中間的模型。

欠擬合的發生一般是因為假設的模型過於簡單。而過擬合的原因則是模型過於複雜且訓練資料量太少。

對於欠擬合，可以增加模型的複雜性，例如引入更多的特徵向量，或者高次方模型。

對於過擬合，可以增加訓練的資料，又或者增加一個L2 penalty，用以約束變數的係數以實現降低模型複雜度的目的。

L2 penalty就是：

（注意不要把常數項係數也包括進來，這裡假設常數項是θ₀）

另外常見的penalty還有L1型的：

（L1型的主要是做稀疏化，即sparsity）

兩者為什麼會有這樣作用上的區別可以找一下【統計之都】上的相關文章看一下。我也還沒弄懂底層的原因是什麼。

（4）給出實驗方案（8分）

2013網易實習生招聘 崗位：資料探勘工程師 
一、問答題 
a) 欠擬合和過擬合的原因分別有哪些？如何避免？

欠擬合：模型過於簡單；過擬合：模型過於複雜，且訓練資料太少。
b) 決策樹的父節點和子節點的熵的大小？請解釋原因。 

父節點的熵>子節點的熵

c) 衡量分類演算法的準確率，召回率，F1值。

d) 舉例序列模式挖掘演算法有哪些？以及他們的應用場景。

DTW（動態事件規整演算法）：語音識別領域，判斷兩端序列是否是同一個單詞。

Holt-Winters（三次指數平滑法）：對時間序列進行預測。時間序列的趨勢、季節性。

Apriori

Generalized Sequential Pattern(廣義序貫模式)

PrefixSpan

 二、計算題 
1) 給你一組向量a，b 
a) 計算二者歐氏距離 

(a-b)(a-b)^T

即：

b) 計算二者曼哈頓距離 

2) 給你一組向量a，b，c，d
a) 計算a，b的Jaccard相似係數

 b) 計算c，d的向量空間餘弦相似度 

c) 計算c、d的皮爾森相關係數

 即線性相關係數。

或者

 三、（題目記得不是很清楚） 
一個文件-詞矩陣，給你一個變換公式tfij’=tfij*log(m/dfi)；其中tfij代表單詞i在文件f中的頻率，m代表文件數，dfi含有單詞i的文件頻率。 
1) 只有一個單詞只存在文件中，轉換的結果？（具體問題忘記） 

2) 有多個單詞存在在多個文件中，轉換的結果？（具體問題忘記） 

3) 公式變換的目的？

四、推導樸素貝葉斯分類P(c|d)，文件d（由若干word組成），求該文件屬於類別c的概率，
並說明公式中哪些概率可以利用訓練集計算得到。

 五、給你五張人臉圖片。 
可以抽取哪些特徵？按照列出的特徵，寫出第一個和最後一個使用者的特徵向量。

 六、考查ID3演算法，根據天氣分類outlook/temperature/humidity/windy。（給你一張離散型
的圖表資料，一般學過ID3的應該都知道） 

a) 哪一個屬性作為第一個分類屬性？ 

b) 畫出二層決策樹。 

七、購物籃事物（關聯規則） 
一個表格：事物ID/購買項。 
1) 提取出關聯規則的最大數量是多少？（包括0支援度的規則）

 2) 提取的頻繁項集的最大長度（最小支援>0） 

3) 找出能提取出4-項集的最大數量表達式 
4) 找出一個具有最大支援度的項集（長度為2或更大） 

5) 找出一對項a，b，使得{a}->{b}和{b}->{a}有相同置信度。

 八、一個釋出優惠劵的網站，如何給使用者做出合適的推薦？有哪些方法？設計一個合適的系

統（線下資料處理，存放，線上如何查詢？）

轉：http://www.cnblogs.com/elaron/p/3325937.html