1. 程式人生 > >kettle抓取網頁上的資料儲存到資料表中

kettle抓取網頁上的資料儲存到資料表中

今天做一個利用kettle抓取網頁資料儲存到資料表中的demo,如抓取AA市的空氣質量AQI

1.檢視網頁資訊

2.按下開發者工具,檢視虎丘空氣質量日報的請求

3.弄懂了網頁請求,並通過檢視資料格式,可以在資料庫中建表,表格如下

4.接下來就是在kettle中進行操作了

kettle的整體流程如下:

下面進行分級講解,首先新建轉換,然後建立資料庫連線,這些我就不詳細貼圖講解了,不懂者可以去看我前面關於kettl的部落格。然後新建生成記錄的輸入,生成記錄的詳情如下圖

其中的url就是前面檢視得到的url請求,station就是後面拿來做where條件匹配所用。

然後新建一個Http Client的查詢,詳情如下

然後新建一個插入更新的輸出,首先資料插入表,詳情如下

如果以上步驟全部正確,點選執行即可得到資料,資料庫表資料如下

以上就把網頁中的資料抓取到自己的資料庫中了。