1. 程式人生 > 其它 >日誌服務資料匯入

日誌服務資料匯入

體驗簡介

本場景將提供一臺配置了CentOS 7.7版本的ECS例項(雲伺服器)。通過本教程的操作,您可以基於已有環境快速採集Nginx日誌。

體驗此場景後,可以掌握的知識有:

日誌服務資料匯入基本操作。

背景知識

本場景主要涉及以下雲產品和服務:

日誌服務:
日誌服務SLS是雲原生觀測與分析平臺,為Log、Metric、Trace等資料提供大規模、低成本、實時的平臺化服務。日誌服務一站式提供資料採集、加工、查詢與分析、視覺化、告警、消費與投遞等功能,全面提升您在研發、運維、運營、安全等場景的數字化能力。

雲伺服器ECS:
雲伺服器(Elastic Compute Service,簡稱ECS)是阿里雲提供的效能卓越、穩定可靠、彈性擴充套件的IaaS(Infrastructure as a Service)級別雲端計算服務。雲伺服器ECS免去了您採購IT硬體的前期準備,讓您像使用水、電、天然氣等公共資源一樣便捷、高效地使用伺服器,實現計算資源的即開即用和彈性伸縮。阿里雲ECS持續提供創新型伺服器,解決多種業務需求,助力您的業務發展。

上傳日誌檔案

1、開啟虛擬桌面的FireFox ESR瀏覽器,在RAM使用者登入頁面,輸入雲產品資源列表中的子使用者名稱稱,然後單擊下一步。

2、在使用者密碼頁面,輸入雲產品資源列表中的子使用者密碼,然後單擊登入。


3、在瀏覽器中開啟新頁籤,訪問如下地址,下載測試日誌檔案。

https://sls-shiyanshi.oss-cn-hangzhou.aliyuncs.com/sls/testlog.csv

4、在瀏覽器中開啟新頁籤,複製如下物件儲存OSS控制檯地址,貼上到位址列中並訪問。

https://oss.console.aliyun.com/

5、在物件儲存控制檯左側導航欄中,單擊Bucket列表。

6、在Bucket列表頁面,單擊Bucket名稱。

7、在檔案管理頁面,單擊新建目錄。

8、在新建目錄對話方塊中,輸入目錄名sls,單擊確定。

9、在檔案管理頁面,單擊檔名sls。

10、在sls目錄中,單擊上傳檔案。

11、在上傳檔案頁面,檔案ACL選擇公共讀,單擊掃描檔案,找到目錄/home/adc/下載,選擇下載好的測試日誌test.log,然後單擊上傳檔案。

在任務列表頁面,等待狀態變為上傳成功,表示測試日誌檔案已經上傳成功到OSS。

建立Logstore

1、在瀏覽器中開啟新頁籤,複製如下日誌服務控制檯地址,貼上到位址列中並訪問。

https://sls.console.aliyun.com/

2、在日誌服務控制檯頁面下方的Project列表區域,選擇雲產品資源列表中Project name,然後單擊Project名稱。


3、在左側日誌庫功能欄中,單擊


4、在建立Logstore對話方塊中,輸入Logstore名稱,開啟WebTracking開關,然後單擊確定。
引數說明:

Logstore名稱:自定義Logstore名稱,在其所屬Project內必須唯一。建立Logstore成功後,無法更改其名稱。

WebTracking:開啟WebTracking開關,您可以通過WebTracking從HTML、H5、iOS或Android上採集資料到日誌服務。

5、在建立成功對話方塊中,單擊取消。

匯入OSS資料

1、在日誌服務控制檯的接入資料區域,單擊OSS-物件儲存。

2、在選擇日誌空間頁面,在專案Project中選擇雲產品資源列表中的Project name,在日誌庫Logstore中選擇步驟三中建立的Logstore,然後單擊下一步。

3、在資料來源設定頁面,輸入配置名稱,選擇OSS Region、Bucket,輸入資料夾字首,選擇資料格式,然後單擊預覽。
引數說明:

配置名稱:自定義配置名稱。

OSS Region:待匯入的OSS檔案所在Bucket的地域,可在雲產品資源列表中檢視Bucket的地域。

Bucket:待匯入的OSS檔案所在的Bucket,可在雲產品資源列表中檢視Bucket Name。

資料夾字首:待匯入的OSS檔案所在資料夾的字首,輸入sls/。

資料格式:檔案的解析格式,選擇單行文字日誌。

4、在檔案預覽結果框中,預覽資料,結果無誤後,單擊下個配置。

5、在資料格式配置頁面,單擊測試,測試結果無誤後,單擊下個配置。

6、在排程間隔頁面,開啟立即執行,單擊下一步。

7、在查詢分析配置頁面,單擊下一步。

8、在結束頁面,單擊查詢日誌。

9、在查詢分析對話方塊中,單擊確定。

10、在查詢分析頁面,稍等幾分鐘後,單擊查詢/分析,即可查詢到從OSS匯入的日誌資料。