1. 程式人生 > 實用技巧 >物件儲存COS成本優化方案

物件儲存COS成本優化方案

隨著上雲企業越來越多,企業對用雲成本問題也越發重視。業務的發展會產生海量儲存需求,在雲端儲存資料時,如何進行成本優化,減輕業務負擔呢?

在進行成本優化之前,首先需要了解騰訊雲物件儲存COS的成本構成。物件儲存的計費項主要包括儲存費用、流量費用、請求費用、資料取回費用和管理費用等五大項;對於大部分客戶來說,儲存費用和流量費用是其雲端儲存成本的主要組成部分。

儲存費用方面,COS提供了標準儲存、低頻儲存、智慧分層儲存、歸檔儲存、深度歸檔儲存等不同的儲存型別,各個儲存型別的產品規格和價格均存在差異,客戶可以根據自己的業務模式選擇價效比最匹配的儲存型別。

流量費用方面,存在外網下行流量、CDN回源流量、跨地域複製流量和全球加速流量等流量型別,業務模式的差異會導致使用者流量費用的構成存在差異。比如,某客戶的業務主要以電商網站為主,存在大規模圖片分發,這類業務的CDN回源流量較多,因此消耗的流量費用主要以流量費用為主。

下面我們將從5個方面介紹COS成本優化方案:

  1. 選擇合適的儲存型別
  2. 定期通過清單和訪問日誌功能分析資料訪問模式
  3. 通過生命週期和批量處理沉降資料
  4. 通過檔案壓縮減少儲存容量
  5. 進行成本回顧

一、選擇合適的儲存型別

根據業務模式選擇合適的儲存型別能夠較大幅度地優化業務的儲存成本。COS提供了豐富多樣的儲存型別,客戶可以根據對效能、資料永續性、業務可用性的要求,選擇不同的儲存型別。標準儲存的儲存費用相對較高,但提供了最少的讀取延遲;低頻、歸檔、深度歸檔這三種儲存型別的儲存費用較低,但是在下載資料的時候,會額外消耗資料取回費用,並且需要消耗較久的取回時間,因此更適合於少量讀取的資料儲存。下表展示了使用不同儲存型別儲存一個月資料對應的儲存成本,以在廣州園區儲存100TB業務資料為例:

從表中可以看到,如果業務資料下載量較低,則選擇歸檔儲存甚至深度歸檔能有效降低儲存成本,最冷的深度歸檔儲存相較標準儲存可節省90%儲存費用;但如果業務資料需要頻繁下載,則低頻、歸檔、深度歸檔儲存的取回費用會帶來額外的成本開銷,導致整體費用反而更高。

具體到業務場景中,我們推薦:

  1. 頻繁讀寫場景:比如UGC場景、電商圖片等讀多寫少的業務,可使用標準儲存型別。如果業務對可用性和資料永續性有高要求,則可以考慮使用多可用區標準儲存。
  2. 少量讀場景(一個月讀一次):比如日誌資料分析、網盤資料等業務,讀取頻率較低,但讀取時對效能要求高,可使用低頻儲存型別。對可用性和資料永續性有高要求的業務可以使用多可用區低頻儲存。
  3. 極少量讀場景(三個月讀一次):比如視訊監控、日誌資料歸檔等業務,讀取頻率極低,對讀取效能要求較低,可使用歸檔儲存型別。
  4. 基本不讀取場景(半年讀一次):比如醫療影像、檔案資料等業務,日常僅做長期備份用,對讀取效能幾乎無要求,可使用深度歸檔儲存型別。

此外,在使用不同儲存型別時,我們建議客戶注意最小儲存時長和最小儲存單元的限制,同時關注不同儲存型別的效能表現。下表提供了一個簡單的對比。

最小儲存時長:資料儲存在對應儲存型別時,需要儲存的最短時間,不滿最短時間按照最短時間算。比如低頻儲存最少儲存 30天,如果一個低頻資料只儲存了1天就刪除,也會按照 30天計算費用。
最小儲存單元:資料儲存在對應儲存型別時,需要儲存的最小檔案容量,不滿最小檔案容量按照最小檔案容量算。比如低頻儲存最少儲存 64KB,如果一個低頻檔案只儲存了 1KB,也會按照 64KB計算費用。

二、定期通過清單和訪問日誌功能分析資料訪問模式

分析資料的訪問模式能夠為選擇合理的儲存型別提供資料支撐。COS提供了清單能力和訪問日誌功能,分別用於記錄儲存的檔案元資料資訊和檔案訪問記錄,並將這些資訊轉存到使用者的儲存桶中。

物件儲存提供了COS Select能力檢索檔案中的內容,如果您生成的清單檔案或者日誌記錄過多,您也可以購買彈性Map Reduce叢集,搭建Presto叢集進行資料分析。

以檢索分析清單檔案中的資料為例,當清單報告投遞到指定儲存桶後,您可以進入控制檯對指定的清單報告進行分析:

1、進入檔案列表,找到對應的清單報告,點選最右側檢索;

2、進入檔案檢索頁面,配置好相應入參;

3、輸入檢索語句,在檢索結果卡片頁檢視檢索結果;

注意:控制檯只支援檢索128MB以下檔案,如果清單報告的容量過大,或者報告數量過多,可以選擇工具、SDK或者API的方式呼叫。

以下是幾種常見的檢索清單報告的檢索語句:

查詢某一天某類儲存型別有多少檔案:
select count(*) from cosobject s where s._7 = 
select count(*) from cosobject s where s._7 = 'Standard'
查詢某一天某類儲存型別有多少MB容量:
select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7 = 
select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7 = 'Standard'
查詢某類儲存型別小於64KB的檔案數量:
select count(*) from cosobject s where s._7 =   and CAST(s._4 AS FLOAT) < 
select count(*) from cosobject s where s._7 = 'Standard_IA' and s._4 < 64*1024
查詢桶內跨地域複製失敗的檔案數量:
select count(*) from cosobject s where s._9 = 'Failed'

注意:清單報告中不包含表頭資訊,因此只能輸入對應欄位的序列號進行檢索,清單報告的表頭和序列號對應資訊如下:

三、通過生命週期和批量處理沉降資料

業務發展過程中,資料的訪問模式一直在動態變化,對於大部分資料而言,其訪問熱度一般隨著儲存時間的增長而降低。因此,企業需要根據業務資料訪問模式的變化,調整資料儲存型別以便業務成本處於最佳狀態。

COS提供了生命週期能力幫助企業定期地轉換儲存型別,企業可以通過清單和訪問日誌分析業務資料的訪問模式,根據業務訪問模式制定合理的生命週期轉換規則。

以某經營社群平臺的客戶為例,使用COS儲存使用者上傳的圖片資料。一般而言,圖片資料在剛上傳後的一段時間裡會被頻繁訪問,經過一段時間傳播後,大部分資料會逐漸”變冷“,訪問頻次逐漸減少。假設這一客戶大部分圖片資料在經過90天后資料訪問頻次已經低於1次/月,在365天后基本無人訪問,我們可以對比設定生命週期和不設定生命週期時的成本情況:

可以看到,使用生命週期規則管理儲存桶中的物件能夠較大幅度地降低資料儲存費用。對於長期儲存的資料,合理配置生命週期規則能幫助業務降低50%以上儲存成本。

除了管理業務資料儲存型別外,生命週期能力還可以用來管理儲存桶中的檔案碎片和歷史版本檔案。檔案碎片是業務在上傳大檔案過程中,因為網路中斷等意外情況中斷傳輸產生的檔案分塊資訊,如果業務中存在大量檔案碎片,可以通過生命週期規則對檔案碎片進行過期刪除。歷史版本檔案則是開啟版本控制功能後產生的舊檔案資訊,歷史版本檔案可以用於資料誤刪後的恢復和回滾,但會佔用儲存空間,業務同樣可以設定一個過期刪除時間,將沒有用的歷史版本檔案清理掉,以在資料安全和成本之間進行平衡。

如下圖,只需要在配置時,選擇開啟【管理歷史版本檔案】,或者選擇【刪除碎片】,即可按需進行配置。

對於個別業務,僅只需要一次性將大批量檔案轉為更冷的儲存型別,並且沒有固定的規則(比如指定的字首或者標籤),則使用者可以使用COSBatch批量處理能力,使用批量拷貝功能將資料修改為其他儲存型別或者新增物件標籤以便設定生命週期規則刪除。操作步驟如下:

1、匯出待處理檔案列表,整合成csv格式檔案;

2、建立COSBatch批量處理任務,匯入檔案列表;

3、執行批量處理任務,等候任務完成即可。

四、通過檔案壓縮減少儲存容量

對於圖片類資料,物件儲存也提供了資料壓縮能力幫助使用者壓縮圖片大小,減少儲存成本。目前提供了壓縮能力如下:

  1. Gueztli壓縮。Gueztli壓縮是一種視覺無失真壓縮,利用人眼對於部分色域及圖片細節的不敏感性,在不影響視覺效果的前提下有選擇地丟棄細節資訊,使得在相同質量條件下比原圖節省約35% - 50%的圖片大小。
  2. TPG壓縮。TPG 是騰訊推出的自研圖片格式,可將 JPG、PNG、GIF、WEBP 等格式圖片轉換為 TPG 格式,大幅減小圖片大小,壓縮比可達到35%以上。
  3. HEIF壓縮。針對 iOS 環境的圖片使用場景,可將 JPG、PNG、GIF、WEBP 等格式圖片轉換為 HEIF 格式,HEIF 格式有著超高壓縮率,壓縮比一般在45%以上。

以某客戶圖片儲存業務為例,下表對比了100TB圖片儲存採用不同壓縮方式後的成本支出情況:

從表中可以看到,使用圖片壓縮能力進行壓縮後,儘管會付出一定壓縮成本,但儲存成本大幅度降低,實際總支出也降低了。此外,業務後續使用中會產生大量的流量,通過壓縮也能極大地節約流量成本。

五、進行成本回顧

成本優化需要貫穿業務的全流程,而不僅僅只在業務上雲時進行成本規劃,客戶需要不定時進行成本回顧,按照業務需求合理規劃業務的雲端儲存架構,有利於降低儲存成本。除此之外,客戶可以進入騰訊雲計費平臺,下載騰訊雲計費賬單瞭解雲端儲存用量明細賬單,分析雲端儲存消耗情況並針對性優化。

客戶還可以關注“騰訊雲端儲存”公眾號或者進入物件儲存控制檯概覽頁,瞭解物件儲存新品釋出情況,關注對您成本優化有關的資訊。

騰訊雲物件儲存一直關注客戶儲存資料的效能和安全需求,致力於為客戶提供更低成本的儲存服務,幫忙使用者降本增效。在未來,COS會持續探索並推出更多的儲存產品和服務,挖掘場景化解決方案,為客戶提供業界內價效比最高的儲存服務。