1. 程式人生 > 其它 >AWS 13 Advanced S3 & Athena

AWS 13 Advanced S3 & Athena

S3 MFA刪除
•MFA(多因素認證)強制使用者在裝置上生成程式碼(通常是在S3上執行重要操作之前)
•要使用MFA Delete,請在S3儲存桶上啟用版本控制
•你需要MFA來
•永久刪除物件版本
•暫停儲存桶上的版本控制
•您不需要使用MFA
•啟用版本控制
•列出已刪除的版本
•只有儲存桶所有者(根帳戶)可以啟用/禁用MFA刪除
•當前只能使用CLI啟用MFA刪除

--------------------------------------------------------------------------------
S3預設加密與Bucket策略

•一種“強制加密”的方法是使用bucket策略並拒絕任何
用於放置不帶加密頭的S3物件的API呼叫:
•另一種方法是在S3中使用“預設加密”選項
•注意:Bucket策略在“預設加密”之前進行評估
--------------------------------------------------------------------------------

S3訪問日誌
•出於審計目的,您可能希望記錄對S3的所有訪問水桶
•從任何授權或授權賬戶向S3提出的任何請求拒絕,將登入到另一個S3儲存桶
•可以使用資料分析工具分析資料…

•或亞馬遜Athena,我們將在本節後面看到!
•日誌格式如下:
https://docs.aws.amazon.com/AmazonS3/latest/dev/LogFormat.html

S3訪問日誌:警告
•不要將日誌儲存桶設定為受監控的儲存桶
•它將建立一個日誌迴圈,您的儲存桶將以指數級增長
--------------------------------------------------------------------------------

S3複製(CRR和SRR)
•必須在源和目標中啟用版本控制
•跨地區複製(CRR)
•同一地區複製(SRR)
•儲存桶可以位於不同的帳戶中
•複製是非同步的
•必須向S3授予適當的IAM許可權
•CRR——用例:法規遵從性、較低延遲訪問、,跨帳戶複製
•SRR–用例:日誌聚合、實時複製在生產和測試帳戶之間


S3複製–注意事項
•啟用後,僅複製新物件(不追溯)
•對於刪除操作:
•可以將刪除標記從源複製到目標(可選設定)
•不復制具有版本ID的刪除(以避免惡意刪除)
•沒有複製的“連結”
•如果bucket 1複製到bucket 2,而bucket 2複製到bucket 3
•那麼在bucket 1中建立的物件不會複製到bucket 3
------------------------------------------------------------------------------------------------------

S3預簽名URL
•可以使用SDK或CLI生成預簽名URL
•用於下載(簡單,可以使用CLI)
•對於上傳(更難,必須使用SDK)
•預設值為3600秒時有效,可以更改超時時間--expires in
[TIME_BY_SECONDS]引數
•獲得預簽名URL的使用者將繼承使用者的許可權生成了GET/PUT的URL

•例如:
•僅允許登入使用者在S3儲存桶上下載高階視訊
•通過動態生成URL,允許不斷變化的使用者列表下載檔案
•允許使用者暫時將檔案上傳到我們儲存桶中的精確位置
------------------------------------------------------------------------------------------------------
S3儲存類 ppt不一樣

•亞馬遜S3標準-通用
•亞馬遜S3標準不頻繁訪問(IA)
•亞馬遜S3一區不常訪問
•亞馬遜S3智慧分層(Intelligent Tiering)
•亞馬遜冰川(Amazon Glacier)
•亞馬遜冰川深層檔案
•Amazon S3減少冗餘儲存(已棄用-省略)

S3標準-通用
•跨越多個AZ的Object的高耐久性(99.99999999%) 11 9
•如果你用Amazon S3儲存10000000個物件,你平均可以
預計每10000年損失一件物品
•它具有低延遲和高吞吐量 ,頻繁訪問的資料。
•特定年份99.99%的可用性, 每年大約53分鐘 這個服務不可用
•維持2次併發設施故障
•用例:大資料分析、移動和遊戲應用程式、內容分發…

S3標準-不頻繁訪問(IA)
•適用於訪問頻率較低但需要快速恢復的資料需要時訪問
•跨越多個AZ的物體的高耐久性(99.99999999%)
•99.9%的可用性
•與Amazon S3標準相比,成本較低
•維持2次併發設施故障
•用例:作為災難恢復的資料儲存,備份…

S3一個區域-不頻繁訪問(IA)
•與IA相同,但資料儲存在單個AZ中
•單個AZ中物品的高耐用性(99.99999999%);AZ時資料丟失被摧毀了
•99.5%的可用性
•低延遲和高吞吐量效能
•支援傳輸資料時的SSL和靜止時的加密
•與IA相比成本較低(20%)
•用例:儲存本地資料的輔助備份副本,或儲存可以重新建立的資料

S3智慧分層
•與S3標準相同的低延遲和高吞吐量效能
•每月少量監控和自動分層費用
•根據不斷變化的訪問模式在兩個訪問層之間自動移動物件
•設計為99.99999999%的物體在多個可用區的耐久性
•對影響整個可用性區域的事件具有彈性
•針對特定年份99.9%的可用性而設計

亞馬孫冰川 Amazon Glacier

•用於存檔/備份的低成本物件儲存
•資料保留時間較長(10年)
•可替代本地磁帶儲存
•平均年耐久性為99.99999999%
•每月儲存成本(0.004美元/GB)+檢索成本
•冰川中的每一項都被稱為“檔案”(高達40TB)
•檔案儲存在“保險庫”中

亞馬孫冰川與冰川深層檔案 Amazon Glacier & Glacier Deep Archive
•亞馬遜冰川——3種檢索選項:
•加急(1至5分鐘)
•標準(3至5小時)
•散裝(5至12小時)
•最短儲存期限為90天

•亞馬遜冰川深層檔案–用於長期儲存–更便宜:
•標準(12小時)
•批量(48小時)
•最小儲存時間為180天

S3–在儲存類之間移動
•您可以轉換物件儲存類之間
•對於不常訪問的物件,把它們移到標準_IA
•對於不需要的歸檔物件需要實時,冰川或深度檔案
•移動的物體可以使用生命週期實現自動化配置
------------------------------------------------------------------------------------------------------
S3生命週期規則

•轉換操作:它定義物件何時轉換到另一個儲存類
•建立60天后將物件移動到標準IA類
•6個月後轉移到冰川進行歸檔
•過期操作:將物件配置為在一段時間後過期(刪除)
•訪問日誌檔案可設定為在365天后刪除
•可用於刪除檔案的舊版本(如果啟用了版本控制)
•可用於刪除不完整的多部分上傳

•可以為某個字首建立規則(例如-s3://mybucket/mp3/*)
•可以為特定物件標籤建立規則(部門名稱:財務)

S3生命週期規則——場景1

•EC2上的應用程式在個人資料照片後建立影象縮圖上傳到Amazon S3。這些縮圖可以很容易地重新建立,
只需要儲存45天。源影象應該能夠要在這45天內立即檢索,然後最多可等待6小時。你會怎麼設計這個?

•S3源映像可以是標準的,具有生命週期配置,45天后將它們轉移到冰川。
•S3縮圖可以位於ONEZONE_IA上,並具有生命週期配置45天后過期(刪除)。

S3生命週期規則–場景2

•貴公司的一條規定是,您應該能夠恢復立即刪除S3物件15天,儘管這種情況可能很少發生。
在此之後,最多365天,刪除的物件應該可以恢復48小時內。

•為了獲得物件版本,您需要啟用S3版本控制,以便“刪除的物件”實際上被“刪除標記”隱藏,並且可以被刪除恢復
•您可以將物件的這些“非當前版本”轉換為S3_IA
•之後,您可以將這些“非當前版本”轉換為深度檔案
-----------------------------------------------------------------------------------------------
S3–基線效能
•Amazon S3自動擴充套件到高請求率,延遲100-200毫秒
•您的應用程式至少可以實現3500次放置/複製/釋出/刪除和桶中每個字首每秒5500個GET/HEAD請求。
•桶中字首的數量沒有限制。
•示例(物件路徑=>字首):
•bucket/folder1/sub1/file=>/folder1/sub1/
•bucket/folder1/sub2/file=>/folder1/sub2/
•bucket/1/file=>/1/
•bucket/2/file=>/2/
•如果在所有四個字首上均勻分佈讀數,可以達到22000 GET和HEAD每秒的請求數

S3–KMS限制
•如果您使用SSE-KMS,您可能會受到影響受KMS限制
•上傳時,它會呼叫GenerateDakey KMS API
•下載時,它會呼叫解密KMS API
•計入每秒公里數配額(5500、10000、30000請求/秒,基於地區)
•您可以使用服務配額控制檯設定上限

S3效能
•多部分上傳:
•建議用於大於100MB的檔案,必須用於大於5GB的檔案
•有助於並行上傳(速度向上轉移)

•S3傳輸加速度
•通過傳輸提高傳輸速度檔案到AWS邊緣位置,該位置將資料轉發到中的S3儲存桶目標區域
•與多部分上傳相容

S3效能–S3位元組範圍獲取
•通過請求特定的位元組範圍
•在發生故障時具有更好的恢復能力

可以用來加速下載
只能用於檢索部分資料(例如檔案頭)

-----------------------------------------------------------------------------------------------
S3 Select & Glacier Select

•通過執行伺服器端篩選,使用SQL檢索較少的資料
•可以按行和列進行篩選(簡單的SQL語句)
•網路傳輸更少,客戶端CPU成本更低

S3事件通知

•S3:ObjectCreated,S3:ObjectRemoved,
S3:ObjectRestore,S3:Replication…
•可能的物件名稱篩選(*.jpg)
•用例:生成上傳到S3的影象縮圖

•可以根據需要建立任意多個“S3事件”
sns、 sqs、 lambda、 function

•S3事件通知通常以秒為單位傳送事件
但有時可能需要一分鐘或更長時間

•如果對單個無版本物件進行兩次寫入同時,可能只有一個事件
將傳送通知
•如果要確保傳送事件通知對於每一次成功的寫入,
您可以在上啟用版本控制你的桶。
-----------------------------------------------------------------------------------------------

Amazon Athena 雅典娜

•無伺服器查詢服務,對S3物件執行分析
•使用標準SQL語言查詢檔案
•支援CSV、JSON、ORC、Avro和Parquet(基於Presto)

•價格:每TB掃描資料5.00美元
•使用壓縮或列式資料以節省成本(減少掃描)

•用例:商業智慧/分析/報告、分析&查詢VPC流量日誌、ELB日誌、CloudTrail路徑等。。。
•考試提示:使用無伺服器SQL分析S3中的資料,使用Athena

-----------------------------------------------------------------------------------------------