此開源專案來自我們的客戶社群。此專案由 Peak Games 開發，用於為其自己的 S3 工作流程提供幫助，該專案包含 Tab 補全以及支援在 S3 命令中對檔案使用內建萬用字元等諸多功能。希望您能喜歡！- Deirdré

背景

到目前為止，通過命令列在 Amazon S3 上處理多個物件意味著，使用可提供一定支援的工具呼叫多個命令或者使用萬用字元。每次命令呼叫都相當於在系統級別執行了另一次 fork/exec，當您需要執行幾百項或更多的操作時，其開銷會累加。

工具

通過 s5cmd，呼叫一個可執行檔案便可執行多個操作 (使用/不使用萬用字元)。例如，如果您必須刪除 (或複製) 幾百萬個物件，則無需幾百萬次地呼叫 CLI 工具。通過將命令傳送到 s5cmd，您只需呼叫該工具一次，然後讓其執行幾百個工作執行緒來執行給定的工作。由於 s5cmd 已經有工作執行緒池，因此可以將一個工作執行緒用於 ListObjects 呼叫 (可以匹配更多萬用字元) 來完成萬用字元操作，然後讓其他工作執行緒執行實際處理操作。它還支援自動補齊 bash 和 zsh 的 shell，因此，如果您想將其用作較為常用的 CLI 工具，可以僅單擊 TAB 鍵，讓其自動為您補齊選項、儲存桶以及路徑/物件。

安裝

在 Mac OS X 上安裝 s5cmd：

$ brew tap peakgames/s5cmd https://github.com/peakgames/s5cmd
$ brew install s5cmd

該工具使用 Go 編寫，其他平臺可以使用以下命令對其進行編譯和安裝：

$ go get -u github.com/peakgames/s5cmd

像使用 awscli 工具時那樣設定憑證：使用 ~/.aws/credentials 檔案和/或環境變數。(如果在 EC2 上執行，還支援角色。)

使用

命令採用“command [command options] argument1 [argument2]”格式。s5cmd 也會採用選項，這會影響執行的所有命令。要獲取 s5cmd 選項列表，請執行以下命令：

$ s5cmd -help

要獲取可用命令列表，請在不指定任何引數的情況執行：

$ s5cmd

s5cmd 實際應用

假設有一個名為“reports-bkt”的儲存桶，其內部有一些檔案。首先，我們下載一個檔案：

$ s5cmd get s3://reports-bkt/a/2018/03/14/reports_19_13716285583145.csv.gz
                     # Downloading reports_19_13716285583145.csv.gz...
2018/03/21 11:46:05 +OK "get s3://reports-bkt/a/2018/03/14/reports_19_13716285583145.csv.gz ./reports_19_13716285583145.csv.gz"
 

現在，我們掃描上個月的所有 CSV 報告，並用萬用字元匹配每天的報告：

$ s5cmd du -g -h s3://reports-bkt/a/2018/02/*/reports*csv.gz
                            + 10.7M bytes in 367 objects: s3://reports-bkt/a/2018/02/*/reports*csv.gz [STANDARD]
2018/03/21 11:46:24 +OK "du s3://reports-bkt/a/2018/02/*/reports*csv.gz" (1)

上個月有 367 份報告，佔用了大約 10MB 的空間，所有報告均使用標準儲存。我們將其全部下載下來：

$ s5cmd cp --parents s3://reports-bkt/a/2018/02/*/reports*csv.gz .

使用 --parents 選項，上個月每天的報告將下載到其自己的目錄下。(此選項會從指定的第一個萬用字元開始建立目錄結構。)上述示例只是冰山一角。另一種選項是使用檔案或其他命令的輸出來傳送命令。您可能已經發現，我們的儲存桶採用常見的“字母字首”模式。假設您要下載給定日期的所有檔案用於所有字首。結構如下所示：

- a/[yyyy]/[mm]/[dd]/object_unique_id.gz
- b/[yyyy]/[mm]/[dd]/object_unique_id.gz
- c/[yyyy]/[mm]/[dd]/object_unique_id.gz
... up to ...
- z/[yyyy]/[mm]/[dd]/object_unique_id.gz

如果您有幾百天時間和幾十億個物件，在第一級指定萬用字元實際上不起作用。由於您已經知道範圍 (字母 a 到 z)，您可以為每個字首生成命令。僅呼叫該工具一次，然後讓它完成工作。試試：

$ for X in {a..z}; do echo get -n s3://reports-bkt/${X}/2018/03/14/reports*csv.gz; done | s5cmd -f -
2018/03/21 11:48:03 # Stats: Total             379 281 ops/sec 1.350311978s

第一個命令將生成大量“get”命令，然後將這些命令傳遞到 s5cmd 完成工作。請注意，我們使用了“-n”(no-clobber) 選項，以防在物件名稱並不真正唯一的情況下出現改寫。我們不能使用 --parents 選項，因為萬用字元不在目錄名稱中。您可以檢視 stat 計數器來了解完成的運算元目 (以及所用的時間)。

投稿

歡迎大家為該專案獻言獻策，所有來稿均使用 github.com/peakgames/s5cmd 處的問題跟蹤器進行管理。如果您要提交 PR，我們建議您先提出問題，以便與團隊進行討論。

本客座博文來自 Peak Games，該公司使用 S3 作為將資料轉化成知識的綜合管道的一部分，從而進一步改善其世界一流的手機遊戲的使用者體驗。本博文中的內容和觀點均源自第三方作者，AWS 對本博文中的內容或準確性不承擔任何責任。