s3 是 aws 提供的分布式文件服務，價格比較優惠，經常被用來作為日誌的持久化存儲，大數據處理結果的輸入輸出等

s3 服務提供命令行工具，可以很方便地上傳、下載、刪除文件，普通 golang 程序如果需要訪問 s3 上文件，一種簡單方式可以先將 s3 上文件下載到本地，然後直接訪問本地文件即可，但是這種方式需要一個額外的步驟，下載到本地，有額外的運維成本，需要額外的磁盤空間，使用上面不是很靈活，此外，微服務應該盡可能地降低對本地數據的依賴，這種設計也不符合微服務的設計思想

使用 aws-sdk-go 可以直接訪問 s3 服務，實現文件的上傳和讀取

以下使用的代碼：https://github.com/hatlonely/hellogolang/blob/master/internal/aws-sdk-go/s3_test.go

創建會話

首先需要創建一個會話，後續的訪問都可以通過這個會話進行，如果訪問的服務需要授權，也可以在 config 裏面指定授權文件

sess := session.Must(session.NewSession(&aws.Config{
    Region: aws.String(endpoints.ApSoutheast1RegionID),
}))
service := s3.New(sess)

這裏必須指定 s3 桶所在的地區

上傳文件

fp, err := os.Open("s3_test.go")
So(err, ShouldBeNil)
defer fp.Close()

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

_, err = service.PutObjectWithContext(ctx, &s3.PutObjectInput{
    Bucket: aws.String("hatlonely"),
    Key:    aws.String("test/s3_test.go"),
    Body:   fp,
})
So(err, ShouldBeNil)
 

使用 PutObjectWithContext 實現文件的上傳，這裏只能實現文件的上傳，不能實現文件的寫入，所以只能先將文件寫入到本地，然後再整個上傳

可以通過 context 設置訪問超時時間

下載文件

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

out, err := service.GetObjectWithContext(ctx, &s3.GetObjectInput{
    Bucket: aws.String("hatlonely"),
    Key: aws.String("test/s3_test.go"),
})
So(err, ShouldBeNil)
defer out.Body.Close()
scanner := bufio.NewScanner(out.Body)
for scanner.Scan() {
    Println(scanner.Text())
}
 

使用 GetObjectWithContext 接口讀取文件，文件的內容在 out.Body 中，可以使用 scanner 接口，不斷地按行讀取文件內容

最後要記得調用 out.Body.Close()，釋放資源

遍歷目錄

var objkeys []string

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

err := service.ListObjectsPagesWithContext(ctx, &s3.ListObjectsInput{
    Bucket: aws.String("hatlonely"),
    Prefix: aws.String("test/"),
}, func(output *s3.ListObjectsOutput, b bool) bool {
    for _, content := range output.Contents {
        objkeys = append(objkeys, aws.StringValue(content.Key))
    }
    return true
})
So(err, ShouldBeNil)
Println(objkeys)

大數據一般都是並發輸出，每個節點都會輸出一個文件，到一個指定的目錄下面，所以有時候我們需要去獲取一個目錄下面到底有哪些文件，可以使用 ListObjectsPagesWithContext 遍歷一個目錄下所有的文件，這個函數是遞歸的

參考鏈接

• aws-sdk-go：https://github.com/aws/aws-sdk-go
• aws-sdk-go api：https://docs.aws.amazon.com/sdk-for-go/api/

轉載請註明出處
本文鏈接：http://hatlonely.github.io/2018/03/04/golang-aws-sdk-go-%E4%B9%8B-s3-%E6%9C%8D%E5%8A%A1/

golang aws-sdk-go 之 s3 服務