分片讀取http超大檔案流

Golang中的HTTP傳送get請求，在獲取內容有兩種情況。

Golang傳送http get請求方式

resp,err := http.Get(sendUrl)
if err != nil {
 fmt.Println("出錯",err)
 return
}

第一種方式是直接全部讀取出來，這種方式在小資料量的時候很方便。

body變數直接全部接收resp響應內容

body,err2 := ioutil.ReadAll(resp.Body)

第二種方式，分片獲取。

首先頂一個切片buf := make([]byte,4096) 容量和大小都是4096個char字元（切片就是Golang自己的動態變長陣列）

for無限迴圈讀取，讀取一塊內容放入buf中。result 是一個string字串，然後用 result 自動拼接。

for {
  n,err:= resp.Body.Read(buf)
 if err != nil || n == 0{
 fmt.Println("出現錯誤")
 break
 }
 result += string(buf[:n])
}

Golang中匹配正則

MustCompile內容不是單引號，而是 `

// 解析，編譯正則表示式
ret := regexp.MustCompile(`<img width="100" alt="(?:(.*?))"`)
//提取需要資訊
var fileName [][] string = ret.FindAllStringSubmatch(result,-1)

該方法可以進一步推廣，可以推廣到下載超大檔案，然後分片讀取和寫入硬碟。

然後再開啟另一個執行緒去將這些已經寫入硬碟的分片合稱在一起。

Golang 併發控制

Java中的多執行緒，如果主執行緒開啟多個子執行緒後，在多個子執行緒全部完成後，主執行緒才會退出，程式終止。

而在Golang中不會出現此類情況，主Go程和子Go程需要人為控制主GO程和子GO程同步，否則主GO程瞬間結束。

在主GO程開始執行子GO程地方建立一個 channel。子GO程開始往 channel 中新增資料，主GO程再消費資料。

func toWork(start,end int) {
 //子Go程與主Go程完成同步，意思是子Go程沒有全部執行完畢，主Go程不許退出。
 page := make(chan int) 

 for i:=start; i<=end; i++ {
 //開啟子GO程
 go SpiderPage(i,page)
 }
 //主GO程開始消費管道中的資料
 for i:=start; i<=end; i++ {
 fmt.Println("爬取完成",<- page)
 }
}

往主GO程的channel中新增資料，提供給主GO程消費從而達到同步

func SpiderPage(index int,page chan int) {
 page <- index
}

讀取http二進位制碼寫入圖片

建立檔案

獲取http流

分片逐步寫入

func saveImag(sendUrl string,index int,imageChannel chan int) {
 //建立檔案
 path := "C:/img/" + strconv.Itoa(index) + ".jpg"
 f,err := os.Create(path)
 if err != nil {
 return
 }
 defer f.Close()
 //獲取http流
 resp,err :=http.Get(sendUrl)
 if err != nil {
 return
 }
 defer resp.Body.Close()
 //分片逐步寫入
 buf := make([]byte,4096)
 for {
 n,err := resp.Body.Read(buf)
 if err != nil {
  break
 }
 f.Write(buf[:n])
 }
 imageChannel <- index
}

補充：golang實現http表單大檔案流式上傳服務端程式碼

golang的http標準庫的上傳檔案是一次性將檔案全部讀到記憶體中，這樣上傳小檔案還可以，但是大檔案就無能為力了。

一開始在網上找到一篇gin實現大檔案流式上傳的文章。大體思路是手動解析form表單的header和body，然後分片讀取上傳的檔案內容。但是程式碼量有點多且複雜。有興趣的同學可以自行百度。

後來在github找到一個庫

github.com/albrow/forms

可以看到這個庫讀取上傳檔案的方法

func (d Data) GetFileBytes(key string) ([]byte,error) {
 fileHeader,found := d.Files[key]
 if !found {
 return nil,nil
 } else {
 file,err := fileHeader.Open()
 if err != nil {
  return nil,err
 }
 return ioutil.ReadAll(file)
 }
}

最後使用的是ioutil.ReadAll，大檔案上傳的話就會有問題，要實現流式上傳，可以在這個包里加一個方法。以下是我自己加的方法

func (d Data) GetFileReader(key string) (io.Reader,err
 }
 return file,nil
 }
}

得到reader後使用io.Copy即可將檔案落盤

 userData,err := forms.Parse(c.Request)
  if err != nil {
  log.Printf("parse錯誤：%v",err)
  return
  }
  header := userData.GetFile("file")
  fileReader,err := userData.GetFileReader("file")
  if err != nil {
  log.Printf("獲取reader錯誤：%v",err)
  return
  }
  file,_ := os.Create(header.Filename)
  io.Copy(file,fileReader)

以上為個人經驗，希望能給大家一個參考，也希望大家多多支援我們。如有錯誤或未考慮完全的地方，望不吝賜教。