建立優化的Go映象檔案以及踩過的坑
在Docker上建立Go映象檔案並不困難，但建立的檔案很大，接近1G，使用起來不太方便。Docker映象的一個主要難題就是如何優化，建立小的映象。我們可以用多級構建的方法來建立Docker映象檔案，它也不復雜。但由於使用這種方法時，需要用簡版的Linux（Alpine），它帶來了一系列的問題。本文講述如何解決這些問題併成功建立優化的Go映象檔案，優化之後只有14M。
單級構建：
我們用一個Go程式作為例子來展示如何建立Go映象。下面就是這個程式的目錄結構。
Go程式的具體內容並不重要，只要能執行就行了。我們重點關注“docker”子目錄（“kubernetes”子目錄裡的檔案有別的用途，會在另外的文章中講解）。它裡面有三個檔案。“docker-backend.sh”是建立映象的命令檔案，“Dockerfile-k8sdemo-backend”是多級構建檔案，“Dockerfile-k8sdemo-backend-full”是單級構建檔案，
FROM golang:latest # 從Docker庫中獲取標準golang映象 WORKDIR /app # 設定映象內的當前工作目錄 COPY go.mod go.sum ./ # 拷貝Go的包管理檔案 RUN go mod download # 下載依賴包中的依賴庫 COPY . . #從宿主機拷貝檔案到映象 WORKDIR /app/cmd # 設定新的映象內的當前工作目錄 RUN GOOS=linux go build -o main.exe #編譯Go程式，並在生成可執行檔案 CMD exec /bin/bash -c "trap : TERM INT; sleep infinity & wait" # 保持映象一直執行，容器不被停掉
上面就是“Dockerfile-k8sdemo-backend-full”映象檔案。請閱讀檔案中的註釋以獲得解釋。
生成映象容器
cd /home/vagrant/jfeng45/k8sdemo/
docker build -f ./script/kubernetes/backend/docker/Dockerfile-k8sdemo-backend-full -t k8sdemo-backend-full .執行映象容器，“--name k8sdemo-backend-full”是給這個容器一個名字（k8sdemo-backend-full），最後的“k8sdemo-backend-full”是映象的名字
docker run -td --name k8sdemo-backend-full k8sdemo-backend-full
登入映象容器, 其中“a95c”是容器ID的前四位。
docker exec -it a95c /bin/bash檔案裡有一條語句需要特別解釋一下“COPY . .”，它把檔案從宿主機拷貝到映象裡，在映象裡已經用“WORKDIR”設定了當前工作目錄，那麼宿主機的“.”（當前目錄）是哪個目錄呢？它不是Dockerfile檔案所在的目錄，而是你執行“Docker build”命令時所在的目錄。
我們要把整個程式都拷貝到映象裡，那麼在執行docker命令時一定是在程式的根目錄，也就是“k8sdemo”目錄。但是與容器有關的檔案都在“script”目錄的子目錄下，那麼當你執行“Docker build”命令時，它是怎麼找到Docekrfile的呢？這裡有一個重要的概念就是“build cotext”（構建上下文），由它來決定Dockerfile的預設目錄。當你執行“docker build -t k8sdemo-backend .”建立映象時，它會從“build cotext”的根目錄去找Dockerfile檔案，預設值是你執行docker命令的目錄。但由於我們的Dockerfile在另外的目錄裡，因此需要在命令里加一個“-f”選項來指定Dockerfile的位置，命令如下。 其中“-t k8sdemo-backend-full” 是指明映象名，格式是“name:tag”, 我們這裡沒有tag，就只有映象名。
docker build -f ./script/kubernetes/backend/docker/Dockerfile-k8sdemo-backend-full -t k8sdemo-backend-full .詳情請參見Dockerfile reference
這樣建立的映象用的是全版的Linux系統，因此比較大，大概接近1G。如果要想優化，就要用多級構建。
Multi-stage builds(多級構建）：
單級構建只有一個“From”語句，而在多級構建中，有多個“From”，每個“From”構成一級。例如，下面的檔案有兩個“From”，是一個二級構建。每一級都可以根據需要選擇適合自己的基礎（base）映象來構造本級映象。每級映象完成之後，下一級映象可選擇只保留上一級構建中對自己有用的最終檔案，而刪除所有的中間產物，這樣就大大節省了空間。詳情請參見Use multi-stage builds
下面就是多級構建的dockerfile(“Dockerfile-k8sdemo-backend”).
FROM golang:latest as builder # 本級映象用“builder”標識
# Set the Current Working Directory inside the container
WORKDIR /app
COPY go.mod go.sum ./
RUN go mod download
COPY . .
WORKDIR /app/cmd
# Build the Go app
#RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o main.exe
RUN go build -o main.exe
######## Start a new stage from scratch #######
FROM alpine:latest
RUN apk --no-cache add ca-certificates
WORKDIR /root/
RUN mkdir /lib64 && ln -s /lib/libc.musl-x86_64.so.1 /lib64/ld-linux-x86-64.so.2
# Copy the Pre-built binary file from the previous stage
COPY --from=builder /app/cmd/main.exe . #把“/app/cmd/main.exe”檔案從“builder”中拷貝到本級的當前目錄
# Command to run the executable
CMD exec /bin/sh -c "trap : TERM INT; (while true; do sleep 1000; done) & wait"建立映象：
cd /home/vagrant/jfeng45/k8sdemo/
docker build -f ./script/kubernetes/backend/docker/Dockerfile-k8sdemo-backend -t k8sdemo-backend .登入映象：
docker run -it --name k8sdemo-backend k8sdemo-backend /bin/sh上面的檔案把構造過程分成兩部分，第一部分編譯並生成Go可執行檔案，用的是是全版Linux. 第二部分是拷貝可執行檔案到合適的目錄並保持容器執行，用的是簡化版Linux。第一部分的命令與單級構建指令基本相同，第二部分的命令會在後面解釋。
使用這種方法大大減少了空間佔用，建立的Docker映象只有14M，但由於它使用的簡化版的Linux（Alpine），導致我踩了很多坑，下面看看這些坑是如何被填上的。
踩過的坑：
1. 找不到檔案
建立映象成功後，登入映象：
docker run -it --name k8sdemo-backend k8sdemo-backend /bin/sh執行編譯後的Go可執行檔案“main.exe”,錯誤資訊如下：
~ # ./main.exe
./main.exe not foundGo是一個靜態編譯的語言，也就是說在編譯時就把需要的庫存放在編譯好的程式裡了，這樣在執行時就不需要再動態連結其它庫，使得執行起來非常方便。但並不是所有情況下都是這樣，例如但當你使用了cgo(讓Go程式可以呼叫C程式)時，通常需要動態連結libc庫（在Linux裡是glibc）。Go裡的net和os/user庫都用了cgo。但由於Apline的Linux版本沒有libc庫，這樣在執行時就找不到動態連結，因此報錯。它有兩種辦法來解決：
- CGO_ENABLED=0：當你在編譯Go時加了這個引數，編譯時就不會使用cgo，當然也就意味著使用cgo的庫都不能用了。這是最簡單的辦法，但它對你的程式有所限制。
- 使用musl：musl是一個輕量級的libc庫。Apline的Linux版本里自帶musl庫，你只要加入如下命令就行了。
RUN mkdir /lib64 && ln -s /lib/libc.musl-x86_64.so.1 /lib64/ld-linux-x86-64.so.2關於musl的詳情請參見Statically compiled Go programs, always, even with cgo, using musl
關於這個錯誤的討論請參見Installed Go binary not found in path on Alpine Linux Docker
2. Zap報錯
Zap是一個很流行的Go日誌庫，我在程式裡用它來輸出日誌。當加上上面的語句後，原來的錯誤消失了，但又有一個新的錯。它是由Zap產生的。
~ # ./main.exe
panic: runtime error: invalid memory address or nil pointer dereference
[signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x6a37ab]
goroutine 1 [running]:
github.com/jfeng45/k8sdemo/config.initLog(0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, ...)
/app/config/zap.go:94 +0x1fb
github.com/jfeng45/k8sdemo/config.RegisterLog(0x0, 0x0)
/app/config/zap.go:42 +0x42
github.com/jfeng45/k8sdemo/config.BuildRegistrationInterface(0x751137, 0x5, 0x43ab77, 0x984940, 0xc00002c750, 0xc000074f50)
/app/config/appConfig.go:23 +0x26
main.testRegistration()
/app/cmd/main.go:18 +0x3a
main.main()
/app/cmd/main.go:11 +0x20我現在也不十分清楚出錯的原因，應該是跟Musl庫有關。估計是Zap用到的某個庫與Musl不相容。我把日誌換成另一個庫Logrus問題就不存在了。這確實有點小遺憾，Zap是迄今為止我發現的最好的Go日誌庫。如果你堅持用Zap的話就只能用全版Linux，忍受大的映象檔案；或者改用Logrus日誌庫，這樣就可以享受小的映象檔案。
3. k8s部署不成功
換成Logrus之後，就沒再報錯，Docker裡的程式執行正常。但如果你用這個映象建立k8s部署時又出了問題。
下面是k8s建立部署的命令：
vagrant@ubuntu-xenial:~/jfeng45/k8sdemo/script/kubernetes/backend$ kubectl get pod k8sdemo-backend-deployment-6b99dc6b8c-2fwnm
NAME READY STATUS RESTARTS AGE
k8sdemo-backend-deployment-6b99dc6b8c-2fwnm 0/1 CrashLoopBackOff 42 3h10m錯誤資訊是“CrashLoopBackOff”。它產生的原因是容器要求裡面的程式一直執行，一旦執行結束，容器就會停掉。k8s發現容器停掉之後會重新部署容器，然後又被停掉，這樣就陷入了死迴圈。
解決的辦法是在映象檔案里加入如下命令：
CMD exec /bin/bash -c "trap : TERM INT; sleep infinity & wait"詳情請參見How can I keep a container running on Kubernetes?和My kubernetes pods keep crashing with “CrashLoopBackOff” but I can't find any log
4. Pod出錯
加入命令，重新生成映象之後，果然解決了死迴圈的問題，k8s部署沒有報錯，但Pod又有了新的錯誤如下，“k8sdemo-backend-deployment-6b99dc6b8c-n6bnt”的“STATUS”是“Error”。
vagrant@ubuntu-xenial:~/jfeng45/k8sdemo/script/kubernetes/backend$ kubectl get pod
NAME READY STATUS RESTARTS AGE
envar-demo 1/1 Running 8 16d
k8sdemo-backend-deployment-6b99dc6b8c-n6bnt 0/1 Error 1 6s
k8sdemo-database-deployment-578fc88c88-mm6x8 1/1 Running 2 4d21h
nginx-deployment-77fff558d7-84z9z 1/1 Running 3 10d
nginx-deployment-77fff558d7-dh2ms 1/1 Running 3 10d原因是在Docker檔案裡運行了如下命令：
CMD exec /bin/bash -c "trap : TERM INT; sleep infinity & wait"但Alpine裡沒有“/bin/bash”.需要改成“/bin/sh”，需要修改成如下命令：
CMD exec /bin/sh -c "trap : TERM INT; (while true; do sleep 1000; done) & wait"修改之後，k8s部署成功，程式執行正常。
原始碼:
完整原始碼的github連結
索引
- Dockerfile reference
- Use multi-stage builds
- Statically compiled Go programs, always, even with cgo, using musl
- Installed Go binary not found in path on Alpine Linux Docker
- How can I keep a container running on Kubernetes?
- My kubernetes pods keep crashing with “CrashLoopBackOff” but I can't find any log
- Building Docker Containers for Go Applications
本文由部落格一文多發平臺 OpenWrite 釋出！