kubernetes1.9原始碼閱讀 kubelet對pod資源的watch_Kubernetes中文社群
kubelet的主要工作是建立、銷燬Pod。kubelet需要對Pod資源進行watch,kubelet會 watch想要watch的Pod,即那些已經分配到本節點的Pods。本篇文章將從程式碼實現探究一下kubelet對pod資源的watch實現。
本次分析是基於kubernetes tag v1.9.0
kubelet對pod資源的watch
入口程式
pkg/kubelet/kubelet.go NewMainKubelet()
1. NewMainKubelet()將會呼叫makePodSourceConfig()方法;
2. 在makePodSourceConfig()方法中,pod資源以三種方式獲得:第一種是通過檔案獲得,檔案一般放在/etc/kubernetes/manifests目錄下面,啟動kubelet時可以通過指定–config覆蓋,第二種也是通過檔案過得,只不過檔案是通過URL獲取的,URL可以在啟動kubelet時通過ManifestURL指定,第三種是通過watch kube-apiserver獲取。其中前兩種模式下,我們稱kubelet執行在standalone模式下;我們將看看第三種方式的程式碼實現;
NewSourceApiserver
pkg/kubelet/config/apiserver.go NewSourceApiserver()
1. 將會呼叫NewListWatchFromClient()方法;
2. 將會呼叫NewSourceApiserverFromLW()方法;
NewListWatchFromClient
client-go/tools/cache/listwatch.go NewListWatchFromClient()
1. NewListWatchFromClient()方法將返回一個ListWatch結構體,包含listFunc和watchFunc;
2. listFunc用於List,watchFunc用於Watch;
3. ListWatch會傳入NewSourceApiserverFromLW()方法;
NewSourceApiserverFromLW
pkg/kubelet/config/apiserver.go NewSourceApiserverFromLW()
1. 首先建立了一個send函式,它將從apiserver獲取的pods傳送到updates channel中;
2. 這些Pods是從哪裡獲取的了?是通過構建一個reflector,然後run獲得Pods資訊;
Reflector-獲取Pods資訊
client-go/tools/cache/reflector.go NewReflector()
1. Reflector物件,主要資料成員:ListerWatcher,ListerWatcher是介面物件,包括方法List()和Watch();這裡,ListWatch物件將作為Reflector物件的ListerWatcher資料成員;
Reflector-執行ListAndWatch
client-go/tools/cache/reflector.go Run()
1. 啟動協程執行執行reflector的ListAndWatch()方法;
2. ListAndWatch()方法
(1) ListAndWatch()方法在之前的文章中的kube-apiserver對etcd的watch機制已經介紹過。
(2) 呼叫ListFunc和WatchFunc去List和Watch apiserver的資源;
(3) 並呼叫reflector的watchHandler()方法;
listFunc/watchFunc
1. listFunc首先Get(),說明發起一個Get請求,再看看Namespace(namespace),其實只是在request設定namespace欄位,再看看Resource函式,設定request的resource欄位,VersionedParams主要對options進行序列化,options主要包括ResourceVersion和TimeoutSeconds這兩個引數,FieldsSelectorParam函式主要將filter函式進行序列化,深入分析這個函式,你可以發現其實他將他序列化到一個巢狀的map裡面。Do()函式發起真正的請求,並收到response,然後用r.transformResponse去處理response,包裝成Result返回。Get()函式則主要對Result進行反序列化。最後返回結果。
2. watchFunc很大一部分與ListFunc重合了,比如Get()、Namespace(namespace)、Resource(resource)、VersionedParams(&options, api.ParameterCodec),有兩個比較特殊的函式Prefix(“watch”)和Watch()。Prefix(“watch”)主要在pathPrefix的結尾增加了watch欄位,用來和List請求區分。
3. Watch()方法將返回watch.Interface,這個watch.Interface專門用來傳送kubelet想要watch的資源。Watch首先會發起一個request,然後反序列化response,從response中獲得watch.Interface。
reflector.watchHandler
client-go/tools/cache/reflector.go watchHandler()
1. 從channel讀取event,然後更新到r.store;
2. r.store是什麼呢?建立reflector時,定義了cache的型別為UndeltaStore;
UndeltaStore
client-go/tools/cache/undelta_store.go Add()/Update()/Delete()/Replace()
1. 執行u.PushFunc(u.Store.List())操作,PushFunc函式就cache.NewUndeltaStore(send, cache.MetaNamespaceKeyFunc)裡面的send函式,它將從apiserver獲取的pods傳送到updates channel中,kubelet從updates這個channel獲取到Pod資訊進行處理。
2. 這裡無論是add、delete或者modify, u.PushFunc(u.Store.List())他會發送儲存的所有pods。因為在這些操作之前,它都會先操作Store裡面的pods物件,確保Store裡面儲存的是分配到該節點的Pod的最新資訊。至於kubelet怎麼處理獲取的pods資訊,這就不屬於watch機制該討論的範疇了。