K8S原理簡介及環境搭建

一、原理簡介


名詞解釋


1、網絡的命名空間:Linux在網絡棧中引入網絡命名空間,將獨立的網絡協議棧隔離到不同的命令空間中,彼此間無法通信;docker利用這一特性,實現不容器間的網絡隔離。


2、Veth設備對:也叫虛擬網絡接口對。Veth設備對的引入是為了實現在不同網絡命名空間的通信。


3、Iptables/Netfilter:Netfilter負責在內核中執行各種掛接的規則(過濾、修改、丟棄等),運行在內核 模式中;Iptables模式是在用戶模式下運行的進程,負責協助維護內核中Netfilter的各種規則表;通過二者的配合來實現整個Linux網絡協議棧中靈活的數據包處理機制。


4、網橋:網橋是一個二層網絡設備,通過網橋可以將linux支持的不同的端口連接起來,並實現類似交換機那樣的多對多的通信。


5、路由:Linux系統包含一個完整的路由功能,當IP層在處理數據發送或轉發的時候,會使用路由表來決定發往哪裡。


令人頭大的網絡模型


Kubernetes對集群內部的網絡進行了重新抽象,以實現整個集群網絡扁平化。我們可以理解網絡模型時,可以完全抽離物理節點去理解,我們用圖說話,先有基本印象。


K8S原理簡介及環境搭建


其中,重點講解以下幾個關鍵抽象概念。


Service


Service是Kubernetes為為屏蔽這些後端實例(Pod)的動態變化和對多實例的負載均衡而引入的資源對象。


Service通常與deployment綁定,定義了服務的訪問入口地址,應用(Pod)可以通過這個入口地址訪問其背後的一組由Pod副本組成的集群實例。


Service與其後端Pod副本集群之間則是通過Label Selector來實現映射。


Service的類型(Type)決定了Service如何對外提供服務,根據類型不同,服務可以只在Kubernetes cluster中可見,也可以暴露到集群外部。


Service有三種類型,ClusterIP,NodePort和LoadBalancer。


在測試環境查看:


$ kubectl get svc --selector app=nginx


NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

nginx ClusterIP 172.19.0.166 80/TCP 1m


$ kubectl describe svc nginx


Name: nginx

Namespace: default

Labels: app=nginx

Annotations:

Selector: app=nginx

Type: ClusterIP

IP: 172.19.0.166

Port: 80/TCP

TargetPort: 80/TCP

Endpoints: 172.16.2.125:80,172.16.2.229:80

Session Affinity: None

Events:


上述信息中該svc後端代理了2個Pod實例:172.16.2.125:80,172.16.2.229:80 二個IP


Kubernetes為描述其網絡模型的IP對象,抽象出Cluster IP和Pod IP的概念。


PodIP是Kubernetes集群中每個Pod的IP地址。


它是Docker Engine 根據docker0網橋的IP地址段進行分配的,是一個虛擬的二層網絡。


Kubernetes中Pod間能夠彼此直接通訊,Pod裡的容器訪問另外一個Pod裡的容器,是通過Pod IP所在進行通信。


Cluster IP僅作用於Service,其沒有實體對象所對應,因此Cluster IP無法被ping通。


它的作用是為Service後端的實例提供統一的訪問入口。


當訪問ClusterIP時,請求將被轉發到後端的實例上,默認是輪詢方式。


Cluster IP和Service一樣由kube-proxy組件維護,其實現方式主要有兩種,iptables和IPVS。


在1.8版本後kubeproxy開始支持IPVS方式。在上例中,SVC的信息中包含了Cluster IP。


這裡未列出nodeip概念,由於其本身是物理機的網卡IP。因此可理解為nodeip就是物理機IP。


三個Port


在Kubernetes中,涉及容器,Pod,Service,集群各等多個層級的對象間的通信,為在網絡模型中區分各層級的通信端口,這裡對Port進行了抽象。


Port


該Port非一般意義上的TCP/IP中的Port概念,它是特指Kubernetes中Service的port,是Service間的訪問端口,例如Mysql的Service默認3306端口。它僅對進群內容器提供訪問權限,而無法從集群外部通過該端口訪問服務。


nodePort


nodePort為外部機器提供了訪問集群內服務的方式。比如一個Web應用需要被其他用戶訪問,那麼需要配置type=NodePort,而且配置nodePort=30001,那麼其他機器就可以通過瀏覽器訪問scheme://node:30001訪問到該服務,例如http://node:30001。


targetPort


targetPort是容器的端口(最根本的端口入口),與製作容器時暴露的端口一致(DockerFile中EXPOSE),例如http://docker.io官方的nginx暴露的是80端口。


舉一個例子來看如何配置Service的port:


K8S原理簡介及環境搭建


這裡舉出了一個service的yaml,其部署在abcdocker的namespace中。


這裡配置了nodePort,因此其類型Type就是NodePort,注意大小寫。


若沒有配置nodePort,那這裡需要填寫ClusterIP,即表示只支持集群內部服務訪問。


集群內部通信


單節點通信


集群單節點內的通信,主要包括兩種情況,同一個pod內的多容器間通信以及同一節點不同pod間的通信。


由於不涉及跨節點訪問,因此流量不會經過物理網卡進行轉發。


通過查看路由表,也能窺見一二:


K8S原理簡介及環境搭建


1、 Pod內通信


如下圖所示:

K8S原理簡介及環境搭建


這種情況下,同一個pod內共享網絡命名空間,容器之間通過訪問127.0.0.1:(端口)即可。


圖中的veth*即指veth對的一端(另一端未標註,但實際上是成對出現),該veth對是由Docker Daemon掛載在docker0網橋上,另一端添加到容器所屬的網絡命名空間,圖上顯示是容器中的eth0。


圖中演示了bridge模式下的容器間通信。docker1向docker2發送請求,docker1,docker2均與docker0建立了veth對進行通訊。


當請求經過docker0時,由於容器和docker0同屬於一個子網,因此請求經過docker2與docker0的veth*對,轉發到docker2,該過程並未跨節點,因此不經過eth0。


2、Pod間通信


同節點pod間通信


由於Pod內共享網絡命名空間(由pause容器創建),所以本質上也是同節點容器間的通信。


同時,同一Node中Pod的默認路由都是docker0的地址,由於它們關聯在同一個docker0網橋上,地址網段相同,所有它們之間應當是能直接通信的。


來看看實際上這一過程如何實現。如上圖,Pod1中容器1和容器2共享網絡命名空間,因此對pod外的請求通過pod1和Docker0網橋的veth對(圖中掛在eth0和ethx上)實現。


K8S原理簡介及環境搭建


訪問另一個pod內的容器,其請求的地址是PodIP而非容器的ip,實際上也是同一個子網間通信,直接經過veth對轉發即可。


跨節點通信


CNI:容器網絡接口


CNI 是一種標準,它旨在為容器平臺提供網絡的標準化。不同的容器平臺(比如目前的 kubernetes、mesos 和 rkt)能夠通過相同的接口調用不同的網絡組件。


目前kubernetes支持的CNI組件種類很多,例如:bridge calico calico-ipam dhcp flannel host-local ipvlan loopback macvlan portmap ptp sample tuning vlan。在docker中,主流的跨主機通信方案主要有一下幾種:


1)基於隧道的overlay網絡:按隧道類型來說,不同的公司或者組織有不同的實現方案。docker原生的overlay網絡就是基於vxlan隧道實現的。ovn則需要通過geneve或者stt隧道來實現的。flannel最新版本也開始默認基於vxlan實現overlay網絡。


2)基於包封裝的overlay網絡:基於UDP封裝等數據包包裝方式,在docker集群上實現跨主機網絡。典型實現方案有weave、flannel的早期版本。


3)基於三層實現SDN網絡:基於三層協議和路由,直接在三層上實現跨主機網絡,並且通過iptables實現網絡的安全隔離。典型的方案為Project Calico。同時對不支持三層路由的環境,Project Calico還提供了基於IPIP封裝的跨主機網絡實現


通信方式


K8S原理簡介及環境搭建


集群內跨節點通信涉及到不同的子網間通信,僅靠docker0無法實現,這裡需要藉助CNI網絡插件來實現。圖中展示了使用flannel實現跨節點通信的方式。


簡單說來,flannel的用戶態進程flanneld會為每個node節點創建一個flannel.1的網橋,根據etcd或apiserver的全局統一的集群信息為每個node分配全局唯一的網段,避免地址衝突。同時會為docker0和flannel.1創建veth對,docker0將報文丟給flannel.1,。


Flanneld維護了一份全局node的網絡表,通過flannel.1接收到請求後,根據node表,將請求二次封裝為UDP包,扔給eth0,由eth0出口進入物理網路發送給目的node。


在另一端以相反的流程。Flanneld解包併發往docker0,進而發往目的Pod中的容器。


外部訪問集群


從集群外訪問集群有多種方式,比如loadbalancer,Ingress,nodeport,nodeport和loadbalancer是service的兩個基本類型,是將service直接對外暴露的方式,ingress則是提供了七層負載均衡,其基本原理將外部流量轉發到內部的service,再轉發到後端endpoints,在平時的使用中,我們可以依據具體的業務需求選用不同的方式。這裡主要介紹nodeport和ingress方式。


Nodeport


通過將Service的類型設置為NodePort,就可以在Cluster中的主機上通過一個指定端口暴露服務。注意通過Cluster中每臺主機上的該指定端口都可以訪問到該服務,發送到該主機端口的請求會被kubernetes路由到提供服務的Pod上。採用這種服務類型,可以在kubernetes cluster網絡外通過主機IP:端口的方式訪問到服務。


K8S原理簡介及環境搭建


這裡給出一個influxdb的例子,我們也可以針對這個模板去修改成其他的類型:


K8S原理簡介及環境搭建


Ingress


K8S原理簡介及環境搭建


Ingress是推薦在生產環境使用的方式,它起到了七層負載均衡器和Http方向代理的作用,可以根據不同的url把入口流量分發到不同的後端Service。外部客戶端只看到http://foo.bar.com這個服務器,屏蔽了內部多個Service的實現方式。採用這種方式,簡化了客戶端的訪問,並增加了後端實現和部署的靈活性,可以在不影響客戶端的情況下對後端的服務部署進行調整。

其部署的yaml可以參考如下模板:


K8S原理簡介及環境搭建


這裡我們定義了一個ingress模板,定義通過http://test.name.com來訪問服務,在虛擬主機http://test.name.com下面定義了兩個Path,其中/test被分發到後端服務s1,/name被分發到後端服務s2。


集群中可以定義多個ingress,來完成不同服務的轉發,這裡需要一個ingress controller來管理集群中的Ingress規則。Ingress Contronler 通過與 Kubernetes API 交互,動態的去感知集群中 Ingress 規則變化,然後讀取它,按照自定義的規則,規則就是寫明瞭哪個域名對應哪個service,生成一段 Nginx 配置,再寫到 Nginx-ingress-control的 Pod 裡,這個 Ingress Contronler 的pod裡面運行著一個nginx服務,控制器會把生成的nginx配置寫入/etc/nginx.conf文件中,然後 reload使用配置生效。


Kubernetes提供的Ingress Controller模板如下:


K8S原理簡介及環境搭建


二、環境搭建及簡單使用


1、先安裝docker


K8S原理簡介及環境搭建


配置阿里雲鏡像地址


K8S原理簡介及環境搭建


如何獲取該地址?


訪問

https://cr.console.aliyun.com/undefined/instances/mirrors?accounttraceid=0de4534ad7f14efa9280e1a74f290c96xkqu


K8S原理簡介及環境搭建


2、開啟k8s服務


第一次開啟需要下載k8s相關庫 非常慢 這裡通過手動下載相關庫的方式完成


a、下載k8s-for-docker-desktop.git


git clone https://gitee.com/poineer/k8s-for-docker-desktop.git -b v1.14.7


注意這裡有一個版本號v1.14.7


為什麼是v1.14.7?

是因為


K8S原理簡介及環境搭建


下載的k8s-for-docker-desktop一定要和dokcer支持的k8s版本一致


b、執行./load_images.sh


K8S原理簡介及環境搭建


等待下載完依賴


c、下載完了之後


K8S原理簡介及環境搭建


k8s服務即可啟動成功


3、簡單使用


a、查詢所有的空間下的Pod


kubectl get pod --all-namespaces


K8S原理簡介及環境搭建


b、查詢指定命令空間下的Pods


kubectl get pods --namespace kube-system


K8S原理簡介及環境搭建


c、查詢某一個Pod的日誌


kubectl --namespace kube-system logs kubernetes-dashboard-855f8c968f-g7c67


K8S原理簡介及環境搭建


查看pob


kubectl describe pods kubernetes-dashboard-855f8c968f-gjwjp -n kube-system


K8S原理簡介及環境搭建


查看service


kubectl describe svc/kubernetes-dashboard -n kube-system


K8S原理簡介及環境搭建


d、查看集群


kubectl config get-contexts


K8S原理簡介及環境搭建


切換集群


kubectl config use-context docker-for-desktop


K8S原理簡介及環境搭建


e、驗證集群狀態


<code>kubectl cluster-info/<code>


K8S原理簡介及環境搭建


<code>kubectl get nodes

kubectl describe node

/<code>


4、安裝 Kubernetes Dashboard


a、下載git代碼 為了獲取 kubernetes-dashboard.yaml


https://gitee.com/kfzly/kbdashboard.git


K8S原理簡介及環境搭建


b、將image後面修改成阿里源


registry.cn-shanghai.aliyuncs.com/kubeimage/kubernetes-dashboard-amd64:v1.8.3


K8S原理簡介及環境搭建


K8S原理簡介及環境搭建


c、通過文件名或標準輸入流(stdin)對資源進行配置


kubectl apply -f kubernetes-dashboard.yaml


K8S原理簡介及環境搭建


根據配置文件創建資源


kubectl create -f kubernetes-dashboard.yaml


若資源已存在 則先刪除再創建


<code>kubectl delete -f kubernetes-dashboard.yaml
啟動dashboard
kubectl proxy
/<code>

or


kubectl proxy --address='0.0.0.0' --accept-hosts='^*$' --port=8009


查看啟動狀態


kubectl -n kube-system get svc


K8S原理簡介及環境搭建


kubectl -n kube-system get service kubernetes-dashboard


K8S原理簡介及環境搭建


獲取token


kubectl -n kube-system describe $(kubectl -n kube-system get secret -n kube-system -o name | grep namespace) | grep token


K8S原理簡介及環境搭建


訪問 http://127.0.0.1:32666/


K8S原理簡介及環境搭建


後續將推出:


1、搭建本地的dokcer 資源庫

2、dokcer鏡像備份


參考文章: https://zhuanlan.zhihu.com/p/81667781


分享到:


相關文章: