(O+P)ut

アウトプット



(O+P)ut

Output Log

【Kubernetes】Workerノードのdrain/uncordonを行う

スポンサーリンク

はじめに

Kubernetesでは構成サーバはマスターノードとワーカーノードに分かれており、kubectl get nodesにてそれぞれの一覧が確認できます。

今回は以下のような構成にて1台のWorkerノードを一時的に切り離すべくdrainした後にuncordonする手順を紹介します。

$ kubectl get nodes
NAME            STATUS   ROLES    AGE   VERSION
test1   Ready    master   29m   v1.15.7
test2   Ready    <none>   28m   v1.15.7
test3   Ready    <none>   28m   v1.15.7
環境情報
  • Ubuntu 18.04.4 LTS
  • kubectl v1.15.7

事前準備

以下記事でも利用した10個のPodでnginxを立ち上げるdeploymentを実行します。

Podが展開されているNodeを確認すると以下のように分散されています。

$ kubectl get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE    IP                NODE            NOMINATED NODE   READINESS GATES
nginx-deployment-5754944d6c-2vjbv   1/1     Running   0          4m7s   192.168.111.1     test3   <none>           <none>
nginx-deployment-5754944d6c-4fnk7   1/1     Running   0          4m7s   192.168.163.199   test2   <none>           <none>
nginx-deployment-5754944d6c-627g6   1/1     Running   0          4m7s   192.168.163.198   test2   <none>           <none>
nginx-deployment-5754944d6c-fntqj   1/1     Running   0          4m7s   192.168.111.2     test3   <none>           <none>
nginx-deployment-5754944d6c-fxltn   1/1     Running   0          4m7s   192.168.111.3    test3   <none>           <none>
nginx-deployment-5754944d6c-np8ff   1/1     Running   0          4m7s   192.168.163.197   test2   <none>           <none>
nginx-deployment-5754944d6c-trb6d   1/1     Running   0          4m7s   192.168.163.200   test2   <none>           <none>
nginx-deployment-5754944d6c-trgz5   1/1     Running   0          4m7s   192.168.111.5     test3   <none>           <none>
nginx-deployment-5754944d6c-vfqzh   1/1     Running   0          4m7s   192.168.111.4     test3   <none>           <none>
nginx-deployment-5754944d6c-w2gdv   1/1     Running   0          4m7s   192.168.163.196   test2   <none>           <none>

Workerノードをdrainする

Node自体を再起動したりする場合は事前にkubectl drainを行うことでPodをクリーンに移動させることができます。

$ kubectl drain test2 --ignore-daemonsets --delete-local-data
node/test2 cordoned
WARNING: ignoring DaemonSet-managed Pods: kube-system/calico-node-vtkng, kube-system/kube-proxy-hk9zl
evicting pod "coredns-5d4dd4b4db-hls4w"
evicting pod "nginx-deployment-5754944d6c-np8ff"
evicting pod "nginx-deployment-5754944d6c-4fnk7"
evicting pod "nginx-deployment-5754944d6c-627g6"
evicting pod "calico-kube-controllers-758d7b8fd-z42jh"
evicting pod "nginx-deployment-5754944d6c-trb6d"
evicting pod "nginx-deployment-5754944d6c-w2gdv"
evicting pod "coredns-5d4dd4b4db-6dsmx"
pod/coredns-5d4dd4b4db-6dsmx evicted
pod/nginx-deployment-5754944d6c-w2gdv evicted
pod/calico-kube-controllers-758d7b8fd-z42jh evicted
pod/nginx-deployment-5754944d6c-627g6 evicted
pod/nginx-deployment-5754944d6c-trb6d evicted
pod/nginx-deployment-5754944d6c-4fnk7 evicted
pod/coredns-5d4dd4b4db-hls4w evicted
pod/nginx-deployment-5754944d6c-np8ff evicted
node/test2 evicted

node evictedという文言が出れば成功で、以下のようにSTATUSが「Ready,SchedulingDisabled」に変更され

$ kubectl get nodes
NAME            STATUS                     ROLES    AGE   VERSION
test1   Ready                      master   16m   v1.15.7
test2   Ready,SchedulingDisabled   <none>   15m   v1.15.7
test3   Ready                      <none>   15m   v1.15.7

Podも別のWorkerノードに移動しています

$ kubectl get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE     IP               NODE            NOMINATED NODE   READINESS GATES
nginx-deployment-5754944d6c-2vjbv   1/1     Running   0          9m44s   192.168.111.1    test3   <none>           <none>
nginx-deployment-5754944d6c-69jjb   1/1     Running   0          29s     192.168.111.10  test03   <none>           <none>
nginx-deployment-5754944d6c-6h6zl   1/1     Running   0          29s     192.168.111.8    test3   <none>           <none>
nginx-deployment-5754944d6c-fkn6w   1/1     Running   0          29s     192.168.111.11   test3   <none>           <none>
nginx-deployment-5754944d6c-fntqj   1/1     Running   0          9m44s   192.168.111.2    test3   <none>           <none>
nginx-deployment-5754944d6c-fxltn   1/1     Running   0          9m44s   192.168.111.3    test3   <none>           <none>
nginx-deployment-5754944d6c-l6wgb   1/1     Running   0          29s     192.168.111.7    test3   <none>           <none>
nginx-deployment-5754944d6c-trgz5   1/1     Running   0          9m44s   192.168.111.5   test3   <none>           <none>
nginx-deployment-5754944d6c-vfqzh   1/1     Running   0          9m44s   192.168.111.4    test3   <none>           <none>
nginx-deployment-5754944d6c-xbhbl   1/1     Running   0          29s     192.168.111.9    test3   <none>           <none>

ちなみに--delete-local-dataを付与している理由は以下のエラーでNode上のPodが移動しなかったからです。

$ kubectl drain test2 --ignore-daemonsets
node/test2 cordoned
error: unable to drain node "test2", aborting command...
There are pending nodes to be drained:
 test2
error: cannot delete Pods with local storage (use --delete-local-data to override): kube-system/coredns-5d4dd4b4db-6dsmx, kube-system/coredns-5d4dd4b4db-hls4w

Workerノードをuncordonする

ノードのメンテナンスが完了すれば以下コマンドでWorkerノードとして再度機能させることができます。

$ kubectl uncordon test2
node/test2 uncordoned
$ kubectl get nodes
NAME            STATUS   ROLES    AGE   VERSION
test1   Ready    master   16m   v1.15.7
test2   Ready    <none>   16m   v1.15.7
test3   Ready    <none>   16m   v1.15.7

ただしNodeを上げただけでは偏ったPodは再配置されません

Kubernetesにはdeschedularという機構があるようですが

nginxを分散させるだけであればreplica数を例えば5に減らした後にkubectl applyを行い、再度10に戻して同コマンドを実行すればそれぞれのNodeに分散させることができました。

終わりに

Workerノードを暫定的に切り離す本手順ですが、実際のPodの配置はMasterが良しなにやってくれるので実際はdrain&uncordonを行うのみとなります。

以上、ご参考になれば幸いです。


他の記事を読む