Kubernetes 자원할당 - CPU, MEM, DISK, Replica, HPA

서론

본 포스팅에서는 Kubernetes에서 Pod를 효과적으로 구성하기 위해 Flavor를 적용하는 방법에 대해 알아보겠습니다.

Public Cloud에서도 당연히 중요하겠지만, Private Cloud에서 아키텍처를 설계하는데 있어 가장 중요한 요소 중 하나는 바로 전산자원에 대한 설계입니다.

Private Cloud는 기존 Legacy System과 마찬가지로 제한된 자원안에서 최적의 클라우드 아키텍처를 설계해야 한다는 주요 목적이 있습니다.

본문

일반적으로 Flavor라 하면 CPU, MEMORY, DISK를 의미하며 업무 패턴과 빈도, 사용률에 따라 적절한 Resource를 Deployment에 적용하고 HPA, ReplicatSet 등에 의해 Pod의 복제수를 결정하는 등 명확한 자원 설계가 이루어져야 합니다.

Kubernetes Deployment에 Flavor 적용하기

deployment.yaml 파일에 다음과 같이 정의하여 반영할 수 있습니다.

apiVersion: apps/v1 kind: Deployment metadata:   name: wildfly-deployment   labels:     app: wildfly spec:   replicas: 1   selector:     matchLabels:       app: wildfly   template:     metadata:       labels:         app: wildfly     spec:       containers:       - name: wildfly         image: 192.168.56.100:5000/middleware/wildfly/wildfly_custom_image:latest         resources:           requests:             cpu: "0.5"             memory: "1Gi"             ephemeral-storage: "5Gi"           limits:             cpu: "1"             memory: "2Gi"             ephemeral-storage: "10Gi"         imagePullPolicy: Always         ports:         - containerPort: 8080       nodeSelector:         key: worker --- apiVersion: v1 kind: Service metadata:   name: wildfly spec:   selector:     app: wildfly   ports:     - protocol: TCP       port: 8080       targetPort: 8080   type: ClusterIP --- apiVersion: extensions/v1beta1 kind: Ingress metadata:   name: wildfly-ingress   namespace: default spec:   rules:   - host: test.nrson.co.kr     http:       paths:       - backend:           serviceName: wildfly           servicePort: 8080         path: /

CPU, MEMORY, DISK의 경우 각각 requests와 limits를 설정할 수 있으며, 이는 최소 요구 사항(request)과 최대 요구 사항(limits)을 의미합니다.

Replicas의 경우 Deployment.yaml 파일의 replicas에 설정할 수 있습니다.

Replica는 Pods 기동 시 복제수를 의미하며, HPA는 임계치(cpu, mem)에 의해 동적으로 Pod가 증가, 감소 하도록 구성하는 것 입니다. HPA의 경우 HorizontalPodAutoscaler kind로 추가해야 합니다.

Deployment CPU, MEMORY 적용

- cpu는 core 단위로 할당합니다. (0.5, 1 등)

- memory는 byte 단위로 할당합니다. (Ei, Pi, Ti, Gi, Mi, Ki)

cpu나 memory의 limit 값을 초과할 경우 Pod가 Restart 되므로 이를 사전에 막기 위해 Kubernetes에서는 HPA(Horizontal Pod AutoScaler)를 적용하여 특정 임계치에 도달할 경우 Pod를 증가시켜 limit에 도달하지 않도록 방지하며, 부하를 분산하는 방식으로 오토스케일 아웃을 수행합니다.

이때 Scale Out 조건으로는 Request 값을 기준으로 모든 Pod의 평균이 임계치에 도달했을 경우 Auto Scale Out이 적용됩니다.

Deployment DISK 적용

- Local Ephemeral Volume 할당하기 위해서는 ephemeral-storage를 적용합니다. ephemeral-storage는 Pod 내부에서 "/" 파티션에만 적용 가능합니다.

Local Volume은 byte 단위로 할당합니다. (Ei, Pi, Ti, Gi, Mi, Ki)

적용된 Flavor 확인

아래는 Flavor를 deployment에 반영하기 전과 후의 describe 정보입니다.

[Flavor 정보 반영 전] [root@kubemaster ~]# kubectl describe deployment wildfly-deployment Name:                   wildfly-deployment Namespace:              default CreationTimestamp:      Sat, 28 Dec 2019 20:33:06 +0900 Labels:                 app=wildfly Annotations:            deployment.kubernetes.io/revision: 8 Selector:               app=wildfly Replicas:               1 desired | 1 updated | 1 total | 1 available | 0 unavailable StrategyType:           RollingUpdate MinReadySeconds:        0 RollingUpdateStrategy:  25% max unavailable, 25% max surge Pod Template:   Labels:       app=wildfly   Annotations:  kubectl.kubernetes.io/restartedAt: 2019-12-28T06:41:28-05:00   Containers:    wildfly:     Image:        192.168.56.100:5000/middleware/wildfly/wildfly_custom_image:latest     Port:         8080/TCP     Host Port:    0/TCP     Environment:       Mounts:          Volumes:         Conditions:   Type           Status  Reason   ----           ------  ------   Available      True    MinimumReplicasAvailable   Progressing    True    NewReplicaSetAvailable OldReplicaSets:   NewReplicaSet:   wildfly-deployment-5fcff44ddc (1/1 replicas created) Events:             [Flavor 정보 반영 후] [root@kubemaster ~]# kubectl describe deployment wildfly-deployment Name:                   wildfly-deployment Namespace:              default CreationTimestamp:      Sat, 28 Dec 2019 20:33:06 +0900 Labels:                 app=wildfly Annotations:            deployment.kubernetes.io/revision: 10 Selector:               app=wildfly Replicas:               1 desired | 1 updated | 1 total | 1 available | 0 unavailable StrategyType:           RollingUpdate MinReadySeconds:        0 RollingUpdateStrategy:  25% max unavailable, 25% max surge Pod Template:   Labels:       app=wildfly   Annotations:  kubectl.kubernetes.io/restartedAt: 2019-12-28T08:41:36-05:00   Containers:    wildfly:     Image:      192.168.56.100:5000/middleware/wildfly/wildfly_custom_image:latest     Port:       8080/TCP     Host Port:  0/TCP     Limits:       cpu:                1       ephemeral-storage:  10Gi       memory:             2Gi     Requests:       cpu:                500m       ephemeral-storage:  5Gi       memory:             1Gi     Environment:               Mounts:                  Volumes:                 Conditions:   Type           Status  Reason   ----           ------  ------   Available      True    MinimumReplicasAvailable   Progressing    True    NewReplicaSetAvailable OldReplicaSets:   NewReplicaSet:   wildfly-deployment-c75c786dd (1/1 replicas created) Events:   Type    Reason             Age                 From                   Message   ----    ------             ----                ----                   -------   Normal  ScalingReplicaSet  63s                 deployment-controller  Scaled up replica set wildfly-deployment-68d5df85c4 to 1   Normal  ScalingReplicaSet  62s                 deployment-controller  Scaled down replica set wildfly-deployment-68d5df85c4 to 0   Normal  ScalingReplicaSet  62s                 deployment-controller  Scaled up replica set wildfly-deployment-c75c786dd to 1   Normal  ScalingReplicaSet  49s (x2 over 117m)  deployment-controller  Scaled down replica set wildfly-deployment-5fcff44ddc to 0 [root@kubemaster ~]#

위와 같이 Pod별 할당 할 Resource 정보가 등록되었습니다.

또한 하단과 같이 실제 Pod에 해당 Flavor가 적용된 것을 확인할 수 있습니다.

[root@kubemaster ~]# kubectl describe pods wildfly-deployment-c75c786dd-5k6xn Name:         wildfly-deployment-c75c786dd-5k6xn Namespace:    default Priority:     0 Node:         kubeworker/192.168.56.103 Start Time:   Sat, 28 Dec 2019 22:41:48 +0900 Labels:       app=wildfly               pod-template-hash=c75c786dd Annotations:  kubectl.kubernetes.io/restartedAt: 2019-12-28T08:41:36-05:00 Status:       Running IP:           10.233.104.22 IPs:   IP:           10.233.104.22 Controlled By:  ReplicaSet/wildfly-deployment-c75c786dd Containers:   wildfly:     Container ID:   docker://ed559eb7ecdf77b83f367c8e851f696df8109482dd51f46a24eebdd94872d587     Image:          192.168.56.100:5000/middleware/wildfly/wildfly_custom_image:latest     Image ID:       docker-pullable://192.168.56.100:5000/middleware/wildfly/wildfly_custom_image@sha256: 570d48c7ab7cef1fc7bce8de8c607d80ab700ab05e6087c1bc5e217821683d50     Port:           8080/TCP     Host Port:      0/TCP     State:          Running       Started:      Sat, 28 Dec 2019 22:41:50 +0900     Ready:          True     Restart Count:  0     Limits:       cpu:                1       ephemeral-storage:  10Gi       memory:             2Gi     Requests:       cpu:                500m       ephemeral-storage:  5Gi       memory:             1Gi     Environment:               Mounts:       /var/run/secrets/kubernetes.io/serviceaccount from default-token-v6ddt (ro) Conditions:   Type              Status   Initialized       True    Ready             True    ContainersReady   True    PodScheduled      True  Volumes:   default-token-v6ddt:     Type:        Secret (a volume populated by a Secret)     SecretName:  default-token-v6ddt     Optional:    false QoS Class:       Burstable Node-Selectors:  key=worker Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s                  node.kubernetes.io/unreachable:NoExecute for 300s Events:   Type     Reason            Age                From                 Message   ----     ------            ----               ----                 -------   Warning  FailedScheduling  12m (x2 over 12m)  default-scheduler    0/2 nodes are available: 1 Insufficient memory, 1 node(s) didn't match node selector.   Normal   Scheduled         12m                default-scheduler    Successfully assigned default/ wildfly-deployment-c75c786dd-5k6xn to kubeworker   Normal   Pulling           12m                kubelet, kubeworker  Pulling image "192.168.56.100:5000/middleware/wildfly/ wildfly_custom_image:latest"   Normal   Pulled            12m                kubelet, kubeworker  Successfully pulled image "192.168.56.100:5000/middleware/ wildfly/wildfly_custom_image:latest"   Normal   Created           12m                kubelet, kubeworker  Created container wildfly   Normal   Started           12m                kubelet, kubeworker  Started container wildfly [root@kubemaster ~]#

다음으로 Node에 해당 Flavor가 적용된 것도 확인할 수 있습니다.

[root@kubemaster ~]# kubectl describe nodes  Name:               kubemaster  Roles:              master  Labels:             beta.kubernetes.io/arch=amd64                      beta.kubernetes.io/os=linux                      kubernetes.io/arch=amd64                      kubernetes.io/hostname=kubemaster                      kubernetes.io/os=linux                      node-role.kubernetes.io/master=  Annotations:        kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock                      node.alpha.kubernetes.io/ttl: 0                      volumes.kubernetes.io/controller-managed-attach-detach: true  CreationTimestamp:  Wed, 25 Dec 2019 22:16:49 +0900  ... ...   Namespace                  Name                                  CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE    ---------                  ----                                  ------------  ----------  ---------------  -------------  ---    kube-system                calico-node-nzwvv                     150m (8%)     300m (16%)  64M (2%)         500M (21%)     3d    kube-system                coredns-58687784f9-jshnf              100m (5%)     0 (0%)      70Mi (3%)        170Mi (7%)     3d    kube-system                dns-autoscaler-79599df498-fvddt       20m (1%)      0 (0%)      10Mi (0%)        0 (0%)         3d    kube-system                kube-apiserver-kubemaster             250m (13%)    0 (0%)      0 (0%)           0 (0%)         3d    kube-system                kube-controller-manager-kubemaster    200m (11%)    0 (0%)      0 (0%)           0 (0%)         3d    kube-system                kube-proxy-dm55b                      0 (0%)        0 (0%)      0 (0%)           0 (0%)         3d    kube-system                kube-scheduler-kubemaster             100m (5%)     0 (0%)      0 (0%)           0 (0%)         3d    kube-system                nodelocaldns-kjkd9                    100m (5%)     0 (0%)      70Mi (3%)        170Mi (7%)     3d  Allocated resources:    (Total limits may be over 100 percent, i.e., overcommitted.)    Resource           Requests        Limits    --------           --------        ------    cpu                920m (51%)      300m (16%)    memory             221286400 (9%)  856515840 (36%)    ephemeral-storage  0 (0%)          0 (0%)  Events:                Name:               kubeworker  Roles:                Labels:             beta.kubernetes.io/arch=amd64                      beta.kubernetes.io/os=linux                      key=worker                      kubernetes.io/arch=amd64                      kubernetes.io/hostname=kubeworker                      kubernetes.io/os=linux  Annotations:        kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock                      node.alpha.kubernetes.io/ttl: 0                      volumes.kubernetes.io/controller-managed-attach-detach: true  CreationTimestamp:  Wed, 25 Dec 2019 22:17:47 +0900  ... ...   Namespace                  Name                                         CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE    ---------                  ----                                         ------------  ----------  ---------------  -------------  ---    default                    wildfly-deployment-c75c786dd-5k6xn           500m (26%)    1 (52%)     1Gi (68%)        2Gi (137%)     15m    ingress-nginx              nginx-ingress-controller-6fbff54876-lsd4l    0 (0%)        0 (0%)      0 (0%)           0 (0%)         3d    kube-system                calico-kube-controllers-584dcf688b-qj7vb     30m (1%)      100m (5%)   64M (4%)         256M (16%)     3d    kube-system                calico-node-q254k                            150m (7%)     300m (15%)  64M (4%)         500M (31%)     3d    kube-system                coredns-58687784f9-z9gdk                     100m (5%)     0 (0%)      70Mi (4%)        170Mi (11%)    3d    kube-system                kube-proxy-l9zzx                             0 (0%)        0 (0%)      0 (0%)           0 (0%)         3d    kube-system                kubernetes-dashboard-556b9ff8f8-pkxw7        50m (2%)      100m (5%)   64M (4%)         256M (16%)     3d    kube-system                nginx-proxy-kubeworker                       25m (1%)      0 (0%)      32M (2%)         0 (0%)         3d    kube-system                nodelocaldns-j64jh                           100m (5%)     0 (0%)      70Mi (4%)        170Mi (11%)    3d  Allocated resources:    (Total limits may be over 100 percent, i.e., overcommitted.)    Resource           Requests         Limits    --------           --------         ------    cpu                955m (50%)       1500m (78%)    memory             1410686Ki (92%)  3515999488 (224%)    ephemeral-storage  5Gi (11%)        10Gi (23%)  Events:                [root@kubemaster ~]#

Flavor 실시간 사용률 확인

다음으로 Flavor에 대한 요약 정보를 확인해 보겠습니다.

먼저 현재 Pod의 CPU, MEMORY 사용률입니다. (kubectl top pods)

[root@kubemaster ~]# kubectl top pods NAME                                                                   CPU(cores)   MEMORY(bytes)    wildfly-deployment-c75c786dd-5k6xn              15m                     254Mi [root@kubemaster ~]#

할당된 Pod의 Resource 중 현재 사용률을 확인할 수 있습니다. -w 옵션으로 retry 할 수 있습니다.

다음으로 현재 Node의 CPU, MEMORY 사용률입니다. (kubectl top nodes)

[root@master1 ~]# kubectl top nodes NAME           CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%    kubemaster     1265m            2%               7713Mi                   12%        kubeworker     623m              1%               2661Mi                   1%              [root@master1 ~]#

HPA(Horizontal Pod Autoscaler) 구성

다음으로 HPA 구성 방법입니다.

apiVersion: autoscaling/v2beta2 kind: HorizontalPodAutoscaler metadata:   name: wildfly-hpa   spec:   scaleTargetRef:     apiVersion: apps/v1     kind: Deployment     name: wildfly-deployment   minReplicas: 2   maxReplicas: 4   metrics:   - type: Resource     resource:       name: cpu       target:         type: Utilization         averageUtilization: 80

wildfly-deployment에 대한 Replica를 min 2 ~ max 4로 설정하여 동적으로 관리합니다. 이는 CPU 사용률을 기반으로 Pods를 관리하며, Pod들의 CPU 사용률이 평균 80%를 넘어설 경우 Pod를 증가시키도록 구성합니다.

[root@kubemaster ~]# kubectl get hpa NAME                  REFERENCE                                   TARGETS   MINPODS   MAXPODS   REPLICAS   AGE wildfly-hpa            Deployment/wildfly-deployment       1%/80%             2                    4                     2            5s [root@kubemaster ~]#

위 내용은 wildfly-hpa가 반영된 정보입니다. TARGETS는 CPU 사용률을 의미하며, 80%를 넘어설 경우 MINPODS에서 MAXPODS로 증가됩니다. REPLICAS는 현재 PODS의 수를 의미합니다.

 

# 80%의 기준은 CPU Request / Limit이 다를 경우 Request의 평균이 80%를 넘어설 경우를 의미함

모든 Pod의 사용률 평균이 80%를 넘어서야 증가함 (하나의 Pod가 넘어설 경우를 의미하지 않음)

[root@kubemaster deployment]# kubectl get pods NAME                                 READY   STATUS    RESTARTS   AGE wildfly-deployment-c75c786dd-5k6xn   1/1     Running   1          3d21h wildfly-deployment-c75c786dd-nzq8p   1/1      Running   0          8m37s [root@kubemaster deployment]# kubectl describe deployment wildfly-deployment Name:                   wildfly-deployment Namespace:              default CreationTimestamp:      Sat, 28 Dec 2019 20:33:06 +0900 Labels:                 app=wildfly Annotations:            deployment.kubernetes.io/revision: 10 Selector:               app=wildfly Replicas:               2 desired | 2 updated | 2 total | 2 available | 0 unavailable StrategyType:           RollingUpdate MinReadySeconds:        0 RollingUpdateStrategy:  25% max unavailable, 25% max surge Pod Template:   Labels:       app=wildfly   Annotations:  kubectl.kubernetes.io/restartedAt: 2019-12-28T08:41:36-05:00   Containers:    wildfly:     Image:      192.168.56.100:5000/middleware/wildfly/wildfly_custom_image:latest     Port:       8080/TCP     Host Port:  0/TCP     Limits:       cpu:                1       ephemeral-storage:  10Gi       memory:             2Gi     Requests:       cpu:                500m       ephemeral-storage:  5Gi       memory:             1Gi     Environment:               Mounts:                  Volumes:                 Conditions:   Type           Status  Reason   ----           ------  ------   Progressing    True    NewReplicaSetAvailable   Available      False   MinimumReplicasUnavailable OldReplicaSets:   NewReplicaSet:   wildfly-deployment-c75c786dd (2/2 replicas created) Events:   Type    Reason             Age    From                   Message   ----    ------             ----   ----                   -------   Normal  ScalingReplicaSet  8m43s  deployment-controller  Scaled up replica set wildfly-deployment-c75c786dd to 2 [root@kubemaster deployment]#

위와 같이 반영 정보를 확인할 수 있습니다.

결론

Private Cloud를 실제로 구축하면서 수많은 회의와 검토를 진행했지만, 전산자원은 사실 마지막에 마지막까지도 변경되고 변경되었던것 같습니다.

Legacy 환경과는 다르게 노드 별 분리된 전산자원이 아닌 노드를 공유하는 컨테이너들이 서로 중복되어 기동되어 많은 서비스들에 대한 총합과 분배를 고려해야 하며, 클라우드 환경이 안정성을 높여준다고는 하지만, SPOF(Single Point Of Failure)가 늘어나는 감도 없지않아 있고(Container를 기동하는 노드를 함께 사용하고, msa의 많은 echo system 요소들, Disk의 공유, Logging I/O, Network Traffic 등), 기존보다 고려해야 할 포인트가 늘어나고 Hop의 증가로 인한 성능 이슈 역시 고려해야하고, 구축하는 입장에서는 고려사항이 곱절이상 늘어난 느낌입니다.

물론 성공한 설계와 이행이 뒷바침된 클라우드 환경은 우리가 생각한 만큼 강력한 힘을 보여줄 것입니다.

 

#참고

Google Cloud Kubernetes Best Practise Resource Request and Limits