나라의 IT 잡아먹기

Kubeflow 란? Kubeflow는 Kubernetes 환경에서 머신러닝을 분석할 수 있는 오픈소스 기계 학습 플랫폼이다. Kubeflow를 이용하면, 손쉽게 분석환경을 구축할 수 있으며, 직접 커스터마이징한 이미지를 구동하여 접속할 수 있는 대시보드 환경을 제공한다. kubeflow가 제공하는 다양한 기능에 대해서는 하나씩 구축해 나가면서 알아보기로 하자. Minimum system requirements 먼저 Kubeflow 구축 과정이다. 앞서 이야기한데로 Kubeflow가 구성되기 위해서는 Kubernetes 환경이 사전에 구축되어 있어야 한다. 실제로 Kubeflow는 복잡한 시스템을 배포, 확장 및 관리하기 위해 Kubernetes를 기반환경으로 사용한다. Kubeflow는 Kubernet..

서론 Knative는 Kubernetes 환경에서 동작하는 서버리스 클라우드 네이티브 애플리케이션(Severless CNA)을 배포, 실행, 관리하기 위한 오픈소스 소프트웨어이다. Knative의 구성 요소는 Kubernetes를 기반으로 구축되어 복잡한 세부 사항을 추상화하고 개발자가 비즈니스 개발에만 집중할 수 있도록 하여, 개발자의 생산성을 높일 수 있다. 또한 Knative는 Serverless Computing으로 요청이 있을 때만 코드를 실행하고, 요청이 많을 경우에는 그에 비례하는 자원을 동적으로 Scale In-Out 또는 Zero 상태까지 유지하도록 하여 사용률과 확장성을 극대화할 수 있으며, 인프라 비용을 효과적으로 절감할 수 있다. Public Cloud의 대표적인 Serverless..

Kubernetes에는 Linux / Unix Operation System에 존재하는 CronTab을 구현한 CronJob이 존재한다. CronJob은 반복적이고 Scheduling 된 업무를 동작하게 하는 방법 중 하나로 CronTab이 항상 OS Level의 Configuration으로 남아 있는것과 달리 휴발성 있는 컨테이너에서 Job을 실행하고 종료하는 방식으로 보다 안전한 관리 방식을 제공한다. 또한 OS 외 Kubernetes Level의 RBAC 권한 관리 방안으로 보다 안전하게 명령어 레벨을 실행할 수 있도록 제한할 수 있다. CronJob 먼저 CronJob에 대해 알아보자. CronJob은 CronTab에 정의된 한 줄의 Scheduling과 같다고 볼 수 있다. CronTab과 같이..

지금까지 Helm 사용법 및 Helm Customizing 방법에 대해 알아보았다. 자세한 내용은 아래를 참조한다. Helm3 기본 명령어 확인 및 Kubernetes deploy Helm3 Chart 커스터마이징 Helm의 사용법에 대해 알아보았으니, 이제 이를 활용한 Best Practice를 알아보고, 효과적으로 적용해 보도록 하자. 본 포스팅은 Helm 공식 사이트인 아래 URL을 참고하였다. https://helm.sh/ Helm Helm - The Kubernetes Package Manager. helm.sh 공통 규칙 1. Chart Name - Chart 이름은 소문자 + 숫자의 조합으로 구성되며, 두개 이상의 단어는 대시(-)로 구분한다. - Chart 이름은 대문자, 밑줄(_), 점(..

본 포스팅에서는 Kubernetes 기반 Nginx Ingress Proxy를 사용할 경우 발생할 수 있는 Request Entity Too Large Response 이슈에 대한 해결 방안을 제시한다. Infra : Private Cloud (OpenStack) PaaS : Kubernetes Ingress Controller : Nginx Proxy Web Server : Apahce Httpd Application Server : Wildfly17 Kubernetes 기반의 Application Pod에 10MB 이상의 파일을 전송할 경우 Request Entity Too Large Response 응답이 발생하며, 파일 업로드가 이루어 지지않는 현상 파일 업로드 제한에 대한 각 구간 별 진단 수행..

서론 본 포스팅에서는 Kubernetes에서 Pod를 효과적으로 구성하기 위해 Flavor를 적용하는 방법에 대해 알아보겠습니다. Public Cloud에서도 당연히 중요하겠지만, Private Cloud에서 아키텍처를 설계하는데 있어 가장 중요한 요소 중 하나는 바로 전산자원에 대한 설계입니다. Private Cloud는 기존 Legacy System과 마찬가지로 제한된 자원안에서 최적의 클라우드 아키텍처를 설계해야 한다는 주요 목적이 있습니다. 본문 일반적으로 Flavor라 하면 CPU, MEMORY, DISK를 의미하며 업무 패턴과 빈도, 사용률에 따라 적절한 Resource를 Deployment에 적용하고 HPA, ReplicatSet 등에 의해 Pod의 복제수를 결정하는 등 명확한 자원 설계가 ..

Kubernetes와 같은 클라우드 환경으로 접어 들면서 기존 3Tier 환경과는 다르게 배포 환경이 복잡하고 많아졌습니다. 특히 마이크로서비스로 접어 들면서 수많은 서비스들을 관리하고 배포하는 것은 굉장히 복잡하고 어려운 일이 되었습니다. 이에 자동 빌드 및 배포환경을 구성하고 자동화 환경을 구성하는 것은 필수요소가 되었습니다. 이번 포스팅에서는 Jenkins pipeline job을 이용한 CI/CD 구성방안에 대해 살펴보겠습니다. Jenkins 관련 포스팅은 아래를 참고하시기 바랍니다. [Jenkins] Jenkins 설치 가이드 [Jenkins] Jenkins를 활용한 WildFly CI/CD 환경 구성 [Jenkins] 사용자 관리 및 권한 관리 방안 [Jenkins] Pipeline Synta..

본 포스팅에서는 Kubernetes를 기동하거나 운영시 장애가 발생했을 경우 어떻게 트러블슈팅을 진행해야 하는지에 대해 알아보도록 하겠습니다. 이제 Kubernetes는 Cloud를 지향하는 모든 고객사에서 필수적인 요소가 되었습니다. CSP, On-prem 가릴것 없이 Kubernetes를 설계할 수 있어야 합니다. 다만 현 대부분의 고객사들이나 운영자들은 Kubernetes의 완전한 이해 이전에 먼저 설치하고 부딪혀 보기를 원하지만, 생각보다 이는 쉽지 않은 일입니다. 이에 이번 포스팅에서는 최소한 Kubernetes에 문제가 발생했을 경우 어떻게 문제를 찾아 내고 진단해야 하는지 몇가지 스텝을 통해 살펴보고자 합니다. # 본 예시는 하나의 장애 상황을 가정하고 이를 해결해 나가는 방법에 대해 설명하..

본 포스팅에서는 OpenStack VM기반 Kubernetes 설치하는 과정에 대해 살펴보겠습니다. Kubespray는 Ansible을 기반으로 Kubernetes를 설치합니다. ansible-playbook을 활용한 Kubespray 설치 방식은 AWS, Azure, GCP 등의 CSP와 OpenStack등 External Vendor와 연동하기 위해 사용하는 방식으로 kops와 유사한 형태를 갖고 있습니다. 지난 포스팅에서는 KVM환경 기반 kubespray로 Kubernetes를 설치해 보았으며, 이에 대한 포스팅은 다음 URL을 참고하시기 바랍니다. [Kubernetes] Kuberspray로 Kubernetes 구축하기 OpenStack은 IaaS Platform으로 VM 환경에 구성하는 방식과..

Cgroup 드라이버 cgroups(control groups의 약자)는 프로세스들의 자원의 사용(CPU, 메모리, 디스크 입출력, 네트워크 등)을 제한하고 격리시키는 리눅스 커널 기능입니다. [root@ciserver ~]# ls -la /sys/fs/cgroup total 0 drwxr-xr-x. 13 root root 340 Sep 17 05:28 . drwxr-xr-x. 7 root root 0 Sep 17 05:28 .. drwxr-xr-x. 2 root root 0 Sep 17 05:28 blkio lrwxrwxrwx. 1 root root 11 Sep 17 05:28 cpu -> cpu,cpuacct drwxr-xr-x. 2 root root 0 Sep 17 05:28 cpu,cpuacct ..