나라의 IT 잡아먹기

본 포스팅은 WAS의 장애복구과정을 설명합니다.장애가 발생하면 스스로 복구되는 과정은 사이트를 운영하는데 있어서 매우 중요한 부분입니다. 이에 WAS의 장애복구 기능을 설명보고자 합니다. 먼저 장애 시 자동 복구 방안입니다.서버 장애 자동 관리 메커니즘은 다음과 같습니다.- JEUS Manager에 의한 시스템의 Container 및 어플리케이션 감지 기능으로 Container 및 어플리케이션을 자동으로 재 시작 시키게 됩니다.- 웹서버와 JEUS의 시스템간 통신으로 장애에 대한 감지 기능 제공으로 JEUS 서버 장애 시 정상적으로 작동하는 JEUS 서버로 서비스합니다.- 동일 서버간 클러스터링 지원으로 무정지 서비스를 제공합니다. 관리 정책에 따른 Active Management 설정방법은 다음과 같습..

본 포스팅은 다양한 Exception Case를 살펴보고 1차 선 대응 방법에 대해 알아 보겠습니다.본 포스팅은 모든 Exception Case를 살펴보는것에 의의가 있지는 않습니다. Exception은 워낙 많은 Case가 존재하고 이를 모두 살펴 보려면 100년이 걸려도 다 살펴보지는 못할 것이기 때문입니다. 그렇기 때문에 많은 분야의 전문가가 존재할 것입니다. 이번 시간에는 이런 문제가 발생했을 경우 어떻게 대응하고 해결해 나갈 것인지에 대한 개론적인 내용을 다루고자 합니다. 특히 그중 Hand Up에 의한 장애 처리에 대해 좀 더 중점적으로 확인 할 예정입니다. 이미 많은 사람에 의해 해결된 이슈들이므로 훓어보기 식으로 쭉 내려 보기를 추천합니다. 먼저 CPU 과부하를 유발하는 현상에 대해 알아보..

본 포스팅은 CPU를 사용하는 usr / sys 영역간의 차이점에 대해 알아보겠습니다. 언젠가 사이트 CPU 이슈 발생 시 "CPU 사용 영역이 usr 영역인가요? sys 영역인가요?" 라고 물어봤던 기억이 납니다. CPU를 대량 사용하는 Process or Thread를 찾는 일은 매우 중요한일입니다. 다만 본 포스팅에서 다루는 내용을 통해 확인해야 할 범위를 최소화 할 수 있다면 이는 매우 도움이 될 것입니다. 예를 들어 usr or sys 영역을 줄일 수 있다면 범위를 40% 정도 줄인것이라 할 수 있습니다. 이번 포스팅이 CPU 사용에 대한 고민이 많은 엔지니어들에게 도움이 되었으면 합니다. 먼저 vmstat 명령 시 CPU 컬럼에 대해 알아보겠습니다. us영역은 user mode 에서 소비된 c..

본 포스팅은 OutOfMem 발생 시 유연한 대응방법에 대해 알아보겠습니다. 메모리 부족(OutOfMem) 현상은 프로그램 또는 운영 체제에서 사용하기 위해 추가 메모리를 할당할 수 없는 경우 발생하는 상태입니다. 이러한 시스템은 추가 프로그램을 로드할 수 없으며, 실행중인 많은 프로그램이 메모리에 추가 데이터를 로드할 수 없으므로 올바르게 작동하지 않습니다. 이 문제는 일반적으로 디스크 스왑 공간을 포함하여 사용 가능한 모든 메모리가 할당되었기 때문에 발생합니다. OOM이 발생하는 경우는 말 그대로 Java의 Heap 메모리가 부족하여 더 이상 가용한 메모리가 경우라 할 수 있습니다. 이러한 OOM이 발생하는 경우는 두 가지 정도라고 할 수 있는데, 메모리 leak으로 인한 OOM과 순간적으로 과도한 ..

본 포스팅은 ThreadDump 분석 가이드하겠습니다. ThreadDump는 현재 Working 중인 프로세스의 상세정보를 확인하는데 그 목적이 있습니다. 대체로 ThreadDump 만으로 충분한 데이터를 취득할 수도 있지만, 일반적으로는 CPU모니터링과 함께 HeapDump 분석에 유용한 자료로 활용됩니다. 먼저 Thread dump의 정의에 대해 알아보겠습니다. ThreadDump는 Java(JVM)에서 사용하는 Thread들에 대한 Thread call stack 정보를 담고 있는 스냅샷이라고 볼수 있습니다. - OS 별로 Thread에 대한 내부 구조 (스케줄링, 라이프사이클 등)이 조금씩 다르며, JVM에 영향을 미칩니다. - OS는 Process와 Thread의 관계가 1:1 or 1:n으로 ..

개요 vmstat은 리눅스에서 가장 기본적인 시스템 모니터링 명령어이자, 시스템 리소스 이상 유무를 판단할 수 있는 중요한 명령어이다. 간단한 명령어를 이용하여 손쉽게 시스템의 상태를 진단할 수 있어 성능테스트와 같은 특정 목적을 위해 사용하기도 하지만, 일상 모니터링 용도로도 vmstat은 많이 사용된다. vmstat 명령어 예시 a. vmstat : default 실행 [root@ip-192-168-114-198 ~]# vmstat procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 504328 ..

본 포스팅은 HeapDump 분석 가이드입니다. HeapDump는 Memory 누수를 진단하는데 중요한 역할을 하는 TroubleShooting 방법입니다. ThreadDump에서 확인한 Application의 상세 Stack을 확인할 수 있는 장애 진단에 매우 중요한 부분이라 볼수 있습니다. 먼저 HeapDump이 정의에 대해 알아보겠습니다. Heap이란 Java에서 사용하는 object들을 저장하는 공간입니다. Heap에는 java object 정보만 저장되는 것이 아니고 메타 정보 및 각 object들에 대한 참조 정보도 담겨 있습니다. Heap 메모리에 존재하는 모든 object는 Root 노드부터 시작해서 parent/child 형식의 tree 구조를 형성하고 있습니다. 이러한 tree 구조는 ..

본 글은 JMeter 3.1을 활용한 성능 측정 가이드입니다. LoadRunner, Strobus등 상용 툴을 통해 성능 측정을 할 수 있지만, 무엇보다 돈이 문제가 되겠죠.. 물론 상용툴을 통해 정확하고 자세한 분석을 진행하고자 한다면, 본 글은 여기서 그만 보기를 추천합니다. 해당 글은 단순 페이지에 대한 성능 측정 또는 BandWhith를 측정하기 위해 Jmeter를 사용하는 방법을 가이드 합니다. 1. 먼저 JMeter를 다운 받습니다. http://jmeter.apache.org/download_jmeter.cgi 해당 URL에 접속하여 현재 최신 버전인 JMeter 3.1을 다운받습니다. 본인은 다수의 바이너리 중 apache-jmeter3.1.tgz을 다운 받았습니다. (apache-jmet..

본 포스팅은 다양한 Exception Case를 살펴보고 1차 선 대응 방법에 대해 알아 보겠습니다. 본 포스팅은 모든 Exception Case를 살펴보는것에 의의가 있지는 않습니다. Exception은 워낙 많은 Case가 존재하고 이를 모두 살펴 보려면 100년이 걸려도 다 살펴보지는 못할 것이기 때문입니다. 그렇기 때문에 많은 분야의 전문가가 존재할 것입니다. 이번 시간에는 이런 문제가 발생했을 경우 어떻게 대응하고 해결해 나갈 것인지에 대한 개론적인 내용을 다루고자 합니다. 특히 그중 Hand Up에 의한 장애 처리에 대해 좀 더 중점적으로 확인 할 예정입니다. 이미 많은 사람에 의해 해결된 이슈들이므로 훓어보기 식으로 쭉 내려 보기를 추천합니다. 먼저 Hang Up에 대한 정의는 다음과 같습니..

개요 본 포스팅은 WAS Thread수와 Instance수를 산정하는 방법에 대한 가이드이다. WAS에서 Thread는 성능을 측정하는데 있어서 매우 중요한 부분이다. Thread의 수에 따라 어플리케이션이 할당되고, 호출 되고 실제로 Working 하는 요소가 바로 Thread이기 때문이다. 다만, 무작정 Thread를 늘려 놓게 되면, WAS Process에 악영향을 키칠수도 있고, 또는 불필요한 Resource 낭비를 초래 할 수도 있다. 이에 적당한 수의 Thread를 산정하는 것은 매우 중요하다고 볼수 있다. Thread 수를 산정하기에 앞서 먼저 성능 산정에 대한 몇가지 기본 Parameter에 대해서 알아보도록 하자. 먼저 Response Time과 Think Time이다. 일반적인 웹시스템..