TOPCIT 벼락치기 | 시스템아키텍처 확장 기술: 가상화, 클라우드 컴퓨팅, 빅데이터 아키텍처

 

가상화컴퓨팅의 진화

가상화 (Virtualization)

물리적으로 구성된 온프레미스부터 시작해서 가상 서버, 컨테이너, 서버리스에 이르기까지 가상화컴퓨팅은 진화하고 있다.

 

1. 온프레미스 (On-Premises):

이것은 기업이 자체 데이터 센터나 물리적 서버를 보유하고 운영하는 전통적인 방식입니다. 모든 하드웨어와 소프트웨어는 회사 내부에 구축되고 유지 관리됩니다. 이는 전체 IT 인프라를 직접 관리해야 하므로 초기 투자 및 운영 비용이 높을 수 있습니다.

2. 가상 서버 (Virtual Machines - VMs):

가상화의 첫 번째 단계로, 물리적 서버를 하나 이상의 가상 서버로 나누어 사용합니다. 이것은 물리적 하드웨어의 리소스를 효율적으로 활용하고 여러 운영 체제 및 응용 프로그램을 단일 서버에서 실행할 수 있도록 합니다. 예를 들어, 하나의 물리적 서버에서 여러 가상 서버를 실행하여 리소스를 공유할 수 있습니다.

3. 컨테이너 (Containerization):

컨테이너는 가상화의 다음 진화 단계로, 애플리케이션과 모든 종속성을 패키징하고 격리된 환경에서 실행합니다. 이러한 컨테이너는 공통된 운영 체제 커널을 공유하므로 더 가볍고 시작 및 중지가 빠릅니다. 또한 컨테이너 오케스트레이션 도구인 Kubernetes를 사용하여 컨테이너를 관리할 수 있습니다.

4. 서버리스 컴퓨팅 (Serverless Computing):

서버리스 컴퓨팅은 개발자가 서버 인프라 관리 없이 애플리케이션 코드를 실행하는 형태입니다. 이것은 클라우드 프로바이더가 백엔드 인프라를 자동으로 관리하므로 개발자는 코드에 집중할 수 있습니다. 서버리스 컴퓨팅은 이벤트 트리거를 기반으로 작동하며 필요한 경우에만 실행됩니다.

가상화의 진화는 온프레미스 및 클라우드 환경 모두에서 중요한 역할을 합니다. 온프레미스에서는 하드웨어 리소스의 효율적인 활용을 통해 더 많은 작업을 수행하고 비용을 절감할 수 있으며, 클라우드 환경에서는 스케일링과 관리의 용이성을 통해 유연성을 높일 수 있습니다. 이러한 가상화 형태는 비즈니스 요구 사항과 자원 활용에 따라 선택할 수 있으며, 기업은 다양한 가상화 방식을 혼합하여 최적의 IT 인프라를 구축할 수 있습니다.

 

가상화- VM(Virtual Machine)

• 물리적인 컴포넌트(Components, HW장치)를 논리적인 객체로 추상화하는 것
• 컴퓨터에서 컴퓨터 리소스의 추상화를 일컫는 광범위한 용어

• 가상머신(Virtual Machine)은 가상화를 통하여 구현되는 복제된 컴퓨팅 환경
• 하이퍼바이저(Hypervisor)는 공유 컴퓨팅 자원을 관리하고 가상머신들을 컨트롤하는 중간 관리자

가상화를 사용하는 것과 사용하지 않는 것의 중요한 차이는 '하이퍼바이저'를 사용하는 것에 있다.

 

하이퍼바이저의 유형

• TYPE 1 (NATIVE형) : 하이퍼바이저에서만 사용 - 높은 성능
• TYPE 2 (HOST형) : host OS를 사용하고 그 위에 하이퍼바이저가 올라감. - 쉬운 설치, 쉬운 관리

TYPE 1 하이퍼바이저는 서버 가상화와 데이터 센터 환경에서 더 적합하며, 
TYPE 2 하이퍼바이저는 개발 및 테스트, 데스크톱 가상화 등의 작업에 더 적합할 수 있다. 

 

 Type 1 (NATIVE형)은 전가상화 방식과 반가상화 방식으로 나뉜다. 

• 전가상화 : 하드웨어 전체를 가상화함. - 게스트OS는 하이퍼바이저를 통해서 하드웨어와 통신을 할 수밖에 없다. → 성능은 낮아지지만 게스트 OS의 변화는 필요가 없다.
• 반가상화 : 일부만 가상화함 - 수정된 게스트OS가 하드웨어와 직접 소통. → 높은 성능 ! 게스트OS가 수정되어야해 복잡함.

 

가상화 - 컨테이너(Container)

모듈화되고 격리된 컴퓨팅 공간 또는 컴퓨팅 환경, 프로세스를 격리하여 모듈화된 프로그램 패키지로서 수행.

가상머신에서 필요한 게스트OS 방식이 아니라 프로그램이 수행하는데 필요한 패키지로만 구성되어 수행된다. 

→ VM방식과 컨테이너 방식의 가장 큰 차이는 게스트OS의 유무이다.

컨테이너는 경량의 가상화 방식. 수많은 컨테이너들로 운영될 수 있다.

이 수많은 걸 관리하기 위한 오케스트레이션(Orchestration) 플랫폼이 필요한데, 그것이 쿠버네티스이다.

 

쿠버네티스

컨테이너화된 워크로드와 서비스를 관리하기 위한 이식성과 확장성을 갖춘 오픈소스 오케스트레이션 플랫폼.

쿠버네티스 아키텍처에는 마스터 노드와 워커 노드(슬레이브)로 구성된 클러스터가 포함되어 있다.

1. 마스터 (Master): 쿠버네티스 클러스터의 중심 제어 플레인. 

마스터 노드 구성요소

• API 서버 (API Server): 쿠버네티스 클러스터와 상호 작용할 수 있는 RESTful API를 제공함. 모든 클러스터 구성 요소와 사용자가 API 서버를 통해 통신함.
• etcd: 일관된 키-값 스토어 데이터베이스로, 클러스터 구성 정보 및 상태 데이터를 저장함.
• 스케줄러 (Scheduler): 새로운 파드(pod)를 어떤 노드에 배치할지 결정함. 스케줄러는 리소스 요구 사항과 정책을 고려하여 최적의 노드를 선택함.
• 컨트롤 매니저 (Controller Manager): 클러스터의 상태를 감시하고 적절한 조치를 취하려고 노력함. 예를 들어 복제 컨트롤러는 지정된 수의 파드가 실행되도록 유지함.

2. 워커 (Worker): 실제로 애플리케이션 컨테이너가 실행되는 노드.

워커 노드 구성요소

• Kubelet: 개별 워커 노드에서 실행되는 컨테이너 관리자로, 마스터의 명령을 받아 컨테이너를 시작하고 종료함.
• Kube Proxy: 네트워크 프록시 및 로드 밸런서로, 파드 간의 통신을 관리하고 서비스 로드 밸런싱을 지원함.
• Container Runtime: 컨테이너를 실행하는 데 사용되는 소프트웨어 (예: Docker, containerd).

워커 노드는 파드라는 최소 실행 단위로 컨테이너를 실행하며, 마스터 노드에서 파드 배치 및 관리를 담당하는 컨트롤 플레인 컴포넌트들과 협력한다. 

 

가상화 - 서버리스(Serverless)

애플리케이션을 실행하는데 필요한 컴퓨팅 리소스와 스토리지(저장소)를 동적으로 할당하고, 사용자는 그 부분만큼만 비용을 지불하는 클라우드 컴퓨팅.

구분	BaaS (Backend as a service)	FaaS (Function as a Service)
개념	웹/앱기반 서비스에서 자주 사용되는 데이터 저장, 푸시, 사용자 관리 및 접속 제어 등의 기능을 표준화 API로 제공하는 클라우드 서비스	BaaS와 달리 애플리케이션을 구성하는 여러 함수들을 클라우드에서 직접 실행하는 방식의 클라우드 서비스
목적	백엔드에서 제공되어야 할 필요한 기능들을 클라우드에서 직접 호출	서버에서 수행되는 기능들을 직접 개발 후 클라우드에서 직접 실행
특징	백엔드 제공 기능 호출하여 각자 고유 서비스에 집중 가능	Stateless 방식의 애플리케이션 구동
서비스	기록, 관리, 인증, 서비스 구동 등	시스템에서의 기능 단위 서비스

 

 

클라우드 컴퓨팅

서로 다른 물리적인 위치에 존재하는 컴퓨터들의 리소스를 가상화 기술로 통합해 제공하는 기술

M 방식의 laaS, 컨테이너 방식의 CaaS, 플랫폼 제공하는 PaaS, 서버리스 컴퓨팅을 제공하는 FaaS
이 모든 서비스들이 클라우드 컴퓨팅으로 제공되고 있다. 

1. IaaS (Infrastructure as a Service - 인프라스트럭처 서비스):
   • 설명: IaaS는 가상화된 컴퓨팅 리소스를 제공한다. 이 모델에서 사용자는 가상 머신, 스토리지, 네트워크, 그리고 운영 체제와 같은 기본 인프라를 사용하고 관리할 수 있다. 사용자는 이 인프라를 사용하여 애플리케이션을 배포하고 관리할 책임이 있다.
   • 예시: AWS EC2, Microsoft Azure VMs, Google Compute Engine
2. CaaS (Container as a Service - 컨테이너 서비스):
   • 설명: CaaS는 컨테이너 관리와 오케스트레이션을 위한 서비스를 제공한다. 사용자는 컨테이너를 패키징하고 배포하며, 컨테이너 오케스트레이션 플랫폼이 컨테이너를 자동으로 관리한다. 이 모델은 애플리케이션의 이식성과 확장성을 높인다.
   • 예시: Kubernetes, Docker Swarm, Google Kubernetes Engine (GKE)
3. PaaS (Platform as a Service - 플랫폼 서비스):
   • 설명: PaaS는 애플리케이션 개발을 위한 플랫폼을 제공한다. 개발자는 애플리케이션 코드에 집중할 수 있다. 이 모델에서는 인프라나 운영 체제에 대한 걱정 없이 애플리케이션 코드를 배포하고 실행할 수 있다.
   • 예시: Heroku, Google App Engine, Microsoft Azure App Service
4. FaaS (Function as a Service - 함수 서비스):
   • 설명: FaaS는 이벤트 트리거에 따라 실행되는 함수를 호스팅하는 서비스다. 개발자는 함수를 작성하고 업로드하며, 이벤트(예: HTTP 요청, 데이터베이스 변경)가 발생하면 해당 함수가 실행된다. 서버 인프라 관리가 필요 없으며, 비용은 함수 실행 시간과 리소스 사용량에 따라 청구된다.
   • 예시: AWS Lambda, Azure Functions, Google Cloud Functions

각 서비스 모델은 다른 수준의 추상화와 관리를 제공하며, 사용 사례와 요구 사항에 따라 선택된다. IaaS는 더 많은 컨트롤과 유연성을 제공하며, PaaS 및 FaaS는 개발자 생산성을 향상시키고 인프라 관리 부담을 줄인다. CaaS는 컨테이너화된 애플리케이션의 배포 및 관리를 간소화하며, 서버리스(FaaS)는 이벤트 기반의 애플리케이션 실행을 지원한다.

 

클라우드 컴퓨팅 아키텍처 : 멀티 클라우드 / 하이브리드 클라우드

중요한 차이는, 하이브리드 클라우드는 On-premise와 같이 사용할 수 있다!
온프레미스는 기업 내부의 데이터 센터의 인프라 자원과 같이 사용할 수 있는 것 !
워크로드 또한 같이 서비스 될 수 있는 특징이 있다.

1. 멀티 클라우드 (Multi-Cloud):
   • 설명: 멀티 클라우드는 기업이 여러 개의 다른 클라우드 서비스 제공업체를 사용하여 IT 리소스를 관리하고 운영하는 모델이다. 이 모델은 벤더 락인(Vendor Lock-In)을 피하고 리소스 가용성을 높이기 위해 사용된다. 여러 클라우드 제공업체의 서비스 및 리소스를 혼합하여 사용자의 요구에 따라 최적의 리소스를 선택할 수 있다.
   • 장점:
     • 벤더 중립성: 다양한 클라우드 제공업체를 사용하여 벤더 종속성을 피할 수 있다.
     • 리소스 가용성: 여러 클라우드를 사용하면 리소스 가용성을 향상시킬 수 있다.
     • 비용 절감: 리소스의 비용을 감소시키고 최적화할 수 있다.
   • 단점:
     • 복잡성: 여러 클라우드를 관리하고 통합하는 데 복잡성이 증가할 수 있다.
     • 관리 어려움: 멀티 클라우드 환경을 효과적으로 관리하려면 관리 도구 및 정책이 필요하다.
2. 하이브리드 클라우드 (Hybrid Cloud):
   • 설명: 하이브리드 클라우드는 온프레미스(On-Premises) 데이터 센터와 클라우드 환경을 통합하여 사용하는 모델이다. 이 모델은 기존 온프레미스 인프라와 클라우드 인프라 사이에 데이터 및 애플리케이션을 이동하고 공유할 수 있게 한다. 보안, 규정 준수, 리소스 최적화 등을 고려하여 온프레미스 및 클라우드 리소스를 혼합하여 사용한다.
   • 장점:
     • 유연성: 온프레미스 및 클라우드 리소스의 유연한 사용이 가능하다.
     • 보안 및 규정 준수: 민감한 데이터를 온프레미스에 유지하면서 클라우드에서 확장성을 얻을 수 있다.
     • 비용 절감: 필요에 따라 클라우드 리소스를 활용하여 비용을 절감할 수 있다.
   • 단점:
     • 복잡성: 하이브리드 클라우드 아키텍처는 구성 및 관리가 복잡할 수 있으며, 적절한 보안 및 관리가 필요하다.
     • 인프라스트럭처 이동: 데이터 및 애플리케이션을 온프레미스와 클라우드 사이에서 움직이는 것은 관리의 어려움을 초래할 수 있다.

 

 

아키텍처 사례

Cloud 아키텍처

클라우드를 활용한 시스템 아키텍쳐 활용이다.
클라우드의 장점을 활용해서, 각각 다른 위치 (싱가폴 유럽 아시아 등) 원하는 위치에 원하는 기능 올릴 수 있는 클라우드 활용
데이터 싱크라는 기능을 통해 같은 서비스를 각자 지역에 맞는 서비스를 제공할 수 있도록 아키텍쳐를 구성할 수 있다.

 

MSA (Micro Service Architecture) 아키텍처

시스템 아키텍쳐는 여러가지 모델로 제공될 수 있다. 레이어별로 분류된 시스템 아키텍쳐는 데이터레이어, 플랫폼 레이어, 서비스 Integration 레이어 위에 마이크로 서비스 별로 분류가 되어있고 마이크로 서비스들을 API 위에서 라우팅, 로드밸런싱, 보안처리를 한다. 사용자는 UI 레이어에서 프론트 UI로 접속을 하게 되고, 필요한 기능은 백오피스나 백엔드 UI에서 수행을 하는 아키텍쳐 사례이다.

MSA는 현대적인 애플리케이션 아키텍처 패턴으로 인기를 얻고 있으며, 클라우드 환경에서 특히 빠르게 성장하고 있다.

 

 

빅데이터 아키텍처

하둡(Hadoop)

• 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 분산 소프트웨어 플랫폼
• 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템(HDFS, Haddop Distributed File System)과 맵리듀스를 구현

분류	역할
Hadoop Common	Hadoop 구성 요소를 위한 공통 유틸리티
HDFS (Hadoop Distributed File System)	범용 하드웨어로 구성된 클러스터에서 실행되고 데이터 액세스 패턴을 스트리밍 방식으로 지원하여 매우 커다란 파일들을 저장할 수 있도록 설계된 파일 시스템
MapReduce	대용량 데이터 세트를 처리하거나 생성하기 위한 프로그래밍 모델 - Map Phase: 각 데이터를 한 줄씩 읽어서 키와 밸류로 묶어줌 - Reduce Phase: Map Phase에서 데이터를 받아 합치고 정리함

 

 

HDFS의 아키텍처

HDFS는 네임노드와 데이터노드로 구성이 되어있다.

• 네임노드 : 파일시스템의 네임스페이스(디렉토리, 파일명, 파일블럭) 등을 관리하며 클라이언트의 요청 처리 ! 
• 데이터노드 : 블록들은 가용성을 보장하기 위해 여러 데이터 노드에 분산 저장 

 

 

 

MapReduce의 개념

클러스터 환경에서 페타 바이트 이상의 대용량 데이터를 병렬로 처리하기 위한 일종의 함수형 프로그래밍.

MapReduce는 JobTracker와 TaskTracker로 구성되어있다.

마스터 노드의 잡 트래커가 태스크 트래커에 작업을 할당하게 되면, 태스크트래커는 Map함수와 Reduce함수를 수행한다.

맵합수를 통해 키와 밸류 구조로 데이터를 전환하고, 리듀스 함수를 통해 필요한 키에 맞추어 데이터를 연산한다.

예를 들어, 과거의 온도 데이터를 구한다고 가정했을 때 수많은 데이터들이 측정되었을텐데
맵함수를 통해 날짜라는 키로 데이터를 뽑고, 리듀스 함수를 통해 해당 데이터의 평균을 구해
빅데이터에서 우리가 원하는 데이터를 추출할 수 있다.

 

 

 

Spark 시스템

빅데이터 처리를 인메모리 기반으로 클러스터에서 고속으로 실행할 수 있는 차세대 빅데이터 처리 프레임워크.

디스크를 사용하고 있는 하둡은, 디스크로 인한 부하로 지연이 발생할 수 있기 때문에
Spark와 같은 인메모리 기반의 클러스터 고속처리 프레임워크를 활용할 수 있다.

 

 

하둡은 정형 비정형 모든 데이터에 대한 처리를 수행하고
Data Warehouse에서는 정형데이터의 처리를 수행함으로써
비즈니스에 대한 의사결정을 보다 넓고 보다 빠르게 할 수 있도록 서비스를 제공하고 있다.

하둡으로 구성된 빅데이터와 데이터웨어하우스의 결합으로 처리된 데이터는
가시화가 되거나, 보다 실시간의 의사 결정을 지원, 문제 해결하는 데 활용이 되고 있다.

 

 

ref.

특강 링크