빅데이터의 분산 처리

 

💡대규모 분산 처리의 프레임워크💡

 

✔️구조화 데이터와 비구조화 데이터

 

SQL로 데이터를 집계하는 경우, 먼저 테이블의 칼럼 명과 데이터형, 테이블 간의 관계 등을 스키마로 정함

 

=> 스키마가 명확하게 정의된 데이터를 구조화된 데이터라고 한다!

 

(기존의 데이터 웨어하우스에서는 항상 구조화된 데이터로 축적하는 것이 일반적이었음)

 

 

스키마가 없는 데이터를 비구조화 데이터라고 함!

 

(자연 언어로 작성된 텍스트 데이터와 이미지, 동영상 등의 미디어 데이터가 포함됨)

 

=> 이 상태로는 SQL로 제대로 집계 X

 

비구조화 데이터를 분산 스토리지 등에 저장하고 그것을 분산 시스템에서 처리하는 것이 데이터 레이크의 개념임

=> 데이터를 가공하는 과정에서 스키마를 정의하고, 구조화된 데이터로 변환함으로써 다른 데이터와 마찬가지로 분석할 수 있음

 

 

스키마리스 데이터

 

CSV, JSON, XML 등의 데이터는 서식은 정해져 있지만, 칼럼 수나 데이터형은 명확하지 않아 스키마리스 데이터라고 불림

 

(몇몇 NoSQL 데이터베이스는 스키마리스 데이터에 대응하고 있으며 데이터 레이크에서는 대량으로 축적된 스키마리스 데이터를 효율적으로 처리하도록 하는 요구도 종종 있다고함)

 

인터넷을 통해 주고받는 데이터로 JSON 형식을 이용하는 경우가 특히 많음

=> 새로운 데이터를 다운로드할 때마다 스키마를 정하는 것은 시간과 비용이 소요되기 때문에 JSON은 JSON 그대로 저장하고 거기서 데이터 분석에 필요한 필드만을 추출하는게 간단함

 

 

데이터 구조화의 파이프라인

 

데이터 파이프라인 예시

 

 

위 파이프라인을 살펴보면 각 데이터 소스에서 수집된 비구조화 데이터, 스키마리스 데이터는 처음에 분산 스토리지에 보존됨

 

=> 분산 스토리지에 수집된 데이터는 명확한 스키마를 갖지 않는 것도 많으므로 그대로 SQL 집계 불가능

 

따라서, 스키마를 명확하게 한 테이블 형식의 구조화 데이터로 변환해야함

 

=> 일반적으로 구조화 데이터는 데이터의 압축률을 높이기 위해 열 지향 스토리지로 저장함

 

비구조화 데이터를 읽어 들여 열 지향 스토리지로 변환하는 과정에서는 데이터의 가공 및 압축을 위해 많은 컴퓨터 리소스가 소비됨

=> Hadoop과 Spark 등의 분산 처리 프레임워크를 사용함

 

 

✔️Hadoop

 

Hadoop은 단일 소프트웨어가 아니라 분산 시스템을 구성하는 다수의 소프트웨어로 이루어진 집합체이다!

 

=> Hadoop2(2013년 배포)부터 YARN이라고 불리는 새로운 리소스 관리자 상에서 복수의 분산 애플리케이션이 동작하는 구성으로 되어, 대규모 분산시스템을 구축하기 위한 공통 플랫폼의 역할을 담당하고 있음

 

분산 시스템의 구성 요소

 

 

Hadoop의 기본 구성 요소는 분산 파일 시스템인 HDFS, 리소스 관리자인 YARN, 분산 데이터 처리의 기반인 MapReduce 3가지 이다 

 

그 외의 프로젝트는 Hadoop 본체와는 독립적으로 개발되어 Hadoop을 이용한 분산 애플리케이션으로 동작함

 

=> 모든 분산 시스템이 Hadoop에 의존하는 것이 아니라, Hadoop을 일부만 사용하거나 혹은 전혀 이용하지 않는 구성도 있음

 

다양한 소프트웨어 중에서 자신에게 맞는 것을 선택하고 그것들을 조합함으로써 시스템을 구성하는 것이 Hadoop을 중심으로 하는 데이터 처리의 특징

 

 

분산 파일 시스템과 리소스 관리자

 

Hadoop에서 처리되는 데이터 대부분은 분산 파일 시스템인 HDFS에 저장됨

 

=> 이것은 네트워크에 연결된 파일 서버와 같은 존재이지만, 다수의 컴퓨터에 파일을 복사하여 중복성을 높인다는 특징이 있음

 

CPU나 메모리 등의 계산 리소스는 리소스 매니저인 YARN에 의해 관리됨

 

(YARN은 애플리케이션이 사용하는 CPU 코어와 메모리를 컨테이너라고 불리는 단위로 관리함)

 

=> Hadoop에서 분산 애플리케이션을 실행하면 YARN이 클러스터 전체의 부하를 보고 비어 있는 호스트부터 컨테이너를 할당

 

YARN의 컨테이너는 Docker처럼 OS 수준의 가상화 기술이 아니라 어떤 호스트에서 어떤 프로세스를 실행시킬 것인지 결정하는 애플리케이션 수준의 기술임

 

 

=> HDFS는 분산 시스템의 스토리지를 관리하여 항상 여러 컴퓨터에 복사되도록 함

(YARN은 CPU와 메모리를 관리하고 리소스에 여유가 있는 컴퓨터에서 프로그램을 실행함)

 

리소스 관리자를 사용하면 애플리케이션마다 실행의 우선순위를 결정할 수 있음
(중요하지 않은 배치 처리에는 낮은 우선순위를 부여)

=> 우선되는 작업부터 실행함으로써 한정된 리소스를 낭비 없이 활용하면서 데이터 처리를 진행하는 것이 가능

 

분산 데이터 처리 및 쿼리 엔진

 

MapReduce도 YARN 상에서 동작하는 분산 애플리케이션 중 하나이며, 분산 시스템에서 데이터 처리를 실행하는데 사용됨

 

=>  MapReduce는 임의의 자바 프로그램을 실행시킬 수 있기 때문에 비구조화 데이터를 가공하는 데 적합

(자바의 플랫폼 독립성, 강력한 표준 라이브러리, 오픈소스 생태계, 대규모 데이터 처리 지원등의 특성)

 

MapReduce는 원래 대량의 데이터를 배치 처리하기 위한 시스템이다

 

=> 분산 파일 시스템에서 대량의 데이터를 읽을 수 있지만, 작은 프로그램을 실행하면 오버헤드가 너무 크기 때문에 몇 초 안에 끝나버리는 쿼리 실행에는 적합 X

 

 

이 성질을 계승한 SQL 등의 쿼리 언어에 의한 데이터 집계를 위해 설계된 쿼리 엔진인 Apache Hive의 경우 시간이 걸리는 배치 처리에는 적합하나, 애드 혹 쿼리를 여러 번 실행하는 데는 부적합!

 

Hive on MR의 실행 과정

 

=> MapReduce에서는 데이터 처리의 스테이지가 바뀔 때 대기 시간이 있어서 복잡한 쿼리에서는 대기 시간만 증가함

 

Hive on Tez

Hive를 가속화하기 위한 노력의 하나로 개발된 것이 Apache Tez임

 

Hive on Tez의 실행 과정

 

MapReduce 프로그램에서는 1회의 MapReduce 스테이지가 끝날 때까지 다음의 처리를 진행할 수 없었지만 Tez에서는 스테이지의 종료를 기다리지 않고 처리가 끝난 데이터를 차례대로 후속 처리에 전달함으로써 쿼리 전체의 실행 시간을 단축!

 

=> 이렇듯 MapReduce에 있던 몇 가지 단점을 해소함으로써 고속화를 실현

 

Tez에서는 불필요한 단계가 감소하여 처리가 짧아짐과 동시에, 스테이지 사이의 대기 시간이 없어 처리 전체가 동시에 실행되서 실행 시간이 단축된다!

 

 

대화형 쿼리 엔진

Hive를 고속화하는 것이 아니라 처음부터 대화형의 쿼리 실행만 전문으로 하는 쿼리 엔진도 개발되고 있다!

 

(Apache Impala 와 Presto가 대표적)

 

MapReduce와 Tez는 장시간의 배치 처리를 가정해 한정된 리소스를 유효하게 활용하도록 설계됨

한편, 대화형 쿼리 엔진으로는 순간 최대 속도를 높이기 위해 모든 오버헤드가 제거되어 사용할 수 있는 리소스를 최대한 활용하여 쿼리를 실행함

 

=> 대화형 쿼리 엔진은 MPP 데이터베이스와 비교해도 손색없는 응답 시간을 실현하고 있다!

 

Presto와 Impala의 실행 과정

 

Presto와 Impala는 YARN과 같은 범용적인 리소스 관리자를 사용하지 않고, SQL의 실행만 특화한 독자적인 분산 처리를 구현하고 있음

 

=> MPP 데이터베이스처럼 멀티 코어를 활용하면서 가능한 한 많은 데이터 처리를 병렬화함으로써 고속화를 실현

 

 Hadoop에서는 성질이 다른 쿼리 엔진을 목적에 따라 구분함

대량의 비구조화 데이터를 가공하는 무거운 배치 처리에는 높은 처리량으로 리소스를 활용할 수 있는 Hive를 이용하고 그렇게 해서 완성한 구조화 데이터를 대화식으로 집계하고자 할 때는 지연이 적은 Impala와 Presto등이 적합

 

✔️Spark

 

Hadoop의 연장선 상에 있는 Tez와 달리, Spark는 Hadoop과는 다른 독립된 프로젝트임!

 

Spark의 특징은 대량의 메모리를 활용하여 고속화를 실현하는 것이다

 

=> 가능한 한 많은 데이터를 메모리상에 올린 상태로 두어 디스크에는 아무것도 기록 X

 

(이 경우 컴퓨터가 비정상 종료하면 중간까지 처리한 중간 데이터가 사라져 버리기에 처리를 다시 시도해야 함)

 

MapReduce 대체하기

 

Spark는 Hadoop을 대체하는 것이 아니라 MapReduce를 대체하는 존재임

 

=> 분산 파일 시스템인 HDFS나 리소스 관리자인 YARN 등은 Spark에서도 그대로 사용

(Hadoop 이용하지 않고 분산 스토리지 Amazon S3나 분산 데이터베이스 카산드라에서 데이터를 읽는 것도 가능)

 

 

 

Spark의 실행 과정

 

 

Spark에서는 중간 데이터를 디스크에 쓰지 않고 메모리에 보존함

 

=> 실행 중에 많은 메모리 필요하지만 실행 시간은 단축

 

=> 장애 등으로 메모리 상의 중간 데이터를 잃어버려도, 한 번 더 입력 데이터로 다시 실행함

(중간 데이터는 의도적으로 디스크 상에 캐시하는 것도 가능)