빅데이터의 기초 지식

 

💡빅데이터의 정착💡

 

✔️분산 시스템에 의한 데이터 처리의 고속화

 

 

클라우드 서비스의 보급으로 기술적인 제약이 적어져 누구라도 마음만 먹으면 데이터를 분석할 수 있는 시대가 되었다

 

=> 이제 대량의 데이터를 활용하여 새로운 가치를 창출하거나 의사 결정을 위해 이용하는 일이 보편화됨

 

"빅데이터"라는 단어를 자주 접하게 된 것은 2011~2012 기업들이 데이터 처리에 분산 시스템을 도입했을 무렵

=> 빅데이터라는 단어가 여기저기서 사용되어 데이터를 비즈니스에 활용하자는 움직임이 활발해짐

 

 

빅데이터의 취급이 어려운 이유는 크게 2가지이다!

 

1. 데이터의 분석 방법을 모른다는 점

=> 데이터가 있어도 그 가치를 창조하지 못한다면 의미 X

 

2. 데이터 처리에 수고와 시간이 걸린다는 점

 

=> 지식이 있어도 시간을 많이 소비한다면 할 수 있는 것은 한정

 

 

빅데이터 기술의 요구 (Hadoop과 NoSQL의 대두)

 

세계 곳곳으로부터 엑세스 되는 시스템이 증가함에 따라 전통적인 관계형 데이터베이스(RDB)로는 취급할 수 없을 만큼 대량의 데이터가 쌓이게 되면서 기존과는 다른 구조로 데이터를 처리를 해야 하는 필요성이 생겼다!

 

=> Hadoop 과 NoSQL은 각가가 다른 요구를 충족하기 위해 태어남

Hadoop 과 NoSQL 흐름

 

웹 서버 등에서 생성된 데이터는 처음에는 RDB와 NoSQL 등의 텍스트 데이터에 저장된다

 

그 후 모든 데이터가 Hadoop으로 모이고, 거기서 대규모 데이터 처리가 실행됨

 

Hadoop : 다수의 컴퓨터에서 대량의 데이터 처리하기 위한 시스템

Hadoop은 원래 구글에서 개발된 분산 처리 프레임워크인 MapReduce를 참고하여 제작됨
(초기 Hadoop에서 MapReduce를 동작시키려면 데이터 처리의 내용을 기술하기 위해 자바 언어로 프로그래밍해야 해서 누구나 간단히 사용하지 X)

=> SQL과 같은 쿼리 언어를 Hadoop에서 실행하기 위한 소프트웨어로 Hive가 개발되면서 프로그래밍 없이 데이터를 집계할 수 있게 함으로써 많은 사람이 Hadoop을 이용한 분산 시스템의 혜택을 받을 수 있게 되었음

NoSQL : 빈번한 읽기/쓰기 및 분산 처리가 강점

NoSQL은 전통적인 RDB의 제약을 제거하는 것을 목표로 한 데이터베이스의 총칭으로

1. key-value store : 다수의 키와 값을 관련지어 저장

2. document store : JSON과 같은 복잡한 데이터 구조를 저장

3. wide-column store : 여러 키를 사용하여 높은 확장성을 제공

등 다양한 종류가 있다

NoSQL 데이터베이스 제품은 각자가 추구하는 목표가 다르므로 단순 비교는 불가하지만
RDB보다 고속의 읽기, 쓰기가 가능하고 분산 처리에 뛰어나다는 특징을 갖추고 있다!

 

이렇게 Hadoop과 NoSQL 데이터베이스의 조합으로 방대한 규모로 계속 증가하는 데이터에 대해, 기존의 기술로는 불가능하거나 고가의 하드웨어가 필요한 경우에도 현실적인 비용으로 대규모 데이터를 처리할 수 있게 되었다!

 

✔️분산 시스템의 비즈니스 이용 개척

 

일부 기업에서는 이전부터 데이터 분석을 기반으로 하는 '엔터프라이즈 데이터 웨어하우스 (데이터 웨어하우스)"를 도입했다

 

=> 분산 시스템의 발전에 따라, 기존이라면 데이터 웨어하우스 제품이 사용되는 경우에도 Hadoop을 사용하는 경우가 증가함

 

전통적인 데이터 웨어하우스에서도 대량의 데이터를 처리할 수 있으며, 오히려 여러 방면에서 Hadoop보다도 우수하다

 

하지만, 일부 데이터 웨어하우스 제품은 안정적인 성능을 실현하기 위해 하드웨어와 소프트웨어가 통합된 통합 장비로 제공되었고 데이터 용량을 늘리려면 하드웨어를 교체해야 하는 등 나중에 확장하기가 쉽지 않았다

 

 

 

=> 가속도적으로 늘어나는 데이터의 처리는 Hadoop에 맡기고, 비교적 작은 데이터나 중요한 데이터만을 데이터 웨어하우스에 넣는 식으로 사용을 구분하게 되었다!

 

✔️직접 할 수 있는 데이터 분석 폭 확대

 

'여러 컴퓨터에 분산 처리한다'라는 점이 빅데이터의 특징이다

 

(하지만 이를 위한 하드웨어를 준비하고 관리하는 일은 간단하지 않음)

 

이전의 데이터 웨어하우스는 대기업의 IT 부서가 상당한 노력을 들여 구축해야 하는 매우 한정된 것이었지만

2012년 말에 'Amazon Redshift'가 발표된 이후로 데이터 웨어하우스를 클라우드 상에서 작성하는 것은 그다지 드문 일이 아니게 됨

 

=> 클라우드 시대인 요즘은 시간 단위로 필요한 자원을 확보할 수 있어서 방법을 알면 언제든지 이용할 수 있는 환경이 마련되었음!

 

빅데이터와의 비교로 기존 기술을 이용해서 취급할 수 있는 작은 데이터를 small data라고 한다

=> 한 대의 노트북에서 큰 부담 없이 처리할 수 있는 만큼의 작은 데이터로 레코드 수로는 약 수백만에서 수천만 건, 데이터양으로 따지자면 '수 GB'까지임

📌빅데이터와 스몰 데이터 모두 그냥 데이터이며, 이 점에 있어서 본질적인 차이는 X

사내에서 작성된 Excel 파일이나 웹에서 다운로드한 CSV 파일 등 현실은 대량의 스몰 데이터로 가득 차 있음

=> 스몰 데이터 기술은 빅데이터 기술만큼 중요하며 이 둘을 모두 적재적소로 구사하는 것이 이상적

 

데이터 디스커버리의 기초지식

 

데이터 디스커버리란 대화형으로 데이터를 시각화하여 가치 있는 정보를 찾으려고 하는 프로세스를 가리킨다!

 

(데이터 디스커버리는 '셀프서비스용 BI 도구'로 불림)

 

BI 도구에 의한 대시보드 예시 (Tableau)

 

 

=> BI 도구는 예전부터 데이터 웨어하우스와 조합되어 사용된 경영자용 시각화 시스템으로 대기업의 IT 부서에 의해 도입되는 대규모의 도구임

 

=> 셀프서비스용 BI도구는 일반적인 BI 도구를 개인도 도입할 수 있을 정도로 단순화한 것임

 

💡빅데이터 시대의 데이터 분석 기반💡

 

빅데이터 기술이 기존의 데이터 웨어하우스와 다른 점은 다수의 분산 시스템을 조합하여 확장성이 뛰어난 데이터 처리 구조를 만든다는 점임

 

✔️빅데이터의 기술

 

데이터 파이프라인

일반적으로 차례대로 전달해 나가는 데이터로 구성된 시스템을 데이터 파이프라인이라고 한다!

 

=> 빅데이터의 데이터 파이프라인은 어디에서 데이터를 수집하여 무엇을 실현하고 싶은지에 따라 변화함

(하고 싶은 일이 증가함에 따라 시스템은 점차 복잡해지고 그것을 어떻게 조합시킬지가 문제가 됨)

 

데이터 수집

데이터 파이프라인은 데이터를 모으는 부분부터 시작함

 

=>데이터는 여러 장소에서 발생하고 각각 다른 형태를 보임

(서로 다른 기술로 데이터를 전송)

 

데이터 파이프라인 흐름

 

 

데이터 전송의 방법은 크게 2가지가 있는데

 

1. 벌크(bulk)형

 

벌크 형은 이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법

 

=> 데이터베이스와 파일 서버 등에서 정기적으로 데이터를 수집하는 데에 사용

 

2. 스트리밍(streaming)형

 

스트리밍 형은 차례차례로 생성되는 데이터를 끊임없이 계속해서 보내는 방법

 

=> 모바일 앱이나 임베디드 장비 등에서 널리 데이터를 수집하는 데에 사용 

 

스트림 처리와 배치 처리

기존의 경우, 데이터 웨어하우스에서 다루는 데이터는 주로 벌크 형 방법이 이용

 

하지만, 모바일 앱 등이 증가함에 따라 오히려 스트리밍 형 방법이 주류가 되고 있는 추세이고, 스트리밍 형 방법으로 받은 데이터는 아무래도 실시간으로 처리하고 싶어진다

 

=> 이것을 스트림 처리(stream processing) 라고 함!

 

과거 30분간 취합한 데이터를 집계하여 그래프를 만들려면, 시계열 데이터베이스와 같은 실시간 처리를 지향한 데이터베이스가 자주 사용됨

=> 스트림 처리의 결과를 시계열 데이터베이스에 저장함으로써, 지금 무슨 일이 일어나고 있는지 즉시 알 수 있음!!

 

 

=> 하지만 스트림 처리의 경우 지난 1년간의 데이터를 분석하려고 하면 데이터양이 단번에 수천 배 혹은 수만 배로 증가하기 때문에 장기적인 데이터 분석에는 적합하지 않다는 문제가 있음

 

장기적인 데이터 분석을 위해서는 보다 대량의 데이터를 저장하고 처리하는 데 적합한 분산 시스템이 좋음

(위 데이터 파이프라인 그림에서의 4번, 5번에 해당)

=> 스트림 처리가 아닌 어느 정도 데이터를 효율적으로 가공하기 위한 배치 처리(batch processing) 구조!

 

분산 스토리지

수집된 데이터는 분산 스토리지에 저장됨

 

=> 분산 스토리지란 여러 컴퓨터와 디스크로부터 구성된 스토리지 시스템을 말함!

 

데이터를 저장하는 방법 중 대표적인 것이 "객체 스토리지(object storage)" 로 한 덩어리로 모인 데이터에 이름을 부여해서 파일로 저장함 (Amazon S3 를 생각하면 됨)

 

분산 데이터 처리

분산 스토리지에 저장된 데이터를 처리하는 데는 "분산 데이터 처리"의 프레임워크가 필요함

 

=> MapReduce가 사용되어진 것이 바로 이 부분으로 데이터양과 처리의 내용에 따라 많은 컴퓨터 자원이 필요하게 됨

 

분산 데이터 처리의 주 역할은 나중에 분석하기 쉽도록 데이터를 가공해서 그 결과를 외부 데이터베이스에 저장하는 것 

 

 

빅데이터를 SQL로 집계할 때는 2가지 방법이 있는데

 

1. 쿼리 엔진(query engine)을 도입

 

=> Hive를 생각하면 됨 (현재는 Hive보다 고속인 대화형 쿼리 엔진도 개발됨)

 

Hive 쿼리는 대량의 데이터를 처리하는 데 최적화되어 있지만, 응답 시간이 길어질 수 있어 대화형 쿼리에 바로 적합하지 않았다고 함!

=> 최신의 Hive는 대화형 쿼리 엔진의 특성을 일부 가지게 되었음

 

 

2. 외부의 데이터 웨어하우스 제품을 이용

 

이를 위해 분산 스토리지에서 추출한 데이터를 데이터 웨어하우스에 적합한 형식으로 변환함

 

=> 이 일련의 절차를 ETL 프로세스라고 함

(Extract - 추출 , Transform - 가공, Load - 로드)

 

엄밀하게는 데이터를 읽어들인 후에 가공하는 경우와 데이터베이스 바깥에서 가공하는 경우에 따라 2가지로 나뉨

 

 

워크플로 관리

 

전체 데이터 파이프라인의 동작을 관리하기 위해서 "워크플로 관리" 기술을 사용함

 

=> 매일 정해진 시간에 배치 처리를 스케줄대로 실행하고, 오류가 발생한 경우에는 관리자에게 통지하는 목적으로 사용

 

데이터 파이프라인이 복잡해짐에 따라, 한 곳에서 제어하지 않으면 전체의 움직임을 파악하기 어려움

또한, 빅데이터의 처리에는 크건 작건 간에 시스템 장애가 발생하므로 오류 발생 시의 처리와 다시 처리하기 위한 기능을 만드는 것을 빼놓아서는 안됨!

 

✔️데이터 웨어하우스와 데이터 마트

 

데이터 웨어하우스를 중심으로 하는 데이터 파이프라인

 

 

데이터 웨어하우스는 웹 서버나 업무 시스템에서 이용되는 일반적인 RDB와는 달리 '대량의 데이터를 장기 보존하는' 것에 최적화 되어있음!

 

=> 정리된 데이터를 한 번에 전송하는 것은 뛰어나지만, 소량의 데이터를 자주 쓰고 읽는 데는 적합 X

 

데이터 웨어하우스는 업무에 있어서 중요한 데이터 처리에 사용되기 때문에 아무때나 함부로 사용해 시스템에 과부화를 초래하는 것은 곤란

=> 데이터 분석과 같은 목적에 사용하는 경우에는 데이터 웨어하우스에 필요한 데이터만을 추출하여 데이터 마트를 구축

=> 데이터 마트는 BI 도구와 조합시키는 형태로 데이터를 시각화하는 데에도 사용됨

 

✔️데이터 레이크

 

모든 데이터가 데이터 웨어하우스를 가정해서 만들어지지 X

 

=> 모든 데이터를 원래의 형태로 축적해두고 나중에 그것을 필요에 따라 가공하는 구조가 필요함

 

(이런 데이터의 축적 장소를 데이터 레이크라고함!)

 

데이터 레이크를 중심으로 하는 데이터 파이프라인

 

 

데이터 웨어하우스와 다르게 데이터 레이크를 이용하는 경우 미가공의 원시 데이터(로우 데이터)를 그대로 저장소에 저장하는 것을 볼 수 있다!

 

=> 데이터 레이크에서는 모든 데이터를 그대로 저장하고, 나중에 필요한 것만을 꺼내서 사용함

 

데이터 레이크는 단순한 스토리지이며, 그것만으로는 데이터를 가공할 수 없기에 사용되는 것이 MapReduce 등의 분산 데이터 처리 기술이다!

=> 데이터 분석에 필요한 데이터를 가공, 집계하고, 이것을 데이터 마트로 추출

 

 

✔️데이터 분석 기반을 단계적으로 발전시키기

 

 

 

=> 데이터 분석에 필요한 기술은 다방면에 걸쳐 있기 때문에 주로 팀을 이루어 작업함!

 

이제 막 시작 단계일 때는 자동화 등을 생각하지 않고 수작업으로 데이터를 집계할 수 있으면 충분함

 

=> 이걸 '일회성 데이터 분석' 이라는 의미로 애드 훅 분석 이라고 함

(SQL 쿼리를 직접 작성해서 실행하거나 스프레드시트에서 그래프를 만드는 것까지 포함)

 

빅데이터를 다루는 데는 다수의 선택이 있는데 어떤 것을 선택해도 실제로 하는 일은 그다지 크게 다르지 X

1. 저장할 수 있는 데이터 용량에 제한이 없을 것

2. 데이터를 효율적으로 추출할 수단이 있을 것

이 2가지만 파악해두면 크게 문제 될 일은 없다!

결국 데이터 파이프라인 전체의 기본적인 흐름은 

데이터를 모아서 축적 => 이를 통합하여 데이터 마트로 만듬 => 시각화 도구에서 접속

이다!

 

 

데이터 마트와 워크 플로 관리

 

일부 대시보드 도구는 데이터 마트 없이 동작하도록 설계됨

 

 

=> 복잡한 데이터 분석에서는 먼저 데이터 마트를 구축한 후에 분석하거나 시각화하도록 함

 

(특히 시각화에 BI 도구를 사용할 경우는 집계 속도를 높이기 위해 데이터 마트가 거의 필수적)

 

=> 데이터 마트 구축은 배치 처리로 자동화되는 경우가 많기 때문에 그 실행 관리를 위해 워크플로 관리 도구 사용

 

✔️데이터를 수집하는 목적

 

데이터 이용 목적의 예시

 

 

데이터를 모은 후에 무엇을 실시할지는 달성하고자 하는 목적에 따라 달라짐

 

데이터 검색

대량의 데이터 중에서 조건에 맞는 것을 찾고 싶은 경우

 

=> 언제 무엇이 필요할지조차도 모르기 때문에 발생하는 모든 데이터를 취득해 놓도록 함

 

(데이터 검색에 너무 많은 시간이 걸리는 것은 의미가 없고, 필요할 때 신속하게 검색할 수 있도록 해야 함)

 

=>시스템에는 실시간 데이터 처리나 검색 엔진을 사용하여 키워드를 찾는 기능이 필요함

 

데이터의 가공

업무 시스템의 일부로서 데이터 처리 결과를 이용하고 싶은 경우가 있다

 

=> 이 경우 목적이 명확하기 때문에 필요한 데이터를 계획적으로 모아 데이터 파이프라인을 설계함

 

데이터의 가공에는 자동화가 필수적인데, 워크플로 관리를 도입하여 꼼꼼하게 테스트를 반복적으로 실행해서 시스템을 구축한다!

 

 

데이터 시각화

데이터를 시각적으로 봄으로써 알고 싶은 정보를 얻는 경우가 있다

 

=> 확실한 해답이 없고 임의의 분석 환경을 갖추고 여러 번 데이터 집계를 반복해야 함

 

(시각화를 고속화하려면 데이터 마트도 필요함)

 

 

기간계 시스템 : 비즈니스 근간에 관련된 중요한 시스템으로 이것이 정지되면 업무가 멈추기 때문에 완벽하게 테스트를 반복하고 신중하게 운용해야함

정보계 시스템 : 사내 커뮤니케이션과 의사 결정 등을 위해 이용하는 시스템으로, 정지되어도 그 영향 범위가 제한되어 있기에 기간계 시스템만큼 엄격한 운영 정책을 갖고 있지는 X

데이터를 취급하는 시스템에서는 그것이 기간계, 정보계 시스템인지를 구분해서 혼합되지 않도록 해야함!

=> 데이터를 효율적으로 분석하려면 정보계 시스템으로 분리해야함
(기간계 시스템의 운영 정책에 구속되어 나중에 업데이트하는 것이 어려움)

 

 

✔️확증적 데이터 분석과 탐색적 데이터 분석

 

확증적 데이터 분석 : 가설을 세우고 그것을 검증함

 

=> 통계학적 모델링에 의한 데이터 분석

 

탐색적 데이터 분석 : 데이터를 보면서 그 의미를 읽어내려고함

 

=> 데이터를 시각화하여 사람의 힘으로 그 의미를 읽음