빅데이터 트리플 V 특징 심층분석

안녕하세요. 빅데이터 시대! 빅데이터에 대한 심층분석 이어가겠습니다. 이번 포스팅에서 소개할 내용은 빅데이터의 특징을 깊이 공유해볼건데, 빅데이터의 근본 성격, 특징을 숙지하면서, 앞으로 이 빅데이터가 우리 삶과 산업에 어떤 모양, 모습으로 영향을 미칠지 예상해 볼 수 있습니다.

빅데이터 단위 

빅데이터가 다루는 데이터의 크기는 작게는 테라바이트에서 시작해서 크게는 페타바이트 이상으로 끊임없이 진화하고 있습니다.

테라바이트는 우리가 잘 알고 있죠? 저장공간으로 대부분 1TB 이상은 쓰시니깐요. 페타바이트라는 단위를 들어보셨는지 모르겠어요. 쉽게 생각하면, 1TB보다 1000배(=10의 3제곱) 많다고 생각하면 됩니다. 어마어마 하죠. 표기는 1PB라고 합니다. 이 위로도 단위가 3개나 더 있고, 1단위 올라갈 때마다 1000배씩 올라가니깐… 도저히 그 많은 수를 어떻게 감당할 수 있는지 모르겠어요. 요타바이트라는 게 지금까지는 제일 큰 단위 같은데 앞으로 계속 계속 나오겠죠?

기존 트리플 V

빅데이터의 특징이 있습니다. 다들 들어봤을 가능성이 높은데, 3V라고 양(Volume) , 속도(Velocity) , 다양성(Variety) 이 3가지 V가 빅데이터의 기존 특징으로 볼 수 있습니다. 그럼 하나씩 살펴 보겠습니다.

첫 번째 V, 바로 어마어마한 양(Volume)입니다. 빅! 이란 이름이 붙인 만큼 데이터의 양이 정말 많습니다. 과거에도 컴퓨터의 영향으로 많았죠. 인터넷이 등장하면서 더 더욱 많아졌고, 스마트폰과 기술 발전(5G)으로 정형 데이터를 넘어 비정형 데이터도 유의미한 데이터로 처리가 가능해진거죠~ 이런 엄청난 양의 데이터를 기반으로 인간의 특징을 파악할 수 있었고, 분류할 수 있게 됐습니다. 각각 다른 개성을 가지고 고유한 특징의 개인이 분명하긴 하지만, 막대한 데이터로 공통점을 찾을 수 있게 된거죠

두 번째 V, 속도(Velocity)입니다. 속도가 엄청나게 빠릅니다. 엄청난 양의 데이터를 빠르게 처리하고 분석하지 못하면 아무리 데이터가 많아도 의미가 없겠죠?? 5G 기술이 등장하면서 데이터 처리 속도는 더 가속도가 붙을 것으로 예상합니다. 더불어 슈퍼 컴퓨터를 넘어 양자 컴퓨터가 등장하고 있습니다. 양자 컴퓨터.. 너무 어려운 개념인데, 제가 아주 가볍게 이해한 개념으로는 기본 컴퓨터의 0,1 체계가 더 확장되는 것으로 알고 있어요. 근본 원리는 양자 물리학에서 시작했죠. 시공간과 속도의 개념이 어렵게 오가고... 쉽게 생각하면, 앤트맨 영화에서 그나마 조금 쉽게 다룬다고 다룬거 같은데... 무튼 양자 컴퓨터로 속도 또한 엄청나게 증가하고 있습니다.

세 번째 V, 다양성(Variety). 이건 처리 가능한 데이터의 종류가 다양해지면서 나온 특징입니다. 즉, 더이상 숫자 형태의 정형화된 정형 데이터만 데이터가 아니라, 사진, 동영상, SNS 글 등 다양한 비정형 데이터까지 데이터로서 가치가 있게 됐습니다. 이렇게 데이터의 처리 가능 법위가 넓어지면서 데이터의 다양성이 무궁무진하게 넓어졌습니다.

NEW 트리플 V

위 3가지 특징이 빅데이터의 주요한 핵심 개념이었는데요. 점점 한계가 드러나면서 보완하는 새로운 V 특징이 나타나고 있습니다. 간략하게 살펴보고 이번 포스팅을 마치려 합니다.

New V1 = 정확도(Veracity) --> 데이터 양이 무한대로 늘어나다 보니, 이런 엄청난 양의 데이터를 정확하게 처리하는 게 중요해졌어요. 정확도를 놓치면 아무리 많은 데이터로 규칙을 발견한다 하더라도 잘못 파악하게 된거죠. 빅데이터가 빅데이터의 가치를 갖게하는 특징으로 정확성을 매우 중요하게 됐습니다.

New V2 = 가변성(Variability) --> 이 특성은 비정형 데이터의 영향을 크게 받고 있습니다. 비정형 데이터는 해석이 다양하게 가능하기 때문에, 데이터가 가지고 있는 의미가 끊임없이 변할 수 있는 가능성이 높습니다. 이런 가변적인 특징을 무시하고, 하나의 결과만 고집하면 그 데이터는 무의미해지겠죠??

New V3 = 시각화(Visualization) ---> 이 특징은 빅데이터 처리 이후 결과물과 관련된 내용입니다. 즉, 빅데이터 분석과 처리를 아무리 정확하게 잘 했다 하더라도, 그 결과물을 보는 사람이 이해할 수 없고, 직관적으로 받아들일 수 없다면 이 또한 의미가 없어지기 때문에, 수많은 시각화 작업으로 결과까지 보기 좋게 하는 노력이 필요합니다.

지금까지 어려우면서도 재밌는 빅데이터 특징에 대해 알아봤습니다. 긴 글 읽어주셔서 감사합니다. God Bless You.

『“I tell you the truth, if you have faith and don’t doubt, you can do things like this and much more. You can even say to this mountain, ‘May you be lifted up and thrown into the sea,’ and it will happen.』

Matthew 21:21