이번 포스팅은 빅데이터의 뜻과 의미에 대해 다뤄보고자 합니다. 이미 많은 분들이 알고 있을정도로 빅데이터라는 용어는 보편화 됐습니다. 데이터, DB는 항상 중요하긴 했지만 지금처럼 막대한 양을 처리하고, 수집할 수 있는 기술은 없었습니다.

하지만, 끊임없는 기술의 발전으로 기존의 DB 관리를 넘어서 대량의 정형 데이터, 비정형 데이터를 처리할 수 있게 됐습니다. BIG! 빅! 데이터 말그대로 방대한 엄청난 양의 데이터를 어떻게 가공하고 처리하냐에 따라 산업의 모습이 달라지고 있습니다.

계속해서 그 중요성이 커질 빅데이터! 자세히 그 근본 의미과 개념, 용어를 파악해보겠습니다.



4차산업의 석유 

빅데이터는 기존의 처리 방식으로는 도저히 감당할 수 없을정도로 막대한 양의 데이터를 의미합니다. 인터넷과 스마트폰의 대중화, 보편화를 통해서 수십만의 데이터가 초단위로 생성되고 있습니다. 이렇게 쏟아지고 있는 데이터를 그냥 흘려보낸다면 아무 의미가 없겠지만, 이 데이터들을 조합하고, 가공해서 처리한 후 의미 있는 자료를 만든다면, 데이터 관리가 매우 중요해집니다.

끊임없는 기술의 발전으로 급변하는 사회를 관찰하고, 효율적으로 운영되는 시스템을 구현하는 데 빅데이터는 큰 역할을 담당합니다. 또한, 개인 맞춤화 된 정보를 통해 사회 전반의 영역이 더욱 밀접히 우리의 삶속에 들어오는 것을 체험할 수 있습니다.

이런 현상 속에서 빅데이터는 교육, 산업, 정치, 경제, 문화 등 다양한 분야에서 우리의 삶의 방식을 더욱 발전시키는 가치 높은 정보를 전달할 가능성을 가지고 있습니다.

이런 점에서 빅데이터에 대한 접근은 매우 중요한 사안이 되었습니다.



정형 vs 비정형 데이터

기존에 우리가 생각하는 데이터는 정형 데이터가 대부분이었습니다. 즉, 처리가능하고, 가공 가능한 데이터가 정형 데이터에 국한돼 있었기 때문입니다. 그럼, 도대체 정형 데이터, 비정형 데이터가 무엇인지 쉽게 살펴보겠습니다.

간단하게 정형 데이터는 숫자, 비정형 데이터는 숫자가 아닌 데이터라고 생각하면 좋습니다. 물론, 정형 데이터 중에 숫자가 아닌 데이터도 있지만, 대부분 계산이 가능한 정형화된 데이터로 돼 있다보니, 숫자 형태라고 생각하면 거의 맞다고 볼 수 있습니다.

간단히 예를 살펴보면, 우리 개인 정보에서 나이, 키, 몸무게, 이런건 다 정형 데이터겠죠, 육상 선수 기록, 비행기 티켓 예매율, 코로나 바이러스 감염률 등 전반적으로 우리가 생각할 수 있는 데이터들이 정형 데이터라고 보면 됩니다.

그럼, 비정형 데이터는 뭘까요?? 예부터 보면 더 쉽게 이해할 수 있을 것 같습니다. 어려분 CCTV로 본 유동인구 숫자는 어떨까요? 조금 더 디테일하게, 특정장소에서 어떤 지점이 많은 사람들의 시야에 잡힐지 이런 내용을 파악하는 데이터가 비정형 데이터입니다. 조금 어렵네요 ㅎㅎ 즉, CCTV 속 사람들의 움직임이 비정형 데이터입니다. 이런거는 사람이 직관적으로 분석할 수 밖에 없었는데, 기술 발전으로 이와 같은 비정형 데이터도 가공, 분석이 가능해졌습니다. 

이 외에도, 유튜브 동영상, 인터넷 기사 댓글 반응 등 숫자로는 표현할 수 없는 데이터들을 비정형 데이터로 생각할 수 있습니다.


빅데이터의 모순

그럼, 이제 비정형 데이터까지 처리할 수 있고, 막대한 양의 데이터를 가공할 수 있으니깐, 이를 활용해서 인류의 다양한 문제를 해결할 수 있겠다고 생각할 수 있는데요. 윤리 도덕적인 측면에서 비인간적인 문제점도 등장합니다. 

앞에서 CCTV 이야기 했죠. 요새 길가면 CCTV 없는 곳이 있을까요?? 1시간만 길거리를 돌아다녀도 아마 수십대의 CCTV에 찍힐거에요. 이렇듯, 현대 우리 사회는 더 이상 나만의 공간이 없어요. 사생활의 침해, 프라이버시의 침해가 심각한 문제가 될 수 있습니다. 최근 우리나라에서도 데이터 3법이라고 통과됐죠. 여기서 큰 이슈가 바로 개인 정보 보호입니다. 엄청난 양의 데이터, 비정형 데이터까지 포함되면서 각 개인은 더 이상 자의가 아닌 타의로 내 데이터를 제공하고 있는거죠.

이게 범죄로 활용된다면... 상상 이상의 새로운 범죄 유형이 엄청 생길 것으로 예상합니다. 보이스피싱만 봐도 그렇죠? 도대체 나에 대한 정보를 어떻게 알았기에 내 가족의 이름도 다 알고 있고, 디테일한 정보를 파악하고 있습니다.

빅데이터 기술을 유용하게 잘 활용하면, 인류 발전에 큰 기여를 할 수 있지만, 위와 같이 범죄로 활용될 여지도 충분히 있기 때문에, 이에 대한 끊임없는 도덕, 윤리 교육과 사회적 합의가 앞서가야한다고 생각합니다. 기술발전의 모순을 극복하기 위해서는 그 이상의 노력이 필요해보입니다.


지금까지 빅데이터네 대해서 살펴봤습니다. 조금 어려울 수 있지만, 앞으로 우리 사회에서 가장 핵심 주류로 자리잡을 기술이기 때문에 관심을 갖고 숙지했으면 좋겠습니다.

부족하지만 제 글을 읽어주셔서 감사합니다. God Bless You.


『He said to them, “The Scriptures declare, ‘My Temple will be called a house of prayer,’ but you have turned it into a den of thieves!”』

Matthew 21:13


+ Recent posts