데이터의 홍수 속에 살고있는 지금은 '빅데이터 시대'

 

빅데이터 어느새 우리에게 상당히 익숙한 단어다.

최근 몇 년간 뉴스에서 자주 회자되는 단어인 빅데이터, 그러나 정작 빅데이터가 무엇인지 물으면 명확히 답을 하기가 어려울 것이다. 빅데이터란 먼 곳에 있는 것이 아니다. 내가 검색하는 검색어, 유튜브 시청기록, 지하철 및 버스 탑승 이력, 신용카드 사용 이력, 병원 검사 결과, 핸드폰 사용 패턴, 심지어 자는 동안 기록되는 수면 패턴까지 수없이 많은 데이터가 우리 생활 가까이에서 생성되고 있다. 

 

빅데이터라는 명칭처럼 단순히 대용량 데이터가 아닌 분석을 통해 가치있고 의미 있는 정보를 추출하는 작업이다. 정보와 지식을 추출하여 보다 능동적으로 예상되는 일에 대해 대응하거나 앞으로 다가올 변화를 예측하는 정보화의 기술을 모두 포함해서 빅데이터 기술이라고 할 수 있다. 

 

 

 

 

초기에는 빅데이터의 의미가 데이터의 크기나 기술적인 측면에서 출발을 하였으나 점차 빅데이터의 가치와 활용 효과 측면으로 확대되어가고 있는 추세이다.

이러한 빅데이타라는 개념이 만들어지기 이전에는 데이터를 어떻게 활용을 할 것인가에 중점이 맞춰져 있었는데, 2000년대 중반 이후 빅데이터의 기술이 정형화된 데이터뿐만 아니라 기존에 사용되지 못했던 모든 유형의 데이터를 활용할 수 있게 되면서 데이터 자체에 경제적인 가치가 부여되기 시작했다. 

 

이런 점에서 데이터 가치 자체가 빅데이터의 특성으로 인식되었지만 빅데이터의 전체규모가 아무리 크더라도 이를 효과적으로 활용을 할 수 없다면 그 잠재적 가치가 인정이 되더라도 실질적 가치는 없을 수도 있기 때문에 이런 점에서 빅데이터 자체의 가치가 과대평가가 돼서는 안 된다.

 

또한 데이터 기술뿐만 아니라 법적인 테두리 안에서 빅데이터의 잠재적인 가치를 실현하는데 더 많은 시간과 비용이 소요될 수 있다. 이 때문에 빅데이터 자체의 가치는 이전과 같이 빅데이터를 얼마나 효과적으로 활용할 수 있느냐 하는 것과 병행되어 평가될 필요가 있는 것이다.

 

 

 

 

빅데이터는 규모(volume), 다양성(variety), 속도(velocity), 정확성(veracity), 가치(value)라는 측면에서 기존 데이터 기술과는 큰 차이가 있다. 첫 번째로, 빅데이터 기술은 기존의 데이터베이스 시스템으로는 저장, 처리, 분석을 하기 어려운 크기의 대규모 데이터를 처리할 수 있는 기술적 특성을 갖는다. 매 순간 생성되는 데이터의 양이 너무나 많기 때문에 기존 데이터 베이스 시스템으로는 이런 대규모의 데이터를 처리하기에는 적합하지가 않기 때문이다. 실제로 전 세계 데이터의 90% 이상이 최근 2년 안에 생성된 것으로 조사되기도 했다. 이와 같이 우리는 데이터의 크기가 엄청나게 크다 라는 것이 기존과는 다른 측면이라고 볼 수 있다. 

 

둘째, 빅데이터 기술은 정형 데이터, 비정형 데이터 등 다양한 형식의 데이터를 저장하고 처리할 수 있는 특징을 가지고 있다. 현재 전 세계 데이터의 90% 이상이 비정형 데이터인 것으로 조사되며, 기존에는 이용되지 않은 데이터로 알려져 있다. 반면에 빅데이터 기술은 처리하고 분석할 수 있는 데이터 형식에 있어 이전과 달리 구애를 받지 않는다.

 

정형화 데이터는 숫자와 문자로 구성된 데이터가 행과 열로 배열되어있는 데이터를 의미한다. 정형화 데이터의 예로는 엑셀에서와 같이 행과 열로 참조되어 처리될 수 있는 데이터인데, GPS, 의료기기 측정값 등 센서 데이터, 웹사이트의 로그파일, 금융데이터, 고객 데이터 등이 정형화된 데이터다. 

빅데이터 기술은 이미 생성된 정형 데이터를 활용 하기도 하지만 이전에 기술적인 한계로 생성되지 못했던 데이터를 정형 데이터로 재구성하여 활용될 수 있기 때문에, 이전보다도 정형 데이터의 범위를 확장시켰다고 볼 수 있다.

 

 

 

 

그리고 비정형 데이터란 숫자, 문자, 이미지, 비디오 등 별도의 형식 없이 나열되어 조합될 수 있는 데이터를 의미하는데, 위성사진이나 지진 발생정보, 대기 데이터, 사진, 비디오, 레이더, 수중 음파 데이터, 각종 사내 문서, 각종 공시자료, 회의록, 이메일, 고객 전화기록, 소셜미디어, 웹사이트에 들어가 있는 내용 등이 모두 비정형 데이터에 해당된다.

우리가 사용하는 개인 컴퓨터에서 작성되거나 저장된 모든 문서 파일도 이 비정형 데이터에 포함된다.

 

셋째, 빅데이터 기술은 IT기술의 발전으로 데이터의 생성 속도가 빠른만큼 이를 저장하고 분석하는 속도도 빠르다는 특징이 있다. 빠른 데이터의 분석 속도가 빅데이터 기술의 유용한 장점으로 평가받는 것도 이 때문인데, 특히 최근 실시간 데이터 처리 기술이 빠르게 진전되면서 이전에는 처리하지 못했던 실시간 데이터의 가치도 덩달아 커지고 있다.

예를 들어, SNS에서 생성된 데이터는 빠른 속도로 축적되고 있다, 페이스북은 1분마다 약 400여만 건의 좋아요를 클릭하고 있다고 한다. 빅데이터 기술은 이렇게 빠르게 생성되는 정보를 활용하여 시시각각으로 변하는 시장 트렌드를 파악하는데 활용이 될 수 있다. 

 

 

 

 

빅데이터가 주목받는 이유는?

사실 데이터는 인류가 경제활동을 시작하기 이전부터 존재했다. 알게 모르게 우리는 무언가를 기록하며 이를 바탕으로 지속적으로 발전을 해왔다. 그렇다면 이제 와서 데이터가 빅데이터라는 이름으로 탈바꿈하여 주목을 받는 이유는 무엇일까?

 

첫째로 정보량이 기하급수적으로 증가한 것이 원인이다. 소위 말하는 데이터 홍수 현상에 직면하게 되면서 빅데이터라는 용어가 등장하기 시작했다. 무엇보다도 인터넷을 기반으로 다양한 스마트한 모바일 기기의 사용이 점차 확대되면서 사용자 규모뿐만 아니라 사용자가 이용하는 데이터의 양이 시간이 지남에따라 데이타의 전체 크기가 기하급수적으로 증가하고 있는 것이다. 특히 페이스북과 같은 SNS가 급격하게 확산되면서 텍스트 형태의 데이터뿐만 아니라 인스타그램, 유튜브 등과 같은 멀티미디어 콘텐츠 또한 증가하고 있다 보니 가히 데이터 홍수 시대에 살고 있다고 해도 무방하다.

 

데이터의 규모와 속도, 형태의 다양성에 주목을 할 필요가 있는데, 사람들이 빅데이터에 관심을 갖게 된 시점은 트위터나 페이스북과 같은 소셜미디어의 성장과 일치한다. 소셜미디어로 인해 숫자가 아닌 텍스트, 이미지, 동영상 데이터가 폭발적으로 증가했기 때문인데, 기업들도 이러한 데이터를 수집하기 위한 기술들을 확대하고 있다. 데이터를 경제적으로 저장하기 위해 다양한 방법들이 등장함에 따라 기업들 또한 데이터를 수집하고 이를 활용하기 위한 다양한 고민들을 하는 등, 빅데이터 시대라는 흐름에 동참하기 시작했다. 

 

 

 

 

어느 통계자료에 따르면 전 세계의 디지털 데이터의 양이

제타바이트(zetabyte), 1 제타바이트 = 1024 엑사바이트(1EB=1024PB) = 1조 1000억 기가바이트(GB) 

2년마다 두배씩 증가하여 2020년에는 약 40 제타바이트에 이르렀다고 한다.

이처럼 다양한 소스에서 텍스트, 이미지, 동영상 등 여러 형태의 데이터들이 발생하고 있는 가운데, 많은 기업들이 이러한 데이터를 새로운 비즈니스의 기회를 창출하는데 활용하고 있다.

데이터를 바탕으로 의미 있는 정보들을 도출하여 시장의 트렌드를 분석하거나 마케팅에 활용하고 더 나아가 비즈니스적인 의사결정을 하는 것 까지 데이터를 바탕으로 하고 있다.

 

실제 빅데이터의 등장이 처음 바꿔 놓은 것은 고객 분석 영역이었다. 과거 기업들은 시장과 고객을 이해하기 위해서는 궁금한 것을 고객에게 직접 물어보는 방법을 사용해왔는데, 이제는 페이스북, 인스타그램 등의 다양한 소셜미디어를 통해서 그들이 선호를 자발적으로 표현한다. 이에 따라 기업은 그 데이터를 분석해 고객이 무엇을 좋아하고 무엇을 싫어하는지, 어디를 가고 싶어 하는지, 원하는 것은 무엇인지 일찌감치 파악해 대응을 할 수 있게 되었다. 이런 빅데이터를 이용하여 과거에 비해 조금 더 정교하고 객관적인 분석 결과를 얻게 된 것이다. 기업이 빅데이터에 주목하는 것은 당연한 결과일 것이다.

 

이와 같이 우리는 이미 빅데이터의 시대에 살고 있다. 빅데이터를 잘 읽고 이해를 하지 못한다면 앞으로 다가오는 미래에 적절히 대처하기가 어려울 것이다. 4차 산업혁명의 핵심인 빅데이터에 대한 이해. 이제는 선택이 아닌 필수이다.