메뉴

검색

국내

[칼럼] 빅데이터 도입 "선택 아닌 필수, 기업 생존과 직결"

임경오 빅데이터뉴스 대표

2019-03-22 11:08:05

[칼럼] 빅데이터 도입 "선택 아닌 필수, 기업 생존과 직결"
빅데이터 업계에 회자되는 유명한 일화가 있다.

한 대형마트가 어느 여고생에게 출산용품 구매를 독려하는 메일을 보내왔다.

이를 알게된 여고생의 부모는 마트측을 찾아가 크게 항의했고 마트측은 여고생의 부모에게 사과를 해야만 했다.
그러나 얼마 지나지 않아 메일을 받은 그 여고생이 임신을 했다는 사실이 드러나게됐다.

임신을 하게 된 여고생이 불안한 마음에 임신 연관 데이터를 온라인서 검색한 것이 마트측의 빅데이터 자료에 걸리게됨으로써 마케팅에 활용된 것이었다.

최근 들어 빅데이터 분야가 빠른 속도로 주목받고 있다.

사실 인공지능 머신러닝 딥러닝 등도 빅데이터가 있으니 가능한 IT기술들이다.

정보를 가진자가 권력을 가진다는것은 유명한 말이지만 최근 쏟아지는 정보홍수 속에서 쓰레기 정보를 가려내기 어렵다는게 함정이다.

데이터가 쌓이는 속도는 상상을 불허한다. 인류문명이 탄생한후 지난 2003년까지 쌓였던 총 데이터량과 최근 이틀간 쌓이는 데이터량은 엇비슷하다고 한다.

일부 자료에 의하면 세계에서 하루에 발생하는 데이터량이 무려 250경바이트를 넘는다.

인터넷 자료에 의하면 단 60초동안 예컨대 구글서 200만 건의 검색이 이뤄지고 유튜브에선 72시간의 분량의 영상이 올라오며 페이스북에서는 350기가바이트의 데이터가 축적됨과 동시에 트위터에서는 27만8,000건의 트윗이 게재된다고 한다.

아마존에서는 1분만에 8만3,000건의 물건이 팔리고 있으며 애플 사이트에서는 1만5,000건의 관련 문건이 내려받기가 이뤄지고 있다.

이같은 속도는 더욱 빨라져서 수년후에는 상상 이상의 데이터량이 현실이 될 것임은 자명하다.

기업을 비롯해서 많은 사람들은 빅데이터의 중요성을 인정하고 4차산업의 핵심이 될 것임을 자각하고 있다.

그러나 자각은 하지만 이를 배우거나 업무에 응용하려는 움직임은 그다지 커보이지 않아 조금은 우려스러운 것도 사실이다.

업계에서는 "빅데이터 수집단계가 표준화돼있지 않고 복잡한데다 데이터 유형에 따른 분석능력의 한계, 데이터 흐름 통합관리 시스템 미비 등의 이유로 빅데이터 도입을 주저하거나 도입하더라도 비용만 들이고 큰 효과를 보지 못하고 있다"고 지적하고 있다.

즉 거대한 온라인상에서 흩어져있는 데이터를 긁어 모으는 작업도 쉽지 않지만 이를 모았다고 해서 유의미한 데이터로 바로 가공하는 것도 쉽지 않으며 유의미한 데이터로 변환시켰다 하더라도 이의 해석이 쉽지 않고 나아가 제대로 해석했다 하더라도 이를 자사에 맞는 정책으로 연결시키는 건 더더욱 어렵다.

예를 들어보자. 범죄를 저지르는 청소년들은 폭력성 게임을 즐기는 경향이 있다는게 빅데이터 자료인 데 문제는 이들 청소년이 폭력적이기 때문에 이런 게임을 즐기는건지 아니면 폭력성 게임을 즐기다보니 청소년이 폭력적으로 변하는지 데이터만으로 해석하기 쉽지 않다.

위는 단순한 사례이지만 실제 기업환경에서는 여러 갈래 해석이 가능한 상황이 비일비재할 것이고 해석방향에 따라 본질과 관계없는 전략이 수립되고 만다면 결국은 돈만 낭비하는 꼴이 되기 때문이다.

그러나 준비만 철저히 한다면 빅데이터는 분명히 기업들에 최상의 정보를 주고 전략을 수립케하는 저비용 고효율의 훌륭한 참모임은 틀림없다. 단지 빅데이터가 참모역할에만 그치겠는가.

빅데이터 도입 사례들을 살펴보겠다.

해외 유명기업들은 국내에서는 맥을 못추는 경우가 많다. 구글도 국내에서는 맥을 못추고 있으며 야후는 오래전 사실상 한국에서의 사업을 접어야만 했다.

넷플릭스도 초창기 고전을 면치 못했지만 최근들어 상황이 크게 달라지고 있다. 결론적으로 넷플릭스는 빅데이터를 근거로 국내시장에서도 최근 100만 가입자를 돌파하는데 성공했다.

넷플릭스는 가입자의 시청 습관을 방대하게 수집, 영화 및 TV 프로그램에서 그들이 좋아하는 장면과 싫어하는 장면, 개별 에피소드 시청 패턴을 개별적으로 분석해 이를 기반으로 영상을 추천해오고 있는데 한국 소비자들에게도 이 방법이 크게 효과를 발휘한 것이다.

미국의 FFI라는 패션회사는 IBM의 소셜인텔리전스 망을 이용해 단기간에 수십만건의 추가 매출을 올리는데 성공했다.

중국 CCTV 여성 아나운서가 녹색 원피스를 입은 것을 본 여성 시청자들은 10분동안 소셜에 100만건이나 되는 관련 글을 올렸고 FFI는 이를 즉각 파악해 새로운 제품 개발에 반영, 온라인에 바로 상품을 올렸기 때문이다.

2000년대 이후 출생한 Z세대는 수수료등 지출에 매우 인색한 것으로 집계되고 있다.

아직은 구매력이 떨어져서 은행등에 큰 영향이 없지만 이들이 본격적으로 경제활동을 하게 되면 이같은 빅데이터에 근거에 소비자 지침을 준비한 은행과 그렇지않은 은행과는 경쟁력에서 크게 차이날 것임은 당연하다고 하겠다.

구글의 독감 예측능력은 미국의 질병센터보다 2주나 빠른 것으로 유명하다.

구글은 검색기록만으로 이미 독감 초기부터 잡아내기 때문에 어느정도 환자수가 발생해서 공식보고가 이뤄져야 독감 현황을 파악하는 질병센터보다 2주나 빠름은 그리 놀랄만한 일은 못된다.

서울시는 자정 전후 버스 운행 종료후 운행이 재개되는 새벽5시 사이 통화량이 급증, 휴대폰 콜데이터에 쌓인 30억건의 빅데이터를 분석, 심야버스를 개통하기도 했다.

소상공인들도 적용하는 사례가 늘고 있다. 소비자가 한 쇼핑몰을 이리저리 돌아다닐때 검색기록을 파악한후 맞춤형 제품을 추천하면 구매율도 훨씬 높아진다고 한다. 이 역시 빅데이터 환경이기 때문에 가능해진 것이다.

10년이면 강산도 변한다고 하지만 사실 10년이란 시간도 길지 않으며 이런 물리적인 시간에 앞서 나타나는 선행 경제지표는 10년보다 훨씬 짧을수도 있다. 머뭇거리다간 늦을수가 있다.

늦었더라도 안하는것보다는 나을수 있지만 기업의 존망과 관계있다면 얘기는 달라진다. 늦어지면 바로 도태될수 있고 그때는 '더낫다' '낫지않다'라고 논의하는 것은 버스 떠난뒤 손흔드는 격이다.

지금이라도 기업들은 빅데이터 수집과 가공, 이의 해석을 위한 준비 및 효율적인 마케팅에 도입하기위한 여러 절차가 시급하다.

빅데이터를 구동하고 자료를 수집하기위해 필요한 프로그램인 'R'프로그래밍언어, 파이썬, MySQL 등은 물론 통계학, 엑셀등의 연관 산업도 지금보다 크게 발전할 것임은 불문가지다.

빅데이터, 이제는 선택이 아닌 필수가 된 세상이다. 단 하루라도 먼저 뛰어드는게 정보를 움켜쥐는 지름길이 될 것이다.(임경오 / 빅데이터뉴스 대표)

임경오 기자 news@thebigdata.co.kr
리스트바로가기

헤드라인

빅데이터 라이프

재계뉴스

상단으로 이동