[빅데이터뉴스 한승균 기자] 영국의 브렉시트나 미국 대선에서 트럼프의 승리는 빅데이터의 승리라고 해도 과언이 아니다. 여론조사 결과와는 달리 빅데이터는 브렉시트를 정확히 예측했고, 트럼프의 우위를 점쳤다. 여론조사에서는 윤리적, 도덕적 이유로 속마음을 숨기기 쉽다.
샤이 보수층 역시 대세의 흐름과 자신의 입장이 다르면 대중은 침묵한다는 ‘침묵의 나선’ 이론을 다시 확인해준 것에 불과했다. 하지만 빅데이터는 마음을 믿지 않는다. 클릭하는 손을 믿는다. 빅데이터는 인터넷에 매일, 실시간으로 쌓이는 흔적을 쫓는다. 기사를 검색한 클릭 수, 댓글, SNS에 등장하는 단어의 빈도 등 우리가 자판을 두드리고, 모바일로 검색하는 모든 행위는 기록을 남긴다. 그리고 그 기록은 분석을 위한 자료가 된다. 빅데이터 분석이 객관적인 의사결정에서 필수가 된 이유다.
요즘은 4차 산업혁명이란 말을 빼고는 기업 경영이든 국가 경영이든 미래 전략을 논하기 어렵다. 4차 산업혁명의 바람은 어디서 시작되었을까? 우리가 인공지능에 대해 놀라움을 가지게 된 계기는 지난해 3월 구글의 알파고와 이세돌이 펼친 세기의 대결이었다. 이세돌이 알파고에 쩔쩔매는 모습에 함께 안타까워했고, 단 한 번의 승리에 감동했다. 검색엔진의 최강자로만 알고 있던 구글이 딥마인드를 인수해 알파고를 개발하는 데 역점을 둔 이유는 바로 무인 자동차 때문이라는 예측도 쏟아졌다. 스스로 배우고 가르치는 기계 학습이란 용어가 대중에게 각인되고 인공지능의 미래가 멀지 않았다는 현실 감각이 생겼다. 그리고 4차 산업혁명이 성큼 다가왔다.
빅데이터와 인공지능이 무슨 관계일까? 인공지능은 엄청난 데이터를 받아들이고, 이를 컴퓨터 언어로 처리하고 분석해 의사결정을 한다. 따라서 빅데이터 분석 능력이 클수록 인공지능 개발 능력이 커지는 것은 당연한 이치다.
사진=Clipartkorea
세계 각국의 성공한 기업들이 어떻게 빅데이터를 활용해 기존의 사업 모델을 극복하고, 새로운 모델을 만들고 있을까?
왜 구글은 무인 자동차와 홈 오토메이션에 집중 투자하는가?
애플이 IBM과 협력해 빅데이터에 집중하는 이유는 무엇일까?
왜 마이크로소프트는 윈도10을 무료로 배포했을까?
IBM 왓슨의 인공지능은 어느 수준까지 도달했나? 책 팔던 아마존이 세계 굴지의 웹서비스 제공업체로 거듭난 이유는 무엇인가?
구글은 빅데이터를 해석하고 분석하는 것이 어떤 장점을 갖는지 알기 쉽게 소개한 공이 있다. 일반적으로 빅데이터라고 하면, 구글 트렌드를 떠올릴 정도다. 구글은 여기서 멈추지 않았다. 그들의 목표는 공상과학영화에서 보는 것처럼 컴퓨터와 인간이 자연스러운 인간의 언어로 대화하는 방법을 개발하는 것이다. 이것은 기계 학습과 인공지능을 끊임없이 발전시키는 과정이고, 그들의 사업 목표가 무인 자동차, 그리고 사물 인터넷의 결정판인 홈 오토메이션으로 확장되고 있다는 것을 알려준다. 구글이 일상생활로 침투해 오는 일이 멀지 않은 것이다.
애플은 세련된 디자인과 사용자 친화적인 인터페이스로 유명하다. 하지만 스마트폰이나 컴퓨터 기기를 멋들어지게 개발해놓고도 스마트폰을 그토록 인기 있게 만든 애플리케이션 분야에서는 경쟁업체에 뒤처지고 있다. 이를 극복하기 위해 애플은 빅데이터 경주에 뛰어들었고, IBM과 협력해 다양한 애플리케이션을 개발하고 있다. 애플 워치를 출시하고, 다운로드 기반의 아이튠즈를 스트리밍 기반의 애플 뮤직으로 전환하고 있다. 애플의 사례는 경쟁업체보다 늦게 빅데이터 경주에 뛰어들었다고 해도, 발 빠른 혁신으로 얼마든지 이를 만회할 수 있다는 것을 보여준다. 빅데이터의 최신 기술을 따라잡는 것은 어려운 일이지만, 빅데이터 기술은 선두에 있는 경쟁업체에게도 어렵기는 마찬가지이기 때문이다.
마이크로소프트는 이제껏 컴퓨터 기술의 흐름과 경향을 어느 기업보다 정확하게 예측해왔다. 개인용 컴퓨터, 그래픽 운영체제 그리고 인터넷이 부상할 것을 예측하고 투자했다. 하지만 마이크로소프트는 검색 엔진에서는 구글에 뒤지고, 스마트폰에서는 애플에 처졌다. 그래도 여전히 마이크로소프트는 소프트웨어의 강자다. 유저들의 열렬한 환영을 받았던 윈도10의 무료 배포 결정은 결코 이타적인 선의의 결과물이 아니다. 윈도10을 이용한다는 것은 광고주들의 타깃 마케팅 전략을 위해 자신의 정보를 내주는 데 동의했다는 의미다. 마이크로소프트는 윈도10을 데스크톱, 태플릿 그리고 스마트폰 사용자의 데이터를 통합할 수 있는 크로스 플랫폼 운영체제로 출시하면서, 이른시일 내에 자신들의 한계를 극복하려 하고 있다.
4차 산업혁명의 핵심이라고 하는 인공지능에서 가장 앞서가는 기업은 IBM이라 할 수 있다. 알파고 이전에 IBM 왓슨은 2011년 미국의 TV 퀴즈쇼 ‘제퍼디’ 우승을 통해 존재를 알렸다. 이른바 ‘인지 컴퓨팅’은 스스로 배울 수 있어서 프로그래밍이 필요 없는 기계의 등장을 예고한다. 이를 위해 필요한 것은 우선 컴퓨터와 인간 사이의 언어 장벽을 없애는 것이다. 왓슨의 ‘제퍼디’ 우승은 컴퓨터가 0과 1의 언어가 아니라 인간의 음성으로 질문하는 내용을 이해하고, 이에 대한 해답을 제시하는 능력을 보여준 상징적인 사건이었다. 이른바 자연언어 처리 기술은 이제 스마트폰에도 장착될 만큼 경제성을 갖추고 있다. 자연언처 처리 기술의 무한한 가능성을 생각하면, 인간을 닮은 사이보그의 등장도 먼 미래의 일이 아니다.
아마존을 여전히 온라인 서점으로 이해한다면 시대착오다. 아마존은 넷플릭스, 셸, 에어비앤비 등 세계적인 기업에 웹서비스 서버를 제공하며, 세계 굴지의 온라인 유통기업으로 우뚝 섰다. 게다가 빅데이터를 기반으로 고객 맞춤형 온라인 쇼핑과 스트리밍 콘텐츠 서비스를 제공함으로써 고객들의 다양한 정보를 전방위로 수집한다. 우리가 아마존의 서비스를 이용한다는 것은 언제, 어디서, 어떻게, 무엇을 구입하고 즐기고 있는지에 대한 보다 상세한 정보를 아마존에게 제공하는 셈이다.
미국 연방정부가 데이터센터를 백악관 직속으로 둔 이유는?
런던교통국은 빅데이터로 어떻게 대중교통 시스템을 개선했는가?
지진을 예측하고, 우주의 비밀을 푸는 데 빅데이터는 어떻게 이용되는가?
우버와 에어비앤비는 어떻게 빅데이터로 성공했는가?
빅데이터 분석은 단지 글로벌 IT 기업들에게만 유용한 것이 아니다. 미국 정부는 오바마의 재임 기간 동안 백악관과학기술정책실을 신설하고 빅데이터 분석을 국가 운영에 적극 활용하고 있다. 의료 분야에서는 공중 보건에 위험이 되는 요소를 추적하기 위해 질병관리본부에서 소셜 미디어 분석을 사용하고, 농무부는 농업과 식량 생산에 대한 과학적 연구에 빅데이터 분석을 활용한다. 또한 CIA는 빅데이터 기반 예측 전문 업체인 팔란티어와 협력해 국제 및 국내 테러와 금융 사기를 방지하는 데 주력한다.
영국은 런던교통국이 대중교통 시스템을 보다 효율적으로 개선하는 데 빅데이터 분석을 활용하고 있다. 오이스터 카드 한 장이면 누구나 터치 한 번으로 지하철과 버스를 이용할 수 있고, 교통 정체와 환승 서비스에 대한 맞춤형 정보를 얻을 수 있다.
빅데이터 분석은 과학 연구에서도 예외가 아니다. 테라 사이즈믹은 정확하게 지진을 예측하기 위해 빅데이터 분석을 활용한다. 예로부터 학자들 사이에 지진에 대한 예측은 근본적으로 불가능하다는 주장이 제기되었다. 하지만 테라 사이즈믹은 빅데이터 기반 분석을 통해 리히터 규모 6 이상인 대부분의 지진은 발생하기 전 30일 이내에 정확하게 예측할 수 있다고 자신감을 보인다.
또한 유럽입자물리학연구소(CERN)는 2013년 거대강입자가속기(LHC) 프로젝트를 통해 힉스 입자를 찾아냈다고 발표했다. 거대강입자가속기야말로 빅데이터 기술이 집약되어 있다. 한 해에 30페타바이트(텍스트로 따지면 15조 페이지에 달한다)에 이르는 그야말로 ‘빅’ 데이터를 생산하는 거대강입자가속기의 데이터를 처리하기 위해서는 첨단의 빅데이터 분석 기술이 이용될 수밖에 없기 때문이다. 분산 컴퓨팅과 인터넷 기술이 CERN에서 비롯되었다는 건 우연이 아니다.
최근에 빅데이터를 이용해 가장 눈에 띄는 성공을 거둔 기업은 우버와 에어비앤비라고 할 수 있다. 이들 업체의 공통점은 중간 단계 없이 고객들에게 최적화된 서비스를 제공한다는 것이다. 고객이 원하는 교통편과 숙소를 추천하기 위해 위치, 기후, 성수기 등 모든 정보에 대한 빅데이터 분석이 필수적이다. 이제 우리는 간편한 검색 한 번으로 호텔이나 게스트하우스가 아닌 나를 재워줄 용의가 있는 가정집을 발견할 수 있으며, 택시가 아니더라도 내가 원하는 목적지까지 태워줄 자동차가 달려온다.
