빅데이터란 디지털 환경에서 생성되는 데이터로서 규모가방대하고 생성 주기가 짧으며, 수치 외에도 문자와 영상 등을 포함하는 대용량 데이터를 뜻한다. SNS의 발전으로 어마어마한 양의 데이터가 축적되고 있다. 그동안 쌓이기만 하던 빅데이터를 의미 있는 정보로 재가공하며 비즈니스 기회가 생겨났다. 이를 빅데이터 시장이라 한다.

 

빅데이터 시장은 성장 추세를 이어오고 있다. 세계적으로 빅데이터 시장은 앞으로도 지속적으로 성장할 전망이다. 21세기의 원유라고도 불리는 빅데이터는 IoT 기술의 성장을 가능케 하는 요소이기도 하다. IT 시장분석 및 컨설팅 기관인 IDC가 최근 발표한 자료에 따르면, 빅데이터 및 분석 솔루션에 대한 투자 비중이 높을 것으로 예상되는 산업은 금융, 조립제조, 공정제조, 정부행정, 전문 서비스 등 5개 분야다. 2020년에는 무려 1,000억 달러가 넘는 돈이 빅데이터 시장으로 몰릴 것으로 전망된다.

 

 

 

빅데이터 산업은 역량 있는 분석 인력을 확보하는 데 어려움을 겪고 있다. LG경제연구원의 김민희 책임연구원은「빅데이터의 현실, 기대와 큰 격차」에서“빅데이터와 분석 솔루션을 갖추었다고 할지라도 가치 있는 결과를 도출해낼 수 있는 데이터 과학자가 없다면 무용지물이 될 수 있다”고 지적했다. 또한“전 세계적으로 데이터 과학자에 대한 수요는 급증하고 있는 반면, 공급이 수요를 따라가지 못하면서 인력 수급의 불균형 문제도 해결되어야 할 과제”라고 주장했다. 

 

그렇다면 데이터 과학자(데이터 분석가)가 되기 위해서는 어떤 역량이 필요할까? 캔자스주립대에서 비즈니스 애널리틱스를 가르치고 있는 장성하 교수는「4차 산업혁명 나는 무엇을 준비할 것인가(한빛비즈)」에서 데이터 관리 기술과 분석 기술, 스토리텔링 능력을 갖춰야 한다고 이야기했다. 데이터 관리 기술로는 오픈소스인‘하둡(Hadoop)’과 ‘NoSQL’기술 등이 있다. 분석을 위해서는 통계, 계량경제 모형과 컴퓨팅 알고리즘에 대한 지식이 필요하고 분석 소프트웨어 사용에도 능해야 한다. 스토리텔링 능력은 분석한 결과를 이야기로 풀어낼 때 필요하다. 장 교수는 이를 ‘분석결과에서 시사점을 얻는 것과 해당 내용을 다양한 이해관계자와 소통하는 능력’이라 설명했다.

 

 

 

 

 

빅데이터전문가는 매우 빠른 속도로 생산되고 있는 거대한 데이터를 실시간으로 수집 및 저장할 수 있게 하고 이들 데이터를 분석하여 가치 있는 정보를 추출하는 일을 한다. 스마트팩토리가 있는 제조업, ICT 회사(SI업체, 포털사이트, SNS 업체, 통신사 등), 의료기관, 은행, 증권, 보험 회사, 게임회사, 공공기관, 빅데이터 전문 분석 업체 등에서 활동할 수 있다.

 

대량의 데이터를 다각도로 분석하기 위해서는 다양한 분석 기법과 시각화 도구 사용법 등을 알고 있어야 하며, 이를 위해서는 데이터마이닝, 기계학습, 자연어 처리, 패턴인식 등과 관련한 지식이 있어야 한다. 빅데이터전문가에게 요구되는 구체적 능력에는 대용량 데이터셋을 코딩하기 위한 프로그래밍 기술(Python, R, Java, C++ 등), 수치 해석을 위한 수리적 지식(다변수 미적분학, 선형 행렬 대수, 확률 및 통계 등), 데이터 분석 플랫폼 및 분석 도구와 관련한 기술(엑셀, SQL, R, SPSS, SAS, MATLAB, Hadoop 등) 등이 해당된다. 빅데이터 분야에 진출하여 능력을 발휘하려면 전체적인 사회적 이슈와 트렌드를 살펴볼 수 있는 능력과 데이터를 분석할 때의 끈기도 필요하다.

 

 

빅데이터플랫폼개발자는 기존의 데이터베이스개발자의 업무 영역이 빅데이터플랫폼으로 확장된 것이라 볼 수 있다. 빅데이터플랫폼은 다양한 소스에서 수집한 자료를 처리, 분석하여 지식을 추출하고, 이를 기반으로 지능화된 서비스를 제공하는 데 필요한 IT 환경을 말한다. 오픈소스인 ‘하둡(HADOOP)’이 대표적인 빅데이터플랫폼이다. 하둡은 여러 개의 컴퓨터를 하나인 것처럼 묶어 단일 플랫폼을 구성하여 여러 컴퓨터에 있는 대용량 데이터를 플랫폼을 통해 처리할 수 있는 기술이다.

 

현재 IT솔루션 기업들은 빅데이터의 하드웨어적인 환경뿐만 아니라 소프트웨어를 포함한 통합적인 플랫폼 전략을 펼치고 있다. 국내에서도 은행, 보험 등 금융권 중심으로 빅데이터플랫폼을 기반으로 마케팅으로 연결하려는 노력이 확산되고 있다.

 

빅데이터플랫폼개발자는 빅데이터의 범위와 용도, 용량, 저장 공간, 처리속도 등을 고려하여 빅데이터 처리시스템을 설계·기획·구축한다. 따라서 빅데이터플랫폼개발자는 다양한 디바이스에서 전송되는 데이터를 수집 및 통합하여 처리할 수 있는 능력, 데이터의 속도와 안전성을 보장하여 전송할 수 있는 능력, 대량의 데이터를 분산·처리하여 저장할 수 있는 능력, 다양한 데이터를 가공하고 가치 있는 데이터를 추출하여 분석할 수 있는 능력, 분석된 데이터를 시각화하는 능력 등을 갖추고 일해야 한다. 빅데이터플랫폼 기술은 주로 오픈소스로 구성되어 있어, 관련 분야(네트워크, Database, Application, OS 등)의 오픈소스를 연구하고 커뮤니티 활동을 통해 전문성을 개발할 수 있는 기회가 많은 편이다.

 

 

 

 

 

SK C&C는 2018년 5월 6일까지 빅데이터 컨설턴트와 빅데이터 기술전문가를 수시채용한다. 빅데이터 컨설턴트는 Digital전략사업부문과 협업해 Digital 사업을 발굴하고 Use case 및 business case를 개발한다. 또한 빅데이터 활용을 위한 산업의 요구사항을 정의하고, 서비스 기획과 설계도 담당한다.

 

빅데이터 컨설턴트에 지원하려면 제조·통신·금융·서비스 산업에서의 데이터 기반 컨설팅 경력이 있거나 관련 기술 벤더 산업 경험자여야 한다. 빅데이터를 기반으로 한 서비스 기획이나 ISP, 마스터플랜 수립 등의 컨설팅 경력자도 지원 가능하다. 이들은 데이터 기반 활용 전략을 수립하고 서비스 기획과 논리 설계 등에 필요한 컨설팅 역량을 갖춰야 한다. 빅데이터 분석과 시스템 구축 관련 방법론에 대한 지식도 필요하다. 빅데이터 처리·분석 기술에 대한 이해는 필수다.

 

빅데이터 기술전문가는 Hadoop 기반의 ETL 개발·운영과 Hadoop·Spark 기반의 빅데이터 플랫폼 구축 및 운영 업무를 진행한다. 또한 머신러닝과 딥러닝을 기반으로 한 분석 플랫폼 구축과 기타 빅데이터와 관련된 응용 서비스 개발 업무도 맡는다.

빅데이터 기술전문가에 지원하기 위해서는 3년 이상의 Java,Python,Scala 언어 기반 데이터 처리 및 UDF 개발 경력이 필요하다. 혹은 2년 이상의 빅데이터 기술 및 분석 경력이나 Linux 환경 경력이 있어도 지원할 수 있다. 업무를 수행하기 위해서는 Agile, Scrum에 대한 이해와 DevOps 기반 개발 경험이 요구되며 오픈소스를 활용할 수 있는 역량도 필요하다. 머신러닝 및 딥러닝을 기반으로 한 분석 및 플랫폼 개발 경험도 중요한 역량이다. AWS 활용 경험을 가지고 있거나 Computer Science/Engineering 및 관련 전공에서 석사 이상의 학위를 취득한 경우 우대한다.