Q. 현재 하고 계신 업무를 소개해 주세요.

저는 자연어처리가 사용되는 여러 분야 중 텍스트 분석 업무를 하고 있는데요, 지금 하고 있는 업무는 뉴스, 리포트, SNS에서 발생하는 비정형 데이터로부터 기업과 인물에 대한 온라인 평판을 분석할 수 있는 서비스를 만들기 위한 기획, 모델링을 하고 있습니다.

 

Q. 자연어처리라는 게 무엇인가요?

간단히 설명드리면, 자연어처리란 자연언어 처리라고 부르기도 하는데요, 인간의 언어를 컴퓨터와 같은 기계가 이해할 수 있도록 연구하는 인공지능의 주요 분야 중 하나입니다. 우리의 실생활에서도 자연어처리 기술이 많이 활용되고 있는데요, 예를 들면 Siri, Bixby, Alexa와 같은 스마트 어시스턴트에도 자연어처리가 사용됩니다. ‘스마트 어시스턴트’하면 가장 먼저 떠오르는 기술은 음성인식 기술인데 음성인식의 경우 사람이 말하는 음성을 컴퓨터가 해석해 그 내용을 문자로 전환하는 기술입니다. 이때 음성이 문자로 변환된 데이터를 처리하려면 자연어처리가 필요하죠. 이외에도 우리가 자주 사용하는 번역기, 챗봇 등에도 자연어처리가 사용되는 사례라고 할 수 있습니다.

 

Q. 업무를 하기 위해 필요한 스킬이나 역량은 무엇인가요?

분석 업무에 필요한 스킬은 아무래도 코딩 능력은 꼭 필요할 것 같고 파이썬과 더불어 SQL과 같이 데이터베이스를 다룰 수 있으면 더 좋을 것 같습니다. 개인적으로 필요 역량은 집요함과 커뮤니케이션 능력이라고 생각하는데, 실제 분석을 진행해보면 나중에 별것 아닌 문제였지만, 오랫동안 오류를 해결하지 못하는 경우가 종종 있거든요. 이런 경우 문제를 해결하기 위해서 여러 가지로 꼼꼼히 확인해 봐야 하기 때문에 집요함이 필요하다고 생각해요.

그리고 커뮤니케이션 능력은 일반적으로 모든 직군에서 필요한 역량이라고 생각할 수도 있지만, 데이터 분석에서는 특별히 더 필요한 역량이라고 생각합니다. 왜냐하면 자신이 진행한 분석 방법과 결과에 대해 설명하고 설득하는 경우가 많기 때문이에요. 또한 팀원들 간 소통을 할 때에도 의사소통을 분명하게 할 수 있어야 서로 중복되게 같은 일을 반복하는 경우를 줄일 수 있고, 상대방에게 본인의 분석 결과를 설명할 때도 상대방이 이해할 수 있도록 설명해야 하기 때문에 커뮤니케이션 능력이 중요합니다.

 

Q. 실제 그런 스킬이나 역량을 어떻게 쌓아오셨나요?

저는 수학, 통계학을 전공했고 졸업 후 6개월 정도 정부지원 교육으로 데이터분석 교육을 들으면서 코딩을 공부했어요. 이때 상당히 많은 시간을 투자하면서 데이터분석에 대해 공부했죠. 왜냐하면 저도 이때 교육을 통해서 파이썬을 처음 배웠거든요. 책으로 이론 공부를 했고, 실습은 직접 따라 해보면서 구글링을 많이 활용했어요. 구글링을 하며 오류를 찾으면서 공부했을 때가 실력이 가장 많이 향상된 것 같아요. 저도 해결되지 않는 문제가 있으면, 혼자 해결할 수 있을 때까지 이것저것 많은 자료를 찾아보며 해결했거든요.

하지만 저 역시 지금도 아직 많이 부족하다고 생각해서 회사에 다니면서 디지털 금융MBA로 석사과정을 병행하며 계속 실력을 쌓고 있어요. 인공지능이나 데이터 분석 관련 대학원에 진학하지 않고 왜 MBA에 진학했냐고 물어보는 분들이 있는데, 저는 분석기술뿐만 아니라 비즈니스적 시야도 경험해보고 싶어서 MBA를 선택했습니다.

 

Q. 어떤 분야로 확장이 가능할까요?

앞서 자연어처리에 대해 설명한 것처럼, 자연어처리가 적용될 수 있는 분야가 많기 때문에 마케팅, 금융, 게임 등 다양한 산업에 적용되며 확장이 가능합니다. 예를 들어, 마케팅 분야의 경우 소비자의 목소리를 듣고 경험을 파악하는 것이 중요한데, 이때 자연어처리를 사용하여 소비자가 남긴 문의글, 리뷰 등 다양한 형태의 비정형 데이터를 통한 분석을 진행할 수 있는 거죠. 그럼 문의 글이나 리뷰를 직접 읽으면서 소비자에 대해 파악을 하는 것보다 현저하게 시간을 감소할 수 있습니다.

 

Q. 실제 프로젝트가 진행될 때, 업무 프로세스가 궁금합니다.

분석 프로젝트의 경우, ‘모델 리서치 → 샘플 테스트 → 학습데이터 구축 → 모델링 → 검증’ 등의 순서로 진행됩니다. 각 진행단계를 하나씩 설명드리면, ‘모델 리서치’는 해당 프로젝트에 적용할 모델을 리서치하는 단계입니다. 만약 프로젝트에 사용할 모델이 이미 정해진 경우라면 모델 리서치를 할 필요가 없지만, 모델이 정해지지 않은 경우 논문 리서치를 통해 최근 사용하고 있는 모델은 무엇이 있는지, 각 모델의 장단점은 무엇인지 등 사용가능한 모델을 리서치하면서 팀 내에서 리뷰하는 시간을 갖습니다.

모델 리서치를 통해 사용할 모델이 몇 가지 정해지면, 샘플데이터를 통해 실제 모델을 구현할 수 있는지, 한글로 변환해 적용할 수 있는지 등을 확인합니다. 정식 명칭은 아니지만, 제가 ‘샘플 테스트’로 이름 붙였습니다.(하하) 보통 온라인에 공개된 모델의 경우, 영문 데이터로 된 모델이 많기 때문에 한글로 적용했을 때 문제가 없을지 확인하는 작업이 필요합니다.

샘플 테스트까지 완료되면 이제 모델링에 들어가기 전 필요한 ‘학습데이터 구축’을 진행합니다. 학습데이터 구축의 경우 구축 가이드라인을 작성하고, 가이드라인대로 데이터 구축을 진행합니다. 학습데이터 구축까지 완료되면 이제 모델링을 진행하면 되는데요, 모델 리서치 단계에서 선택한 모델을 앞에서 구축한 학습데이터를 사용해 훈련시킵니다. 저는 같은 경우 가장 기본이 되는 모델을 먼저 만들고, 새로운 모델들을 적용하며 어떤 점이 점점 개선되는지 확인하면서 진행합니다.

이제 마지막으로 모델링까지 완료되면, 검증단계만 남았습니다. 검증의 경우, 모델에 맞는 검증방법을 통해 검증을 진행하면 됩니다. 예를 들어, 이진 분류모델의 경우 confusion matrix를 사용해 검증하면 되는데, 이때 사용하는 데이터는 훈련시킬 때 사용하지 않은 새로운 테스트 데이터를 사용하여 검증까지 진행하면 마무리가 됩니다.

 

Q. 업무의 장단점은 무엇이 있을까요?

제가 하는 일의 장점은 프로젝트 단위로 업무를 진행하다 보니, 다양한 주제의 분석 프로젝트를 진행해볼 수 있다는 점이에요. 물론 프로젝트 진행 시마다 분석 방법이나 사이클은 비슷할 수 있지만, 해결해야 하는 다양한 종류의 문제와 도메인을 접해볼 수 있거든요. 이렇게 여러 도메인을 접하면서 본인에게 더 잘 맞는 도메인을 찾을 수도 있고요.

단점을 꼽자면, IT 분야이다 보니 새로운 기술들이 끊임없이 나오고 있어 계속해서 신기술을 학습해야 한다는 점을 꼽을 수 있겠네요. 계속해서 새로 나오는 분석기술에 대해 관심을 갖지 않으면 최신 트랜드를 알 수가 없어서 뭔가 새로운 기술을 습득하거나 학습하는 것을 어려워하는 사람은 좀 스트레스를 받을 수 있는 직업일 것 같아요.

ﾠ

Q. 미래 유망직종으로 꼽히고 있는데요, 어떤 이유 때문일까요?

사실 인공지능, 데이터분석 분야가 유망하다는 말은 상당히 오래전부터 나온 이야기인 것 같아요. 데이터 분석가라는 것이 통계학에서 시작된 것이라 요새 새로 생긴 직업은 아니니까요. 그럼에도 불구하고, 유망직종으로 꼽히는 이유는 아무래도 정부의 규제가 완화되면서 데이터를 사용할 수 있는 환경이 점차 마련되고 있고, 분석이나 활용할 수 있는 데이터 범위와 종류가 넓어지고 있기 때문인 것 같습니다.

그리고 자연어처리의 전망도 좋은데, 그 이유는 비정형 데이터의 폭발적인 증가 때문입니다. 텍스트, 오디오, 이미지, 영상 등의 데이터를 비정형 데이터라고 부르는데, 그 양이 엄청나게 증가하고 있죠. 시장조사기관인 IDC의 조사에 따르면, 2018년에 생성된 데이터의 양은 16제타바이트였는데, 2025년에는 163제타바이트까지 증가할 거라고 전망하기도 했어요. 그 중 비정형 데이터의 비율을 약 80% 정도 되고요. 쌓이고 있는 데이터를 어떻게 저장할지, 어떻게 분석할지에 대한 수요도 함께 증가하고 있기 때문에 유망직종으로 꼽히는 것이 아닐까 생각됩니다.

ﾠ

Q. 이직 가능한 직종은 무엇이 있을까요?

데이터분석가는 주로 비즈니스 문제를 해결하며 기획과 분석을 함께 하기 때문에 계속 데이터분석가로 경력을 쌓아 가면 프로젝트 PM으로 성장할 수 있습니다. 하지만 만약 데이터분석 쪽이 본인에게 맞지 앉는다면, 데이터분석가로 시작하더라도 데이터와 관련한 다른 직무로도 충분히 이직이 가능하다고 생각해요. 데이터분석가로 여러 프로젝트를 참여하면서 좀 더 관심이 가거나 잘하는 분야에 대해 공부를 하다 보면, 데이터엔지니어, 데이터 사이언티스트, 데이터 모델러 등 다양한 직무로 이직이 가능합니다.

 

Q. 앞으로 자신의 분야에서 이루고 싶은 목표가 무엇인가요?

사실 저는 장기목표를 세우기보다는 단기목표를 세우는 편이에요. 달성한 단기목표들의 나열이 저의 길을 만들어 가고 있다고 생각하거든요. 그래서 매번 현재 진행 중인 목표에 최선을 다하는 편이죠(하하). 그래서 지금 제 분야에서 이루고 싶은 목표는 답변이 조금 어렵네요. 대신 지금의 저의 단기목표는 첫 번째로 석사과정을 잘 마치는 것과 두 번째 현재 회사에서 진행하고 있는 온라인 평판분석 서비스인 인사이트 페이지를 오픈하는 것입니다. 석사과정을 잘 마치고 나면, 또 저에게 뭔가 새로운 직업의 방향이 생길 것이라 생각하고, 인사이트 페이지도 잘 런칭하고 나면 이로 인해 뭔가 또 새로운 일이 생기지 않을까 개대합니다. 이렇게 단기목표를 한 개씩 달성하고 나면 몇 년 후에는 지금 상상하지 못할 어떤 누군가, 무언가가 되어 있지 않을까요?

글 / 이상미 기자 job@hkrecruit.co.kr