타당화 연구의 시작, Back to the Basic

우리는 본 연재를 ‘역량의 개념과 선발 및 평가에서 역량의 활용’에서 시작해서 어느덧 종착지인 ‘채용도구 타당화 연구’에 이르렀다. 선발 및 평가에서 가장 먼저 해야 할 첫 관문인 평가요소 도출이 중요한데, 이 평가요소를 도출하기 위해서 진행되어야 할 연구가 직무분석(Job Analysis) 또는 역량모델링(Competency Modeling)이라는 걸 우리는 알고 있다.

직무분석은 수행되는 직무가 어떤 과업(Task)을 하는지 파악하고 정리한 직무기술서(Job Description)와 직무에서 수행되는 과업을 하기 위해 작업자(수행자)가 갖추어야 할 인적 특성, 즉 직무수행에 필요한 지식, 기술, 능력, 태도(KSAO)를 정리한 직무(작업자) 명세서(Job Specification)를 도출하는 작업이다. 특히, 채용설계를 위한 직무분석은 평가요소, 평가도구, 평가방법의 도출과 프로세스에 대한 구체적인 맵핑(Mapping)이다.

타당화 연구(검증)는 일반적으로 앞서 도출한 평가요소 및 선발도구 등이 선발의사결정 이후, 입사자들의 직무수행 역량을 얼마나 예측하는가를 통계적으로 검증하는 과정이다. 즉, 제대로 제 기능을 다하는지 통계적으로 확인하고 튜닝하는 과정으로 분석 초기로 돌아가 기초공사가 잘 되었는지 검증하는 것에서 시작한다.

 

선발 타당화 검증 3요소, ‘What, Which, How’

선발 타당도 검증의 첫 번째 요소는 무엇(What)으로 평가해야 하는지에 대한 검증이다.

예를 들어, 공공기관인 A 기관은 민원응대가 많은 기관의 특성을 인식하고 핵심인재상과 연계하여 조직이해역량을 평가요소로 도출하고 몇 년 동안 신입사원 선발의사결정 기준으로 활용하였다. 최근 A기관은 지난 3년 내 입사자들의 선발자료와 인사고과를 포함한 상사평가자료를 토대로 선발 타당화 연구를 진행하였으며, 조직에서 선정된 우수 성과자들의 과거 선발정보에서 고객지향역량이 조직이해역량에 비해 예측타당도가 높다는 점을 검증하였다. 이를 통해 A 기관은 핵심인재상과 연계된 평가요소를 조직이해에서 고객지향으로 변경하였으며, 직업성격검사(인성검사)의 결과를 보다 신중하게 고려하기로 하였다.

위 사례와 같이 채용설계 시 도출한 지식, 기술, 능력, 태도(KSAO) 등의 평가요소가 우수 성과자(수행자)를 제대로 변별해주는지, 제 기능을 다하는지를 검증하여 기존 평가요소를 변경·신규 진입·제거하는 과정이 바로 타당화 검증이다.

두 번째 요소는 위에서 설정된 평가요소가 어떤(Which) 도구로 측정되고 있는지에 대한 검증과정이다. 즉, 지원자 선발을 위해 설정된 평가요소를 선발도구가 제대로 측정하고 있는지 검증하여 도구의 변경, 개선 등의 후속작업을 하게 된다.

이를 테면, 필기전형에서 기획력을 평가하는 채용설계로 인해 일정기간 동안 기획력을 측정했는데, 우수 성과자를 선발하는 데 있어 예측력이 높지 않았다고 가정하자. 어떻게 하면 좋을까?

물론 필기시험을 통해 통합적 상황분석 및 대안선택 등에 대해서 검증할 수도 있다. 그런데 면접전형에서 시뮬레이션 기법을 활용하는 것이 보다 효과적이라면 이는 도구 선정이 잘못된 것이다. 평가요소를 검증하는 과정에서도 도구를 검토할 수 있지만, 의식적으로 도구에 대한 검증 단계를 거치지 않으면 타당화 검증에 악영향을 준다. 따라서 기관의 핵심인재상, 직급과 직무분석 등의 지속적인 검증과정을 진행하며 조직공통역량(직업기초능력)인지, 직무수행역량인지에 따라 선발도구 선정 등을 달리할 필요가 있다.

또 다른 사례를 들어보자.

‘갑’ 기업의 특정직무 채용과정에서 평가하고 있는 요소 중 기획력이 있다고 가정하자. 지금까지는 기획력을 측정하기 위해 구술면접 전형에서 기획력을 발휘했던 경험만을 파악하여 측정하였다. 반면, 동일산업군 내 ‘을’ 기업은 해당 직무에서 요구되는 기획력을 측정 평가하기 위해서 구술면접이 아닌 시뮬레이션 기법을 활용한 PT면접을 통해 기획력의 하위요소에 해당하는 분석적 사고, 통합적 환경분석, 대안 제시, 계획수립 등을 구체적으로 파악하고 측정함으로써 평가의 타당성을 높였다.

이와 같이 도구 검증은 평가요소인 기획력(Concept)을 측정도구 선정의 오류로 인해 준거결핍(Criterion Deficiency) 또는 준거오염(Criterion Contamination)이 있는지를 검증하여 준거타당도를 확보하는 과정이다.

세 번째는 채용과정을 어떻게(How) 진행하는가에 관한 검증이다.

채용과정의 설계는 직무에서 성공할 수 있는 인재를 설명할 수 있는 타당도 낮은 도구를 사용하는 단계부터 진행하는 것이 일반적이다. 따라서 채용과정을 어떻게 진행하는가에 따라 조직과 직무에 적합한 인재의 선발의사결정에 영향을 미치게 됨에 따라 선발과정의 설계가 증분적 타당도를 검증하는지 확인하고 검토하여 재설계할 필요가 있다.

지금은 이런 사례가 드물지만 과거에 필기전형을 진행한 후 제출서류 검토를 진행하는 채용프로세스를 가진 모 기관의 경우, 우수 성과자 예측력이 높은 필기전형에서 합격시켜야 할 직무역량 고득점자가 제출서류 미비로 최종 불합격되고, 불합격 처리되어야 할 저득점자는 서류제출 완료로 합격되는 해프닝이 있었다.

독자의 이해를 돕기 위해 하나의 해프닝을 언급했지만, 사실 대부분의 지원자들은 입사와 합격을 위해 채용과정에서 자신을 우수인재로 보이고자 노력한다. 이로 인해 실제 직무상황에서 능력을 발휘할 수 있는 사람을 가려내기 위한 과정도 검토해야 할 필요가 있다.

 

채용의 타당성 확보전략

채용에서 타당성 확보는 채용단계에서 점수가 높은 지원자가 점수가 낮은 지원자에 비해 입사 후 업무성과와 업무태도 등이 더 좋은가에 대한 정도를 말한다. 채용과정에서 실시하는 평가에서 높은 점수를 받은 지원자가 실제 직무에서 우수한 성과를 발휘하지 못한다면 진행한 채용과정 자체가 비용과 시간낭비가 된 무의미한 과정이 되고 만다. 위에서 언급한 타당화 검증 3요소를 눈여겨보면 결국 3가지 측면의 타당도 확보방안으로 귀결된다.

첫 번째는 평가역량 타당도를 검증하고 확보하는 방안이다.

해당 조직에서 업무태도나 업무성과와 연계되는 정말 중요한 직무능력 및 역량이 적합도 검증을 통해 지속적으로 업데이트되어야 한다. 즉, 조직성과를 창출하는 특정직무를 수행하는 데 중요한 직무역량(평가요소)들이 실제 직무수행에 얼마나 도움이 되고 있는지 내용전문가(Subject Matter Expert)들을 통해, 준거타당화를 통해 지속적으로 업데이트해야 한다.

잠깐 논지에서 벗어나 우리가 많이 들어본 안면타당도(Face Validity)와 내용타당도(Contents Validity)에 대해 다루고자 한다. 일반인도 많이 들어본 용어이기도 하고 타당도 검증 방법으로 활용할 수 있기 때문이다.

안면타당도는 특정직무 종사자 또는 경력자가 아닌 다른 사람들이 봐도 해당 직무의 평가요소로 인식하는 정도로, 평가요소를 측정하기 위한 선발도구(준거)로 활용하는 것에 대한 적절성의 수준을 의미한다. 가령, 해외영업 직무자를 선발하기 위해 인사팀에서 영어구사 수준을 평가요소로 도출하고 TOEIC SPEAKING 점수와 영어면접을 선발도구로 선정했다면 직무수행자를 선발하는 데 적절하다고 생각할 수 있다.

내용타당도는 일반이 아닌 내용전문가(SME), 즉 오랜 직무수행 경력자 등 직무수행을 이해하는 해당 분야 전문가들의 검증과 그 수준을 의미하며, NCS 영역과 연계한다면 직업기초능력이 아닌 직무수행역량과 적합성 수준으로 이해할 수 있다.

두 번째는 준거타당도 확보방안이다.

실제 직무상황에서 능력을 발휘할 수 있는 사람을 가려내기 위한 수단인 선발점수가 실제 성과를 예측하고 있는가에 대한 검증이 반드시 필요하다. 하지만 현실은 그렇게 녹록치 않다. 적어도 2~3년이 지나 선발자료와 해당기간의 직무성과자료를 수집하고 분석해야 하는 시간적인 어려움과 현업에 바쁜 담당자들의 상황, 직무순환 등의 이유로 예측타당화 연구(Predictive Validity)의 수행에 한계가 있다.

이러한 문제점을 극복하기 위해 우리 연구자들과 현업담당자들이 보다 쉽게 접근할 수 있는 방법이 동시타당도(Concurrent Validity)를 검증하는 방법이다. 직무능력 기반으로 개발된 직무능력검사(적성)와 직업성격검사(인성), 구조화된 직업기초능력검사 등의 선발도구들을 현직자(Job Incumbent)들에게 적용하여, 우수 성과자와 그렇지 않은 직원들 간에 유의미한 차이를 보이는지 확인하는 검증과정이다.

세 번째는 ‘수렴/변별 타당도’ 확보방안이다.

이것은 앞서 다룬 두 가지 타당도 확보방안에 비해 중요하게 다루어지지는 않으나 실제 지원자들의 점수를 토대로 가장 정량적으로 접근이 가능한 검증 방식이다. 방식은 일반적으로 도구 간 상관분석을 통해 이루어진다.

예를 들어, 필기전형의 인성검사와 면접전형의 경험행동면접(BEI)은 지원자의 태도를 측정한다는 부분에서 어느 정도 수렴되어야 하고 능력을 측정하는 도구들과는 측정요소가 다르므로 변별이 되어야 한다. 즉, 인성검사 점수가 높은 지원자가 평균적으로 경험행동면접 점수가 높고 능력검사나 발표면접 등의 도구와는 상관이 없음을 점검하여 각 도구들이 실제 측정하고자 하는 역량을 정확히 측정했는지에 대해 통계적인 검증이 가능하다.

 

맺음말

타당화 연구는 직무분석에서 직무수행자가 갖추어야 할 인적특성 중 핵심요소를 도출한 평가요소와 선발도구, 그리고 채용과정이 우수한 성과자를 선발하는 데 제 기능을 다하고 있는지에 대한 통계적 검증과정이다. 이러한 과정이 생략된 채, 선발도구가 맞지 않는다고 속단하기보다는 전문기관들과 협의하여 채용설계와 채용결과에 대한 검증이 진행되어 타당화 연구가 조직성과 창출에 기여하는 데 활용되길 바란다.

------------------------------------------------------------------------