스킬 기반 HR이 실패하는 지점을 물으면 답이 비슷하게 나온다. 택소노미 설계가 어려워서. 시스템이 없어서. 경영진이 관심이 없어서. 전부 아니다. 무너지는 곳은 그보다 훨씬 앞단이다 — 구성원이 자기 스킬 레벨을 입력하는 바로 그 순간.
생각해보라. “귀하의 재무분석 역량 수준은?”이라는 문항 앞에서 ‘하’를 고르는 사람이 몇이나 되는가. 그 데이터로 프로젝트를 매칭하고, 육성을 설계하고, 언젠가 보상까지 연결하겠다고 하면? 모두가 ‘상’을 고른다. 그렇게 쌓인 스킬 DB는 첫 번째 잘못된 매칭에서 신뢰를 잃는다. 그리고 신뢰를 잃은 인사 데이터는 거의 되돌아오지 않는다.
그러니 스킬 기반 HR의 진짜 승부처는 택소노미의 정교함이 아니다. 데이터를 정직하게 만드는 측정과 검증의 설계다. 이 글은 그 설계도를 다룬다 — 레벨의 언어를 만드는 법, 자기신고를 검증 가능한 증빙으로 바꾸는 법, 그리고 평가가 데이터를 죽이지 않게 하는 원칙까지.
자기평가와 타인평가는 왜 늘 어긋나는가
역량평가든 리더십 다면평가든, 자기평가와 타인평가를 나란히 돌려본 해 중에 갭이 없던 해가 없다. HR에서 이 일을 오래 하면서 발견한 패턴은 갭의 존재가 아니라 갭의 방향이다. 타인평가가 낮게 나온 사람일수록 자기평가는 높다. 역량이 부족한 사람이 자기 역량을 더 후하게 매기는 경향 — 심리학에서 말하는 자기고양 편향이 인사 데이터에서는 예외가 아니라 기본값으로 작동한다.
그래서 스킬 데이터는 한 번이 아니라 세 번 오염된다.
입력 단계의 오염. 과대신고다. 스킬 프로파일이 매칭과 기회로 연결된다는 걸 아는 순간, ‘중’을 ‘상’으로 올려 적을 유인이 생긴다. 악의가 아니다. 자기 실력에 대한 인간의 인지 자체가 원래 부정확하다.
평가 단계의 오염. 리더의 관대화와 후광효과다. “저 친구는 에이스니까”라는 한 문장이 스킬 21개의 레벨을 한꺼번에 끌어올린다. 스킬별로 봐야 할 것을 사람 단위로 뭉뚱그리는 순간, 데이터는 인상비평의 기록이 된다.
활용 단계의 오염. 가장 치명적이다. 스킬 갭이 드러나면 불이익을 받는 구조라면, 구성원은 모자란 스킬을 숨기고 리더는 팀의 약점을 가린다. 데이터가 틀린 게 아니라, 조직이 데이터를 거짓말하게 만든 것이다.
그럼 문항을 더 정교하게 설계하면 해결되는가? 아니다. 이건 문항의 문제가 아니라 이해관계의 문제다. 설문이 조직문화를 제대로 재지 못하는 이유와 정확히 같은 구조인데, 이 논리는 AI로 조직문화를 바꿀 수 있을까 — 설문이 못 보는 것을 행동 데이터로 읽는 법에서 자세히 다뤘다. 응답에 이해관계가 걸리는 순간, 자기보고 데이터는 측정이 아니라 협상이 된다.
문제를 알았으니 설계로 들어가자. 첫 단추는 의외로 검증이 아니다. 언어다.
“잘한다”는 말은 데이터가 아니다 — 레벨의 언어부터 만든다
대부분 조직의 스킬 데이터는 보유/미보유의 이분법이거나, 상·중·하 같은 정의 없는 등급이다. 이 상태에서는 검증 자체가 불가능하다. ‘재무분석을 잘한다’는 문장에서 사람마다 떠올리는 수준이 다르기 때문이다. 누군가에겐 비율 계산이고, 누군가에겐 분식 징후 포착이다.
그래서 검증보다 먼저 필요한 것이 레벨의 공통 언어다. 내가 실무에서 쓰는 프레임은 5단계다.
| 레벨 | 명칭 | 정의 |
|---|---|---|
| Lv0 | 미보유 | 수행 경험·지식 없음 |
| Lv1 | 기초·보조 | 감독 하에 정형 업무를 보조 수행 |
| Lv2 | 독립 수행 | 정형~중간 난이도를 독립 수행, 비정형은 가이드 필요 |
| Lv3 | 전문·지도 | 비정형·고난도를 독립 판단, 타인을 검토·코칭 |
| Lv4 | 권위·기준 설정 | 기준과 방법론을 수립, 전례 없는 문제를 최종 판단 |
핵심은 각 레벨을 형용사가 아니라 관찰 가능한 행동으로 적는 것이다. 행동기준 평정척도, BARS(Behaviorally Anchored Rating Scale)라 부르는 방식이다. 재무제표 분석 스킬이라면 이렇게 된다. Lv2는 “비율의 이면 — 일회성 손익, 계절성 — 을 식별하고 동종업계 대비 위치를 해석한다.” Lv3은 “주석·연결범위·우발채무에서 숨은 리스크를 발굴하고 분식 징후를 포착한다.” 이제 ‘잘한다’는 말이 사라지고, 확인 가능한 문장이 남는다.
이 언어가 왜 중요한가. 레벨이 행동으로 정의되는 순간, “당신은 Lv3입니까?”라는 질문이 “당신은 숨은 리스크를 발굴해본 적이 있습니까?”로 바뀌기 때문이다. 앞의 질문에는 의견으로 답하지만, 뒤의 질문에는 사례로 답해야 한다. 언어의 설계가 곧 검증의 설계인 이유다.
그런데 언어를 만들었다고 데이터가 정직해지는 건 아니다. 이제 진짜 질문이 남는다. 그 레벨을 누가, 무엇으로 믿을 것인가.
검증은 서류가 아니라 이벤트다 — 4-소스 삼각검증
답부터 말하면, 어느 한 소스도 단독으로는 믿지 않는 것이다. 자기평가를 없애자는 게 아니다. 자기평가를 ‘여러 소스 중 하나’로 강등시키는 것이다.
| 소스 | 역할 | 단독 신뢰도 |
|---|---|---|
| ① 자기평가 | 출발점 — 본인이 레벨과 근거 사례를 기입 | 낮음 |
| ② 증빙 | 최근 2년 내 실제 수행 건·산출물 | 중간 |
| ③ 리더 검증 | 증빙을 근거로 조정 | 중간~높음 |
| ④ 캘리브레이션 | 상위 레벨은 전문가 패널이 확정 | 높음 |
여기에 레벨별로 요구 수준을 차등한다. Lv1~2는 자기평가와 리더 합의로 충분하다. 전수 검증은 비용 대비 효과가 없다. 그러나 Lv3부터는 규칙이 달라진다. 최근 2년 내 비정형 건 수행 증빙 2건, 리더 확인, 그리고 캘리브레이션 통과. Lv4는 기준·방법론 산출물에 패널 만장일치까지. 상위 레벨일수록 조직 의사결정에 미치는 영향이 크므로, 검증 비용을 상위에 집중하는 구조다.
그리고 이 설계의 진짜 전환점은 증빙의 정의에 있다. 증빙은 평가 시즌에 몰아 쓰는 자기평가서가 아니다. 일하는 순간의 판단 기록이다. 설계 예시를 하나 들어보자. 어느 심사역이 전례 없는 구조의 안건을 만나 조건부 승인을 설계했다면, 그 의견서 — 쟁점, 적용 논리, 리스크 완화 조건 — 자체가 ‘비정형 건 독립 판단’이라는 Lv3 행동 앵커의 증빙이 된다. 별도의 평가 행정이 아니라, 업무 산출물이 그대로 검증 이벤트가 되는 것이다. 평가와 일이 분리되어 있는 한 검증은 영원히 연례행사지만, 이렇게 설계하면 검증은 일하는 만큼 쌓인다.
해외에서는 이미 이 방향으로 움직인 사례가 있다. 존슨앤드존슨(J&J)은 기술 인력 4,000명을 대상으로 41개 미래 스킬을 정의하고, 머신러닝 모델이 각자의 숙련도를 추정하는 동시에 구성원이 같은 척도로 자기평가를 하게 했다. 추론과 자기신고라는 두 소스를 같은 언어 위에서 교차시킨 것이다. IBM은 한 발 더 갔다. 업무 흔적 데이터로 전 직원 35만 명의 스킬과 숙련도를 추론한 뒤 본인에게 검증을 요청했는데, 80%가 “100% 정확하다”고 답했다. 순서가 뒤집힌 것에 주목하라. 사람이 신고하고 시스템이 믿는 게 아니라, 시스템이 추론하고 사람이 확인한다. 자기신고는 입력 수단에서 검증 수단으로 자리를 옮겼다.
물론 국내 대부분 조직에는 아직 추론 엔진이 없다. 괜찮다. 4-소스 구조는 엑셀로도 돌아간다. 중요한 것은 도구가 아니라 원칙이다 — 어느 소스도 혼자서는 레벨을 확정하지 못한다.
여기까지가 데이터를 만드는 설계다. 그런데 잘 만든 데이터를 죽이는 것은 대개 데이터가 아니라 평가 운영이다.
평가가 데이터를 죽이는 세 가지 방식
첫째, 결과 편향. 나쁜 결과가 나오면 스킬이 부족했다고 소급 판정하는 것이다. 심사 조직이라면 부실이 발생한 건의 담당자에게, 영업 조직이라면 실패한 딜의 담당자에게. 이 순간 무슨 일이 벌어지는가. 모두가 결과가 안전한 쪽으로만 판단한다. 심사는 방어적 부결로, 영업은 확실한 건만 잡는 쪽으로 도피한다. 평가해야 할 것은 결과가 아니라 판단 당시의 근거와 논리 품질이다. 결과 데이터는 참고 신호일 뿐, 개인 스킬 레벨의 직접 근거가 되어서는 안 된다. ‘결과’가 아니라 ‘기여’를 데이터화해야 한다는 원칙은 성과평가 공정성을 높이는 법 — ‘결과’가 아닌 ‘기여’를 데이터화해야 하는 이유에서 다룬 것과 같은 뿌리다.
둘째, 후광효과. 스킬 하나하나의 증빙을 보지 않고 사람에 대한 총평으로 스킬 전체의 레벨을 일괄 부여하는 것. 방지책은 단순하다. 스킬별로 증빙을 요구하면 된다. 증빙이 없는 레벨은 확정하지 않는다.
셋째, 강제 분포. 관대화가 걱정되니 레벨 분포를 강제하자는 유혹이 반드시 온다. 하지 마라. 분포를 강제하는 순간 레벨은 측정값이 아니라 정치적 배분물이 된다. 관대화는 분포가 아니라 증빙 요구 수준으로 통제하는 것이다. “Lv3이라면 증빙 2건” — 이 규칙 하나가 강제 분포보다 훨씬 정직한 데이터를 만든다.
세 가지의 공통점이 보이는가. 전부 평가를 ‘사람에 대한 판결’로 쓸 때 생기는 병이다. 그리고 이 병을 막는 가장 강력한 백신은 평가 바깥에 있다.
기회 먼저, 평가 나중 — 정직한 데이터의 사회계약
스킬 데이터의 첫 용도가 무엇이냐가 데이터의 운명을 결정한다. 첫 용도가 저성과자 식별이나 구조조정이면, 그 조직의 스킬 데이터는 그날로 죽는다. 모두가 숨기기 시작하기 때문이다. 첫 용도는 반드시 구성원에게 이익이 되는 것 — 프로젝트 매칭, 학습 추천, 커리어 경로 — 이어야 한다.
유니레버가 좋은 참고다. 이 회사의 스킬 데이터가 연결된 첫 번째 대규모 용도는 평가가 아니라 사내 탤런트 마켓플레이스였고, 팬데믹 시기 8,000명 이상을 수요가 급증한 영역으로 재배치하는 데 이 플랫폼이 쓰였다. 스킬을 공개하면 기회가 온다는 경험이 먼저 쌓였기에, 구성원이 프로파일을 채울 이유가 생긴 것이다.
그리고 이 원칙은 AI 전환(AX) 시대에 훨씬 무거운 의미를 갖는다. 생각해보라. “이 업무는 AI 에이전트가 할 수 있다”고 정직하게 말하는 사람이 자기 자리를 위태롭게 만드는 조직이라면, 누가 자동화 기회를 보고하겠는가. 스킬 갭을 숨기게 만드는 구조와 자동화 기회를 숨기게 만드는 구조는 같은 구조다. 즉 스킬 데이터의 정직성과 AX의 속도는 같은 신뢰 위에 서 있다. 스킬 기반 전환의 큰 그림은 “한 명만 더 뽑아주세요”가 통하지 않는 시대 — Headcount에서 Task × Skill로에서 다뤘지만, 그 로드맵 전체가 이 신뢰 하나에 얹혀 있다고 해도 과장이 아니다.
이 글의 핵심 세 가지
- 스킬 데이터는 입력(과대신고)·평가(관대화)·활용(은폐)의 세 단계에서 오염된다 — 문항이 아니라 이해관계의 문제다.
- 검증의 전제는 레벨의 언어(행동 앵커)이고, 방법은 4-소스 삼각검증이다 — 어느 소스도 단독으로 레벨을 확정하지 못하며, 검증 비용은 Lv3 이상에 집중한다.
- 결과 편향·후광·강제 분포를 배제하고, 데이터의 첫 용도를 ‘기회’로 설계하라 — 정직한 스킬 데이터와 AX의 속도는 같은 신뢰 위에 있다.
마지막으로 하나만 짚자. 많은 조직이 스킬 기반 HR의 첫 산출물을 택소노미라고 생각한다. 아니다. 첫 산출물은 신뢰다. 구성원이 ‘하’를 골라도 안전하다고 느끼는 순간, 그때 비로소 조직은 자기 자신에 대한 진짜 데이터를 갖게 된다. 측정의 품질이 전략의 품질을 결정한다.
데이터는 정직한 만큼만 전략이 된다.
다음 편에서는 이렇게 만든 레벨 데이터로 무엇이 보이는지를 다룬다 — AI 에이전트가 잠식하는 것은 Lv2까지이고, 조직의 생존선은 Lv2에서 Lv3으로 넘어가는 경계에 있다는 이야기다.