근거기반훈련워크숍 (Evidence-Based)

교육을 듣고난 후 교육 만족도에 대한 설문지를 받습니다. 이 교육이 어땠는지, 얼마나 도움이 될 것 같은지를 물어보는 질문이 들어있죠.

서비스 센터에 다녀오면 전화가 옵니다. “고갱님~ 서비스에 얼마나 만족하셨는지…….” 센터의 서비스 기사가 말했습니다. 연락오면 매우 만족 좀 달라구요. 그냥 만족을 주면 안된답니다.

그런데, 이런 교육 후 설문이나 서비스 만족도 조사에서 나온 답변이 그들에게 얼마나 효과가 있을까요? 분명 더 좋은 교육을 위해, 더 나은 서비스를 위해 조사를 할텐데 말이죠.

근거기반(Evidence-Based) 이라는 것은 검증된 과학적 증거를 바탕으로 전문적인 Practice를 실행하는 것을 칭합니다. 즉, 연관된 학문에서 기 도출된 이론들을 사용하는 것으로 이론과 실무가 융합되어 있는 모델이죠.

아, 물론 이론에 기초하여 세운 가설이 맞는지 확인하기 위해 실험을 하기도 합니다.

지난 목요일에 김창준님과 유재명님이 무료로 좋은 워크숍을 열어주셔서 진행된 내용 중에 인상깊었던 내용들 공유합니다.

근거 기반에서 중요한 두가지가 있습니다.

1. 이미 있는 근거를 활용하는 것. (ex. 이중맹검실험 등..)

2. 우리가 하려는 것 자체를 실험으로 두어 측정해 보는 것

커크 패트릭의 교육 평가 4단계를 보면 다음과 같습니다. 단계가 높을수록 더 믿을만한 근거입니다.

1. 반응 (Reaction) : 가장 기초적인 것
   • 교육이 끝난 직후 묻는 질문 들 (만족도 조사와 같은)
2. 학습 (Learning)
   • 교육에서 배운 것을 기억하는지 (필기 시험을 수행하거나 해서 검사할 수 있음)
3. 행동 (Behavior)
   • 현업으로 돌아가서 몇달 후 배운대로 행동하는지를 측정
4. 성과 ( Result)
   • 교육에서 배웠던 내용이 업무에 도움이 되고 있는지 확인
     ex. 협상 교육 수강 후 행동까지 변화했다. 근데 그게 매출에도 영향을 끼쳤나?

하지만 교육효과가 곧 “반응”으로 나타나는 것은 아닙니다.

• 일단 반응은 평가 지표로 적합하지 않다. (교육생들의 표정이 밝다고 해서 교육 효과가 높은 것은 아니라는 것)
• 자기효능감(Self efficacy)가 높을수록 행동으로 더 잘 발현된다. (Self efficacy : 자신이 스스로 어떠한 상황을 극복할 수 있고 자신에게 주어진 과제를 성공적으로 수행할 수 있다는 개인의 신념이나 기대)
• ex. Sitzmann et al. (2008)
• 반대로 motivation은 높을수록 행동으로 발현은 안됨 (동기가 높으면 뭔가를 해야한다는 생각만 강할 뿐. 실제 행동으로 옮겨지진 않는다는 연구 결과)

Trainee의 reaction이 교육 효과와는 무관하다는 것에는 Dr. Fox Effect라는 말이 있을 정도로 유명한 실험이 있습니다.

Myron L. Fox 라는 배우는 1973년 ‘의료인 교육에 있어 수학적 게임이론’이란 제목으로 가짜 강연을 진행합니다.

참석자들은 모두 직업적으로 고학력자들이었으며, 병원 경영자, 심리학자, 정신과 박사, 교육자, 사회복지사 등 의료와 관련된 일을 하는 사람들이었습니다.

물론 Fox는 게임이론에 대해서는 전무한 사람이었죠.

그리고 강의 내용 또한 엉터리였습니다. 부정확하고 모호한 설명들과 멋대로 지어낸 용어들, 모순적인 주장으로 가득한 강연 원고를 만들고 모든 내용을 전부 외워 그대로 전달했을 뿐입니다. 탁월한 커뮤니케이션 능력을 발휘하여 재밌는 말도 간간히 섞어서 확신에 찬 발성으로요.

Dr. Fox는 강연이 끝난 후 이들과 함께 토론하는 시간을 가졌고, 청중들은 엄청난 질문을 합니다. 물론 Fox는 그 질문에 대해 아무 것도 명확하게 대답하진 않았죠.

그리곤 그날의 강연이 어땠는지에 대한 설문을 실시합니다.

그 결과, 거의 모든 참석자들이 Dr. Fox의 강연이 굉장히 흥미진진할 뿐 아니라 매우 명확하게 내용을 전달하여서 수학적 게임이론이 업무를 수행하는데 무척 도움이 될 것 같다고 평가했습니다.

즉, 청중의 반응은 강연의 내용 보다는 강의자의 태도나 발성, 얼굴 표정, 자신감, 알려진 프로필 등에 의해 좌우된다는 것이죠.

현재 많이 하고 있는 만족도 조사의 대부분이 이런 형태의 조사를 하고 있습니다.
좀 더 정확한 결과를 얻기 위해서는 사전 테스트, 사후 테스트, 대조군을 두고 비교를 해봐야 합니다.

사례로 U+의 콜센터 교육을 진행하셨던 내용을 말씀해주셨습니다.

중요한 것은 다음입니다.

고객의 반응은 별로 중요하지 않다. 고객이 제기한 문제가 얼마나 개선됐는지가 더 중요하다. 이것이 고객 충성도와 재구매율에 더 큰 영향을 미친다.

업무 탈진이 오는 계기는 “업무의 명확성”이 가장 큰 영향을 끼칩니다.
예상치 못한 상황에 대한 대응 능력(Self Efficacy)을 이야기하는데,

예를 들어, 서울사람인 고객과 경상도 사람인 상담사가 통화를 하고있다고 가정합시다.
이 때 고객이 화가나서 막 욕을하기 시작합니다.
상담사는 다 듣더니 “니 욕을 그것밖에 못하나~” 라고 응대합니다.

즉, 스트레스가 임계치 내에 있으면 그것을 핸들링하는 것이 가능하다는 것입니다.

접근 모형은 다음과 같습니다.

1. 정확히 듣기와 말하기
2. 고객 생각/느낌 알아채기 (마음읽기)
3. 기초적 상담지식 (기본 프로토콜이 정해져있음)
4. 상담 중심 전문성 (휴리스틱스)
5. 실수 관리 (하는 중 실수가 생기면 어떻게 대응하고 반응하는가)

그럼 이것들을 어떻게 측정할 수 있을까요?

고객의 말에 대한 공감/이해 능력에 대한 교육 사례를 통해 알아봅시다.

1. 이에 대해서는 이미 연구가 많이 되어 실험 결과도 이미 많이 나와있습니다. 즉, 교육을 진행하기 전에 이미 나와있는 실험 결과가 있는지를 찾아보고 있다면 그것을 차용할 수 있습니다.
2. 사전/사후 테스트 진행 -> 교육 -> 교육 후 3주 뒤에 사후 테스트 진행
3. 여기서는 인지적 수준의 공감을 주는 것이 초점 - “고객을 기쁘게하는 것을 멈춰라”는 말이 있다. 인지적 수준의 공감이라 함은 상대방의 기분이나 말하고자하는 바를 캐치하는 것이고, 이를 빠르게 하는 것이 관건이다. 수행했던 사례는 다음과 같습니다.
   실제 상황에서 고객이 불평하는 것을 녹음했음.
   그리고 그걸 고객에게 다시 들려줘서 각 부분마다 느낌이나 기분, 감정이 어떠했는지를 말하도록 하고 그것을 기록함 해당 오디오 파일을 상담사에게도 들려주고 동일한 지점에 대해 상담사에게 고객이 느낌이 어땠을지를 적도록 함 고객이 적어냈던 것과 상담사의 내용을 비교하여 점수로 매김 결과) 비용은 거의 안들었음. 이걸 교육하는 시간도 1시간 남짓, 시간을 거의 안쓰면서도 효과가 있었음. 만족도는 유지되면서 콜 타임은 줄어듦 (상담사들에겐 콜타임이 곧 KPI임)

효과적 훈련의 원리

• 질문하기 : 어떻게 질문하는지에 따라 달라짐
• 간격학습 : 몰아서 공부하는 것보다 간격을 두고(간격은 떨어뜨리고, 공부할 것들은 섞어서). 간격을 짧게 하는 것보다 간격을 길게 가져가면 까먹어서 더뎌보이지만, 동일하게 긴 기간을 두고 학습하면 끝에 가서는 효과가 더 좋음.
• 예제 보여주기/문제 풀기 : 예시를 주고 따라하거나 빈칸을 채우도록 하는 것. 특히 초보의 경우 inquery 학습이 효과적임. 알려주지 않고 스스로 알아내도록 하는 탐구적 학습은 효과가 없음.
• 퀴즈/시험보기 : 시험을 본 뒤에 학습을 해도 효과가 있음. 퀴즈나 시험을 보지 않으면 안다고 착각하게 됨. 책을 읽기만 하는 것은 효과 없음.
• 다양한 문제(variance) : 멀리 던지기 연습을 할 때 A그룹은 1m에서 던지게 하고, 이후 3m에서도 던지게 한다. B그룹은 1m만 던지게 한다. 그리고 나서 2m 시험을 보면 A그룹이 더 잘던짐
• 상호의존/상호 독립적 : peer 그룹끼리 서로 도와주며 학습하도록
• 적절한 난이도
• 시청각 교육 : 이 때 시각과 청각을 같은 내용을 주면 효과 없음. ex) 슬라이드에 적힌 내용과 말하는게 같으면 시각과 청각이 충돌이 나기 때문에 학습 효과가 없음
• 실수 훈련 : 실수를 경험할 시간을 주어야 대처 능력도 생기고 실수를 더 안하게 됨.

훈련의 수요를 분석해보면,

• 공식적으로 규정된 R&R과 실제 직무 차이
• 조직내 업무 관련인/상하위 등의 평가 (조직 내 일 장하는 사람과 못하는 사람의 차이가 뭐냐. 어떤 차이를 찾을 것이냐.)
• 레퍼토리 그리드 사용 (중간 규모에서 사용 가능한 질적/양적 분석)
• 고객에겐 마케팅 조사, 교육생에겐 교육 수요 분석

삼각 비교법 : 김태희, 한가인, 손예진 중 다른 사람은? 한가인! 유부녀다 (이 대답을 한 사람의 기준이 기혼인가 미혼인가라는걸 알 수 있음)

교육을 하기 전에 교육생들의 사전 needs을 알아보면 전략에 대한 부분이 많습니다. 하지만 실제 교육이 진행되면 사회적 social에 대한 부분이 많은걸 알 수 있다.

Q&A

1. 인원이 적을 때는 이걸 어떻게 유의미한 결과로 낼 것인가?
   • 10명(교육생), 10명(비교육생) 정보면 비교군으로는 적당하다고 봄
   • 시간을 길게 두고 (1)교육을 받기 전과 후가 어떤지 (2) 해당 교육 기법을 실제로 사용할 시간과 사용하지 않을 시간을 구분해서 결과를 알아볼 수도 있고 (3)교육의 순서를 A-B-C, C-A-B, B-C-A 등으로 바꿔가면서 진행하며 어떤게 더 효과적인지 볼 수 있고 이건 한사람에게도 실험 가능함.
   • 상담의 경우는 회기로 본다. 즉, 시간이 지날수록 어떤 결과를 보이는지를 본다는 것
   • 잘된 사람과 안된 사람의 차이에 포커싱 해야 한다.
2. 학생들은 어떻게 측정하는가?
   • 성적을 보면 됨. (논문 엄청 많음) : 학부모에게 “문제 해결 능력이 높아집니다” 보다 “성적이 높아집니다”가 더 설득력 있지 않겠나?
3. 실험 결과가 생각했던 것보다 안좋거나 하면 조작하고싶진 않은가?
   • 실패하면 다시 실험하면 되지 뭐. 앞으로 한발 더 나갈 수 있는 밑거름으로 보면 좋겠다. 데이터 조작을 하게되면 지금 잠깐은 좋을 수 있을지 몰라도 실패로부터 배운게 없어서 나아지는건 없으니깐.

관련하여 입문 서적을 몇 권 추천해주셨습니다.

• How to measure anything : 통계 관련 입문서
• Visible Leaning : 교육 관련 입문서
• First principles of instruction
• Teaching backward (교육을 설계할 때 역순으로 하는 것) -> 이건 Backward Planning 이란 책인 듯 함

설문을 설계할 때는, 다음의 내용이 함께 들어가있으면 더 효과적이다.

회의 진행을 잘 했나? 라는 주제에 대해,

• 잘한 사람의 행동을 예로 든 보기
• 잘 안된 사람의 행동을 예로 든 보기

호손 효과 라는 것이 있는데, 교육 자체보다는 교육을 해주는 자체만으로도 관심을 가져준다고 생각하게 되어 생산성이 높아지는 효과가 있다.

피드백을 꼭 받아보라. 내가 실패한 것이 뭔지를 꼭 알아야 한다. 이것이 나의 성장에 도움이 됨.