인출 연습 전략, 피드백을 줄 때와 안 줄 때
3줄 요약
- 인출 연습(문제를 풀어 기억을 끌어내는 방식)은 재읽기보다 낫지만, 조건이 맞지 않으면 이득이 0으로 내려갑니다.
- 피드백이 없으면 정답률 50% 이하 구간에서 효과가 g 0.03이고 신뢰구간이 0을 포함합니다. 반대로 피드백을 주면 그 어려운 구간이 g 0.99로 가장 커집니다.
- 팀에 퀴즈를 붙일 때 문항 수를 늘리기 전에 정답 재노출 절차를 먼저 넣으시면 됩니다.
작년에 QA 신입 두 명을 받고 회귀 스위트 온보딩용 퀴즈를 만들었습니다. 문항 20개, 우리 파이프라인에서 실제로 실패했던 케이스만 골랐고, 답은 일부러 공개하지 않았습니다. 스스로 찾아보게 하려는 의도였습니다. 두 사람의 정답률은 각각 8개와 9개였습니다. 저는 그 숫자를 보고 "역시 이 영역이 약하다"고 판단했고, 2주 뒤 같은 문항으로 다시 물었습니다. 결과는 거의 같았습니다. 퀴즈를 푼 것이 아무 일도 하지 않은 것과 구별되지 않았습니다.
그때는 두 사람의 문제라고 생각했습니다. 나중에 메타분석을 읽고 나서야 제가 설계에서 가장 중요한 조건 하나를 빼먹었다는 것을 알았습니다. 선택지는 두 갈래처럼 보입니다. 자료를 다시 읽게 할 것인가, 문제를 풀게 할 것인가. 그런데 실제 갈림길은 세 번째 축에 있었습니다. 문제를 풀게 한 다음 정답을 다시 보여줄 것인가입니다.
결론을 먼저 적겠습니다. 인출 연습의 평균 이득은 재읽기 대비 g 0.50입니다. 그런데 이 평균은 조건에 따라 g 0.03에서 g 0.99까지 벌어집니다. 그리고 그 방향은 피드백 유무에 따라 뒤집힙니다. 피드백이 없으면 쉬운 문제만 효과가 있고, 피드백이 있으면 어려운 문제가 가장 효과가 큽니다. 제 온보딩 퀴즈는 정확히 최악의 칸에 있었습니다.
1. 재읽기와의 차이는 평균 0.50입니다
숫자의 출처는 Christopher Rowland가 2014년에 발표한 테스트 효과 메타분석입니다. 1975년부터 2013년까지의 연구 61편에서 효과크기 159개를 모았고, 비교 대상이 "아무것도 하지 않기"가 아니라 재학습이라는 점이 중요합니다. 즉 같은 시간을 들여 다시 읽은 사람과 문제를 푼 사람을 견주었습니다.
전체 평균은 g 0.50이고 신뢰구간은 0.42에서 0.58입니다. 교육 연구에서 0.5는 작지 않은 값입니다. 다만 이 논문에서 제가 실제로 쓸 수 있었던 것은 이 평균이 아니라 조절변인 표였습니다. 이질성 지표가 84를 넘습니다. 연구들이 서로 많이 다르다는 뜻이고, 평균 하나로 결정을 내리면 안 된다는 신호입니다.
단어 암기 실험만 모은 것이 아닙니다
이 분야 자료를 읽을 때 제가 가장 먼저 의심한 것은 자극의 종류였습니다. 단어 쌍 외우기에서 나온 결과를 업무 지식에 그대로 옮길 수는 없습니다. 논문은 자극을 네 갈래로 나눠 따로 계산해 두었습니다.
| 자극 유형 | 효과크기 g | 95% 신뢰구간 | 효과크기 수 |
|---|---|---|---|
| 산문(prose) | 0.58 | 0.34 ~ 0.82 | 23 |
| 단어 쌍(paired associates) | 0.59 | 0.49 ~ 0.70 | 71 |
| 단일 단어(single words) | 0.39 | 0.24 ~ 0.53 | 58 |
| 기타(지도·멀티미디어 등) | 0.27 | 0.06 ~ 0.48 | 7 |
산문이 0.58로 단일 단어보다 오히려 큽니다. 문장으로 된 글, 즉 우리가 위키에 쓰는 종류의 자료에서도 효과가 나온다는 뜻입니다. 게다가 보존 간격이 하루 이상인 연구만 따로 모으면 산문은 0.76까지 올라갑니다. 제 해석으로는, 인출 연습을 "암기 과목용 기법"으로 분류해 온 것이 가장 흔한 오해입니다.
이건 실험실 연구라는 점은 짚어야 합니다
같은 논문에서 교실 연구는 의도적으로 제외했습니다. 참가자 행동을 통제할 수 없다는 이유로 13편을 걸러냈습니다. 참가자도 대학생 표본이 159개 중 136개입니다. 그래서 이 숫자를 "우리 팀에서도 0.5가 나온다"로 읽으면 안 됩니다. 방향과 조건은 믿을 만하고, 크기는 우리 환경에서 다시 재야 합니다. 저는 이것을 절대치가 아니라 설계 규칙을 뽑는 근거로만 씁니다.
2. 첫 번째 함정 — 피드백 없는 퀴즈는 어려우면 아무 일도 하지 않습니다
논문에는 정답률과 피드백을 한 축으로 묶은 조절변인이 있습니다. 이 표를 처음 봤을 때 제 온보딩 퀴즈가 어디 있는지 바로 찾았습니다.
| 조건 | 효과크기 g | 95% 신뢰구간 | 효과크기 수 |
|---|---|---|---|
| 피드백 없음 · 정답률 50% 이하 | 0.03 | −0.21 ~ 0.27 | 17 |
| 피드백 없음 · 정답률 51~75% | 0.29 | 0.09 ~ 0.49 | 31 |
| 피드백 없음 · 정답률 75% 초과 | 0.56 | 0.42 ~ 0.70 | 40 |
| 피드백 있음 (정답률 무관) | 0.73 | 0.61 ~ 0.86 | 52 |
첫 줄이 핵심입니다. g 0.03이고 신뢰구간이 0을 걸치며 유의하지 않습니다. 정답률이 절반을 넘지 못하는 문제를 풀리고 정답을 알려주지 않으면, 그 시간은 재읽기보다 나은 점이 없었습니다. 제 신입들은 20문항 중 8개와 9개를 맞혔습니다. 40퍼센트와 45퍼센트, 정확히 첫 줄입니다.
왜 아무 일도 일어나지 않는가
기억을 끌어내려는 시도 자체에 효과가 있다는 설명을 자주 봅니다. 저는 이 표를 보고 그 설명이 절반만 맞다고 봅니다. 끌어내기에 성공하면 그 항목이 강화되지만, 실패하면 강화할 대상이 없습니다. 재읽기 쪽은 그동안 자료를 한 번 더 봅니다. 실패한 인출은 노출 기회를 한 번 버리는 셈이고, 그래서 두 조건이 비슷해집니다.
피드백의 정의는 생각보다 느슨합니다
여기서 좋은 소식이 있습니다. 논문이 피드백으로 코딩한 기준은 "초기 시험 이후 원자료가 최소 한 번이라도 다시 제시되었는가"입니다. 해설을 쓰거나 채점자가 붙을 필요가 없습니다. 문제를 풀린 뒤 원문 문서를 다시 열어 보게 하는 것만으로도 이 조건에 들어갑니다. 제가 온보딩 퀴즈에서 뺐던 것은 정교한 피드백 시스템이 아니라 "이제 원문을 보십시오"라는 한 줄이었습니다.
3. 가장 비싼 함정 — 난이도 판단이 피드백 유무로 뒤집힙니다
위 표만 보면 "쉬운 문제를 내라"는 결론이 나옵니다. 실제로 피드백이 없는 세 줄은 0.03에서 0.29, 0.56으로 정답률과 함께 올라갑니다. 그런데 논문은 피드백을 준 연구만 따로 떼어 다시 계산했고, 거기서 순서가 반대가 됩니다.
| 정답률 구간 | 피드백 없음 | 피드백 있음 |
|---|---|---|
| 50% 이하 | 0.03 (유의하지 않음) | 0.99 |
| 51 ~ 75% | 0.29 | 0.68 |
| 75% 초과 | 0.56 | 0.40 |
같은 "어려운 문제"가 한쪽에서는 0.03이고 다른 쪽에서는 0.99입니다. 33배 차이입니다. 그리고 쉬운 문제는 피드백을 붙여도 0.40으로, 어려운 문제에 피드백을 붙인 경우의 절반이 되지 않습니다.
제 해석으로는 이렇습니다. 어려운 문제는 인출에 실패할 확률이 높고, 실패는 그 자체로는 값이 없습니다. 다만 실패한 직후에 정답을 보면 그 노출이 매우 잘 붙습니다. 무엇을 모르는지 방금 확인한 상태이기 때문입니다. 반대로 쉬운 문제는 이미 아는 것을 확인하는 데 그치므로 정답을 다시 봐도 얻을 것이 적습니다.
실무에서 이 뒤집힘이 뜻하는 것
난이도를 먼저 정하고 피드백을 나중에 붙이는 순서는 위험합니다. 피드백을 넣을 수 없는 상황이라면 문항을 쉽게 만들어야 하고, 피드백을 넣을 수 있다면 문항을 어렵게 만들어야 이득이 큽니다. 저는 이 두 조건을 섞어 쓰다가 실패했습니다. 어려운 문항(피드백 있는 설계용)에 피드백 없음(쉬운 문항용 설계)을 붙인 조합이었습니다.
한 가지 단서는 달아 두겠습니다. 이 뒤집힘 부분의 세 값에는 신뢰구간과 연구 수가 함께 보고되지 않았습니다. 저자도 제한된 데이터셋이라고 적었습니다. 방향은 신뢰하되 0.99라는 수치를 그대로 인용하는 것은 피하시는 편이 좋습니다.
정답을 곧바로 알려주지 않는 편이 나았습니다
피드백을 준 연구들 안에서 시점을 나눈 값도 있습니다. 지연 피드백이 g 1.38, 즉시 피드백이 g 0.66이었고 차이가 유의했습니다. 다만 지연 쪽은 효과크기가 6개뿐이라 확정적으로 읽을 수는 없습니다. 그래도 실무 설계에는 편한 방향입니다. 문제를 풀린 직후에 정답을 붙여 놓을 필요가 없다는 뜻이니, 퀴즈 도구를 따로 만들지 않고 다음 회의에서 답을 맞추는 방식도 됩니다.
4. 언제 인출 연습을 고르고 언제 재읽기를 고르나
여기까지의 조절변인을 실제 판단 순서로 정리하면 이렇게 됩니다.
| 조건 | 인출 연습 | 재읽기 | 근거 |
|---|---|---|---|
| 하루 안에 쓰고 버릴 지식 | 이득 작음 (g 0.41) | 대안으로 충분 | 보존 간격 1일 미만 |
| 며칠 뒤에도 기억해야 하는 지식 | 권장 (g 0.69) | 열세 | 보존 간격 1일 이상 |
| 정답 재노출을 넣을 수 없는 상황 | 쉬운 문항만 (g 0.56) | 비슷하거나 나음 | 피드백 없음 구간 |
| 정답 재노출을 넣을 수 있는 상황 | 어려운 문항 | 열세 | 피드백 있음 구간 |
| 객관식으로만 물을 수 있는 경우 | 이득 작음 (g 0.29) | 격차 좁음 | 재인 형식 |
| 빈칸·서술로 물을 수 있는 경우 | 권장 (g 0.61) | 열세 | 단서 회상 형식 |
보존 간격이 하루를 넘는가
가장 먼저 볼 조건입니다. 연습 후 최종 확인까지 하루가 지나지 않은 연구는 g 0.41이고, 하루 이상인 연구는 g 0.69입니다. 로그 보존 간격으로 회귀를 돌린 계수도 유의했고, 이 논문에서 유의한 연속 조절변인은 보존 간격 하나뿐이었습니다. 다음 주 릴리스에서만 쓸 절차라면 재읽기로 충분합니다. 분기에 한 번 도는 규정이라면 인출 연습 쪽입니다.
객관식은 생각보다 약합니다
문제 형식에 따른 값도 갈립니다. 빈칸이나 단서를 주고 답을 쓰게 하는 방식이 0.61, 자유 회상이 0.29, 객관식을 포함한 재인 방식이 0.29였습니다. 다만 자유 회상 쪽 값에는 저자가 직접 단서를 달아 두었습니다. 자유 회상 연구들이 피드백을 덜 썼기 때문에 낮게 나왔을 수 있고, 피드백과 정답률을 맞춘 하위 데이터셋에서는 자유 회상이 0.81로 단서 회상 0.72보다 오히려 높았습니다. 그래서 저는 말로 답하게 하는 방식을 약한 쪽으로 보지 않습니다. 실제로 약한 것은 객관식입니다. 도구를 붙이기 쉬운 쪽이 객관식이라 유혹이 큰데, 그 형식에서는 재읽기와의 격차가 좁습니다. 저는 이 값을 보고 온보딩 퀴즈를 구글 폼 객관식에서 문서 상단의 빈칸 문항으로 바꿨습니다.
형식을 실전과 맞출 필요는 없었습니다
자동화 쪽 습관 때문에 저는 "연습은 실전과 같은 형태로"를 당연하게 여겼습니다. 이 논문에서는 연습 시험과 최종 시험의 형식을 맞춘 경우가 g 0.46, 다르게 한 경우가 g 0.58이었고 차이는 유의하지 않았습니다. 추세조차 없었습니다. 그러니 문항 형식을 실제 업무 상황과 똑같이 만드느라 시간을 쓸 이유가 없습니다.
문항 수를 늘려도 늘지 않았습니다
연습 시험 횟수를 연속변인으로 넣은 회귀에서 계수는 0.01, 신뢰구간은 −0.056에서 0.076으로 0을 포함합니다. 한 번 물은 것과 다섯 번 물은 것의 차이가 확인되지 않았습니다. 제 온보딩 퀴즈 20문항은 그 자체로 과설계였습니다. 문항 수를 줄이고 정답 재노출 단계를 넣는 편이 같은 시간에 더 남습니다.
도입 관점에서 세 가지 방식을 비교하면
| 방식 | 도입 난이도 | 유지보수 비용 | 팀 학습곡선 |
|---|---|---|---|
| 온보딩 빈칸 문항 6개 + 원문 링크 | 낮음 (문서 한 장) | 낮음 (분기 1회 문항 교체) | 낮음 |
| 회고 시작 5분 구두 인출 | 매우 낮음 (진행자 한 줄) | 없음 | 낮음 |
| 퀴즈 도구 도입 + 자동 채점 | 높음 (계정·연동) | 높음 (문항 DB 관리) | 중간 |
세 번째는 권하지 않습니다. 문항 수가 효과에 기여하지 않는데 도구는 문항을 늘리는 방향으로 팀을 밀어붙입니다. 우리 규모에서는 첫째와 둘째로 충분했습니다.
5. 팀에 붙일 때 제가 쓰는 설계
앞의 조건을 그대로 코드로 옮기면 판정이 간단해집니다.
# Rowland(2014) Table 1의 '검색 가능성 × 재노출' 조절변인 수준을 그대로 옮긴 판정기입니다.
# 정답률은 연습 시험에서 실제로 맞힌 비율, 재노출은 정답이나 원문을 다시 보여주는가입니다.
def 예상_이득(정답률, 재노출):
if 재노출:
# 피드백이 있으면 어려울수록 유리해집니다 (0.99 / 0.68 / 0.40, 신뢰구간 미보고)
if 정답률 <= 0.50:
return 0.99, "어려운 문항 + 재노출 — 가장 유리한 칸"
if 정답률 <= 0.75:
return 0.68, "적정"
return 0.40, "너무 쉬움 — 문항을 어렵게 바꾸십시오"
# 피드백이 없으면 방향이 반대입니다
if 정답률 <= 0.50:
return 0.03, "효과 확인되지 않음 — 재노출을 넣거나 문항을 쉽게 바꾸십시오"
if 정답률 <= 0.75:
return 0.29, "약함"
return 0.56, "허용"
# 제 온보딩 퀴즈의 실제 조건: 20문항 중 8개 정답, 정답 비공개
print(예상_이득(8 / 20, False)) # (0.03, '효과 확인되지 않음 ...')
온보딩
문항을 6개로 줄였습니다. 전부 빈칸이나 한 줄 서술이고, 우리 파이프라인에서 실제로 났던 실패를 씁니다. 제출 직후에 정답을 주지 않고, 문항마다 원문 문서의 앵커 링크만 붙여 둡니다. 정답 확인은 다음 날 30분 세션에서 함께 합니다. 지연 피드백 쪽 값이 더 컸기 때문이고, 무엇보다 제가 해설을 쓸 필요가 없어서 유지가 됩니다.
회고
회고 첫 5분에 지난 스프린트에서 고친 결함 중 하나를 골라 원인을 말해 보게 합니다. 문서를 열지 않고 말합니다. 막히면 그 자리에서 티켓을 띄워 함께 읽습니다. 이 절차의 핵심은 티켓을 띄우는 부분입니다. 그것이 재노출이고, 그게 없으면 g 0.03 칸으로 떨어집니다.
회고 인출 5분 — 진행자 스크립트
1. 지난 스프린트 결함 티켓 3개를 미리 골라 둔다 (정답률 50% 안팎을 노린다)
2. 문서를 열지 않은 상태로 원인과 수정 범위를 말하게 한다
3. 두 명 이상이 막히면 즉시 티켓 원문을 화면에 띄운다 ← 이 줄이 재노출이다
4. 맞힌 항목은 넘어간다. 다시 설명하지 않는다
5. 다음 회고에서 같은 티켓을 다시 묻지 않는다 (횟수는 효과에 기여하지 않았다)
문서 리뷰
위키 문서를 갱신할 때, 담당자에게 문서를 열기 전에 목차만 보고 각 절의 요지를 적게 합니다. 그다음 문서를 열어 자기가 적은 것과 비교합니다. 오래된 문서에서 이 방법으로 "실제로는 아무도 이 절차를 지키지 않는다"는 사실이 여러 번 드러났습니다. 재읽기만 했을 때는 그냥 넘어가던 부분입니다.
6. 권할 만한 경우 / 권하지 않는 경우
권할 만한 경우입니다. 며칠 이상 기억해야 하는 지식이고, 정답이나 원문을 다시 보여줄 절차를 넣을 수 있고, 빈칸이나 서술로 물을 수 있을 때입니다. 온보딩, 분기 단위 규정, 장애 대응 절차가 여기 들어갑니다. 이때는 문항을 일부러 어렵게 잡으시는 편이 낫습니다.
권하지 않는 경우입니다. 첫째, 정답 재노출을 넣을 수 없는 구조라면 어려운 문항은 쓰지 마십시오. 재읽기와 구별되지 않습니다. 둘째, 당일에 쓰고 버릴 절차라면 이득이 작습니다. 셋째, 객관식으로만 물을 수 있는 환경이라면 격차가 좁으니 도구를 새로 도입할 근거가 되지 못합니다. 넷째, 평가에 연동하지 마십시오. 이 값들은 모두 학습 상황에서 나온 것이고, 점수가 기록되는 순간 사람들은 어려운 문항을 회피합니다. 그러면 0.99 칸이 0.40 칸으로 내려갑니다.
마지막으로 붙일 것은 한 장짜리 점검표입니다. 저는 퀴즈나 인출 세션을 만들 때 이 다섯 줄만 확인합니다.
인출 연습 설계 점검 5줄
[ ] 1. 이 지식을 며칠 뒤에도 써야 하는가 → 아니면 재읽기로 충분
[ ] 2. 정답이나 원문을 다시 보여주는 단계가 있는가 → 없으면 문항을 쉽게
[ ] 3. 문항이 빈칸·서술인가 → 객관식이면 이득 작음
[ ] 4. 문항 수가 10개 이하인가 → 횟수는 효과에 기여하지 않음
[ ] 5. 점수가 평가에 기록되지 않는가 → 기록되면 난이도 회피가 생김
2번이 예이면 문항을 어렵게, 아니면 쉽게 잡는다. 이 한 줄이 순서를 결정한다.
AI를 끼고 공부할 때 검증에 시간을 얼마나 쓸지는 AI 학습법 글에서 따로 다뤘습니다.
댓글
댓글 쓰기