피드백하는 방법, 오히려 성과가 떨어지는 경우는?
3줄 요약
- 피드백은 평균적으로 효과가 있지만(가중 d 0.41), 효과크기 607개 중 38% 이상이 음수였고 표집오차를 제거해도 33.1%가 여전히 음수로 남습니다.
- 음수를 가르는 변수는 횟수가 아니라 정보량입니다. 칭찬·질책은 d 0.24(CI 0.06~0.43), 개선 방향을 담은 고정보 피드백은 d 0.99(CI 0.82~1.15)로 신뢰구간이 겹치지 않습니다.
- 다음 1:1 전에 준비 메모에서 사람을 가리키는 문장을 지우고 과제 구성요소를 가리키는 문장으로 바꾸시면 됩니다. 6명 기준 인당 15분, 연 18시간이 추가로 듭니다.
지난달까지 저는 부정적인 말을 줄이면 피드백이 안전해진다고 믿었습니다. 1:1 준비 메모에 좋은 점을 먼저 적고, 고칠 점을 가운데 넣고, 기대를 마지막에 붙이는 식이었습니다. 그런데 부정 피드백의 동기 효과를 정리한 메타분석을 원문으로 열어 보니 제가 믿던 전제가 자료에 없었습니다. 부정 피드백과 피드백 없음을 비교한 45개 효과크기에서 내재동기 차이는 통계적으로 확인되지 않았습니다. 차이가 크게 벌어진 쪽은 부정 피드백과 긍정 피드백을 비교한 100개 효과크기였습니다.
읽는 방향이 뒤집혔습니다. 부정적인 말 자체가 동기를 깎는 것이 아니라, 옆자리에 긍정 피드백이 놓일 때 그 대비가 깎는다는 뜻이 됩니다. 그렇다면 좋은 말을 앞뒤로 덧대는 제 방식은 안전장치가 아니라 대비를 키우는 장치였을 가능성이 있습니다. 여기서부터는 감으로 판단할 수 없어서, 1996년 원전부터 2020년 메타분석까지 네 편의 수치를 직접 꺼내 우리 팀 6명 규모로 환산해 봤습니다.
1. 607개 중 38%가 음수였고, 이것은 잡음이 아닙니다
피드백 연구의 기준점은 Kluger와 DeNisi가 1996년 Psychological Bulletin 119권 2호 254~284쪽에 실은 메타분석입니다(doi 10.1037/0033-2909.119.2.254, Crossref 등록 게재 시점 1996년 3월). 이 논문이 유명한 이유는 평균 효과가 커서가 아니라, 평균 아래에 무엇이 깔려 있는지를 보여줬기 때문입니다.
원문이 보고한 값
검토 대상 중 포함 기준을 통과한 것은 131편(5%)뿐이었습니다. 여기서 효과크기 607개를 뽑았고, 참가자는 12,652명, 관찰치는 23,663건이었습니다. 효과크기 하나가 평균 39명을 대표하는 셈입니다.
| 항목 | 값 | 비고 |
|---|---|---|
| 포함 논문 | 131편 | 검토 대상의 5% |
| 효과크기 | 607개 | 효과크기당 평균 39명 |
| 참가자 / 관찰치 | 12,652명 / 23,663건 | 1인 다회 관찰 포함 |
| 가중 평균 효과 | d = 0.41 | 표본크기 가중 |
| 가중 분산 | 0.97 | 표집오차 분산은 0.09 |
| 음수 효과 비율 | 38% 초과 | 초록 표현은 "3분의 1 이상" |
| 신뢰구간 | 보고 없음 | 분산만 제시 |
포함률 5%를 먼저 짚어 둡니다. 탈락 사유 중 통제 집단이 없는 연구가 37%, 피드백 말고 다른 처치가 섞인 연구가 16%였습니다. 저자들은 포함된 연구가 실증 피드백 문헌 전체의 10~15% 정도일 것으로 추정합니다. 남은 것이 설계가 깐깐한 쪽이라는 뜻이니, 아래 음수 비율은 허술한 연구가 끌어내린 값이 아닙니다. 오히려 통제 집단을 제대로 둔 연구들에서 나온 값입니다.
저자들은 민감도 점검도 함께 실었습니다. 607개 중 91개가 한 연구자(Mikulincer)의 연구에서 나왔는데, 그 묶음만 d가 −0.39였습니다. 이를 빼면 전체 d는 0.47로 올라가지만 음수 비율은 33%로 남습니다. 시계열 설계 17개를 빼면 d 0.40에 관측 분산이 1.28로 오히려 커집니다. 어느 쪽으로 잘라도 3분의 1 언저리는 움직이지 않습니다.
정규근사로 다시 세어 본 것
보고된 평균과 분산만으로 음수 비율을 되짚을 수 있는지 확인해 봤습니다. 효과크기 분포를 정규분포로 가정하고 0보다 작을 확률을 구하는 계산입니다.
# 효과크기 분포를 정규분포로 가정하고 음수 비율을 역산합니다
from math import erf, sqrt
def Phi(z): # 표준정규 누적분포
return 0.5 * (1 + erf(z / sqrt(2)))
cases = [
("전체 607개", 0.41, 0.97, 0.38), # (평균, 분산, 원문 보고 음수비율)
("Mikulincer 제외", 0.47, 0.92, 0.33),
("시계열 17개 제외", 0.40, 1.28, None),
]
for name, d, var, reported in cases:
p = Phi(-d / sqrt(var))
print(f"{name:18s} SD={sqrt(var):.3f} 추정 {p*100:4.1f}% 보고 {reported}")
| 조건 | 평균 d | 분산 | 표준편차 | 정규근사 추정 | 원문 보고 |
|---|---|---|---|---|---|
| 전체 607개 | 0.41 | 0.97 | 0.985 | 33.9% | 38% 초과 |
| Mikulincer 91개 제외 | 0.47 | 0.92 | 0.959 | 31.2% | 33% |
| 시계열 17개 제외 | 0.40 | 1.28 | 1.131 | 36.2% | 미보고 |
두 번째 줄은 1.8%p 차이로 거의 맞지만 첫 줄은 4.1%p 모자랍니다. 실제 분포가 정규분포보다 음수 쪽 꼬리가 두껍다는 뜻입니다. 그러니 "3분의 1"이라는 어림수는 낙관적인 쪽이고, 실제로는 그보다 조금 더 자주 역효과가 났다고 읽는 편이 안전합니다.
측정 잡음으로 밀어낼 수 있는가
여기서 한 가지가 걸렸습니다. 표본이 작은 연구가 섞이면 효과크기가 넓게 흩어지고, 그 결과로 음수가 많아 보일 수 있습니다. 원문이 표집오차 분산을 0.09로 보고해 두었으니 이것을 빼고 다시 계산할 수 있습니다.
# 관측 분산에서 표집오차 분산을 제거한 '참 효과' 분산으로 다시 계산합니다
d, var_obs, var_se = 0.41, 0.97, 0.09
var_true = var_obs - var_se # 0.88
print(f"참 분산 {var_true:.2f}, 표준편차 {sqrt(var_true):.3f}")
print(f"표집오차가 설명하는 몫 {var_se/var_obs*100:.1f}%")
print(f"참 효과가 음수일 확률 {Phi(-d/sqrt(var_true))*100:.1f}%")
표집오차가 설명하는 몫은 전체 분산의 9.3%에 그칩니다. 나머지 90.7%는 연구마다 진짜로 다른 무언가입니다. 잡음을 걷어낸 뒤에도 음수 확률은 33.1%로, 걷어내기 전 33.9%와 0.8%p밖에 차이가 나지 않습니다.
저는 이 한 줄이 이 글에서 가장 중요한 수치라고 봅니다. 역효과가 측정의 부산물이었다면 표집오차를 제거했을 때 크게 줄어야 하는데 거의 그대로 남았습니다. 피드백이 성과를 낮추는 조건이 실제로 존재하고, 그 조건이 연구마다 달랐다는 뜻입니다. 남은 일은 그 조건이 무엇인지 찾는 것입니다.
2. 24년 뒤 교육 자료도 같은 자리에 섰습니다
1996년 자료 하나로 팀 운영을 바꾸기에는 시간이 너무 흘렀습니다. 그래서 최근 메타분석을 찾아봤습니다. Wisniewski, Zierer, Hattie가 Frontiers in Psychology 10권 3087번으로 2020년 1월 22일 공개한 교육 피드백 메타분석이 규모가 가장 큽니다(doi 10.3389/fpsyg.2019.03087).
전체 효과와 흩어짐
435편에서 효과크기 994개를 모았고 표본은 6만 1천 명이 넘습니다. 극단치를 포함한 전체 효과는 d 0.55(95% CI 0.48~0.62), 극단치 35개(3.5%)를 뺀 값은 d 0.48(CI 0.44~0.51)입니다. I²는 각각 86.47%와 83.40%로, 연구 간 차이가 크다는 신호가 24년 뒤에도 그대로입니다. 음수 효과 비율은 17%로 1996년보다 줄었지만 사라지지는 않았습니다.
피드백을 세 종류로 갈랐을 때
이 논문이 앞선 자료와 다른 점은 피드백을 정보량으로 나눠 본 것입니다. 혼합효과 모형의 집단 간 검정은 QB(2) = 41.52, p < 0.0001이었습니다.
| 피드백 유형 | 효과크기 수 | d | 95% CI |
|---|---|---|---|
| 강화 또는 처벌(칭찬·질책·보상) | 39 | 0.24 | 0.06 ~ 0.43 |
| 교정적 피드백(무엇이 틀렸는지) | 238 | 0.46 | 0.39 ~ 0.55 |
| 고정보 피드백(어떻게 고치는지) | 42 | 0.99 | 0.82 ~ 1.15 |
위와 아래의 신뢰구간이 겹치지 않고 0.43과 0.82 사이에 0.39만큼 빈 공간이 있습니다. 같은 사람이 같은 시간을 써서 같은 횟수로 말해도, 말의 내용이 어디를 가리키느냐에 따라 효과가 네 배 넘게 벌어진다는 뜻입니다.
세 줄의 경계를 실무 언어로 옮기면 이렇습니다. 잘했다거나 부족하다는 판정만 전달하면 첫 줄입니다. 어느 케이스의 어느 부분이 기준과 다른지를 짚으면 둘째 줄입니다. 그 부분을 무엇으로 바꾸면 되는지까지 말하면 셋째 줄입니다. 리뷰 코멘트든 1:1이든 회고든 이 세 단계 중 어디에 서 있는지는 문장 하나만 읽어도 판정됩니다. 그리고 대부분의 바쁜 날에 제가 쓰던 문장은 첫 줄이었습니다.
같은 표에서 눈에 띄는 칸이 하나 더 있습니다. 동료가 동료에게 준 피드백은 효과크기 16개에서 d 0.85(CI 0.59~1.11)로, 교사에서 학생으로 간 812개의 0.47보다 높았습니다. 표본이 적어 값을 단정할 수는 없지만, 리드가 모든 피드백을 혼자 지고 갈 이유는 없다는 방향은 읽힙니다.
동기 관련 효과크기만 따로 보면 21%가 음수였고, 그 음수를 만든 개입의 86%가 정보량이 낮은 피드백이었습니다. 즉 동기 효과 전체에서 18.1%가 "칭찬이나 질책이 만든 음수"이고, 정보를 담은 피드백이 만든 음수는 2.9%에 그칩니다. 6.1배 차이입니다.
6명 팀 인원으로 환산하면
효과크기 d는 그대로 보면 실감이 나지 않아서 Cohen의 U3로 바꿔 봤습니다. U3는 개입 집단의 평균이 통제 집단 분포에서 몇 번째 백분위에 놓이는지를 알려줍니다.
# 효과크기 d를 U3(백분위)로 바꾸고 6명 팀 인원으로 환산합니다
N = 6
for name, d in [("칭찬·질책", 0.24), ("교정적", 0.46), ("고정보", 0.99)]:
u3 = Phi(d) # 통제집단 중앙값을 넘어서는 비율
cles = Phi(d / sqrt(2)) # 무작위 두 사람 비교 시 우월 확률
print(f"{name:6s} U3 {u3*100:.1f}% 우월확률 {cles*100:.1f}% 6명 중 {u3*N:.2f}명")
| 피드백 유형 | U3 | 우월 확률 | 6명 환산 |
|---|---|---|---|
| 칭찬·질책 | 59.5% | 56.7% | 3.57명 |
| 교정적 | 67.7% | 62.8% | 4.06명 |
| 고정보 | 83.9% | 75.8% | 5.03명 |
칭찬과 질책만 주고받는 팀과 고치는 방법까지 말해 주는 팀의 차이는 6명 중 1.46명입니다. QA 5~6명 팀에서 한 명 반이면 작지 않습니다. 다만 이 환산은 효과크기가 그대로 우리 팀에 옮겨 온다는 가정 위에 있고, 원 자료는 교육 장면입니다. 방향을 보는 데 쓰고 값 자체를 약속으로 삼지는 않았습니다.
3. 부정 피드백에 대한 통념이 자료와 어긋납니다
도입에서 적은 대로 제가 틀렸던 부분입니다. Fong, Patall, Vasquez, Stautberg가 Educational Psychology Review 31권 1호 121~162쪽에 실은 메타분석(doi 10.1007/s10648-018-9446-6, 2018년 8월 15일 온라인 공개)은 78편에서 효과크기 431개, 표본 102개를 모았습니다.
무엇과 비교하느냐가 부호를 바꿉니다
| 비교 대상 | 종속변인 | 효과크기 수 | g (고정효과) | 95% CI |
|---|---|---|---|---|
| 부정 vs 중립·무피드백 | 내재동기 | 45 | 0.07 (유의하지 않음) | −0.01 ~ 0.14 |
| 부정 vs 긍정 | 내재동기 | 100 | −0.37 | −0.42 ~ −0.32 |
| 부정 vs 중립·무피드백 | 유능감 지각 | 8 | −0.48 | −0.66 ~ −0.31 |
| 부정 vs 긍정 | 유능감 지각 | 36 | −0.90 | −0.98 ~ −0.81 |
내재동기 쪽을 보십시오. 아무 말도 하지 않는 것과 비교하면 부정 피드백의 효과는 확인되지 않습니다. 긍정 피드백과 비교하면 −0.37로 분명해집니다. 유능감 지각은 더 벌어져서 −0.90이고, 랜덤효과 모형에서는 −1.00까지 갑니다. U3로 바꾸면 18.4%이니, 6명 중 1.10명만이 긍정 피드백을 받은 사람들의 중앙값을 넘어선다는 뜻입니다.
좋은 말로 감싸는 방식에 대하여
여기서부터는 확인된 근거가 없고 제 추론입니다. 위 자료는 "부정 피드백과 긍정 피드백을 받은 서로 다른 사람"을 비교한 것이지, "한 사람에게 좋은 말과 나쁜 말을 순서대로 준 경우"를 검증한 것이 아닙니다. 다만 대비가 클수록 유능감이 낮아진다는 방향이 맞다면, 한 대화 안에서 대비를 만들어 주는 구성은 최소한 안전하지 않습니다. 저는 이 근거만으로 방식을 버리지는 않되, 좋은 말을 완충재로 쓰는 습관은 멈추기로 했습니다. 칭찬이 필요하면 별도의 자리에서 하고, 개선 대화에서는 개선만 다루는 쪽으로 옮깁니다.
완화 조건 세 가지
같은 논문이 조절변인으로 세 가지를 짚습니다. 부정 피드백의 탈동기 효과는 개선 방법에 대한 구체적 지시가 함께 있을 때, 남과 비교하는 규준이 아니라 준거 기준으로 줄 때, 그리고 대면으로 전달될 때 약해집니다.
두 번째 항목은 1996년 원전과도 맞물립니다. Kluger와 DeNisi는 피드백이 주의를 과제에서 자기 쪽으로 끌어올릴수록 효과가 떨어진다고 봤고, 그 주의 전환을 일으키는 대표적 단서로 남과 비교하는 규준적 피드백을 지목했습니다. 두 논문이 24년 간격으로 같은 항목을 가리키고 있습니다. 덧붙여 원전은 두드러진 긍정 피드백도 주의를 자기로 돌린다고 명시합니다. 칭찬이면 안전하다는 가정은 원문에 없습니다.
4. 조직 현장 자료는 전달 방식을 지목합니다
교육 장면 자료만으로 팀 운영을 정하기는 어렵습니다. Sleiman과 동료들이 Journal of Organizational Behavior Management 40권 3-4호 303~332쪽에 실은 성과 피드백 정량 리뷰(doi 10.1080/01608061.2020.1823300, 2020년 10월 13일 온라인 공개)는 1998년부터 2018년까지 71편에서 적용 사례 96건을 모았습니다. 단일사례 설계가 많아 효과크기 지표가 Tau-U이고, 앞의 d와 직접 비교할 수 없다는 점은 미리 적어 둡니다.
분포는 좁았습니다
전체 평균 Tau-U는 0.78이고, 96건 중 0.8을 넘는 사례가 59건(61.46%)이었습니다. 0.2 미만은 7건(7.29%)이고 그중 음수는 3건(3.12%)에 그칩니다. 앞의 38%나 17%와 비교하면 눈에 띄게 낮습니다. 설계가 다르고 발표되는 사례가 성공 쪽으로 기울었을 가능성이 있으니, 이 수치는 "현장에서는 안전하다"가 아니라 "설계가 다르면 숫자가 다르게 나온다"로 읽었습니다.
전달 매체가 갈랐습니다
| 전달 방식 | 사례 수 | Tau-U |
|---|---|---|
| 그래프·표 단독 | 19 | 0.66 |
| 서면 단독 | 13 | 0.77 |
| 구두 단독 | 19 | 0.82 |
| 그래프·표 + 구두 | 22 | 0.82 |
| 그래프·표 + 구두 + 서면 | 3 | 1.07 |
가장 낮은 칸이 그래프만 띄워 두는 방식입니다. 대시보드를 걸어 두고 숫자가 알아서 말하게 하는 방식이 여기에 해당합니다. 가장 높은 칸과 1.62배 차이인데, 다만 그 칸은 사례가 3건뿐이라 값을 그대로 믿기는 어렵습니다. 제가 받아들인 것은 순위가 아니라 방향입니다. 자동화된 지표 화면은 피드백의 전달 수단으로는 하한에 가깝습니다.
차이가 없던 항목도 기록해 둡니다
공개 피드백 0.78과 비공개 0.78은 같았고, 개인 0.80과 그룹 0.75는 거의 붙어 있습니다. 구성 쪽에서는 피드백 단독 0.81보다 선행 자극과 행동 결과를 함께 둔 0.91이 높았고, 목표 설정을 붙인 경우가 0.89였습니다. 전달자는 상사 0.85, 자기 생성 0.90이었습니다.
제가 팀 규칙을 만들 때 오래 고민했던 "공개냐 비공개냐"가 이 자료에서는 구분되지 않았습니다. 대신 붙는 것이 무엇이냐가 갈랐습니다.
5. 우리 팀 1:1에 넣을 때 얼마가 드는가
여기서부터는 전부 제 가정값입니다. 1차 소스에 없는 숫자이므로 조건을 밝히고 씁니다. 팀원 6명, 1:1은 월 1회입니다. 주기 값은 앞서 1:1 주기를 다시 계산했던 글에서 정한 것을 그대로 씁니다.
준비 시간 가정
# 1:1 준비 공수 손익 — 인당 준비 분과 U3 환산 인원을 같이 봅니다 (전부 가정값)
N, PER_MONTH = 6, 1
plans = [("저정보(총평·칭찬·질책)", 5, 0.24),
("교정적(무엇이 틀렸는지)", 12, 0.46),
("고정보(어떻게 고치는지)", 20, 0.99)]
base_min, base_u3 = 5, Phi(0.24)
for name, minutes, d in plans:
year_h = N * PER_MONTH * minutes * 12 / 60
people = Phi(d) * N
extra_h = year_h - N * PER_MONTH * base_min * 12 / 60
extra_p = people - base_u3 * N
tail = f" 추가 {extra_h:4.1f}h · +{extra_p:.2f}명" if extra_p > 0 else ""
print(f"{name:22s} 인당 {minutes:2d}분 · 연 {year_h:4.1f}h · {people:.2f}명{tail}")
| 준비 수준 | 인당 준비 | 연 공수 | U3 환산 인원 | 저정보 대비 추가 공수 | 추가 1명당 공수 |
|---|---|---|---|---|---|
| 저정보(총평·칭찬·질책) | 5분 | 6.0시간 | 3.57명 | — | — |
| 교정적(무엇이 틀렸는지) | 12분 | 14.4시간 | 4.06명 | 8.4시간 | 17.0시간 |
| 고정보(어떻게 고치는지) | 20분 | 24.0시간 | 5.03명 | 18.0시간 | 12.3시간 |
이 표가 이 글의 판단 표입니다. 마지막 열은 저정보를 기준으로 잡은 값이라 고정보가 12.3시간으로 더 싸 보이는데, 실제로 결정해야 하는 것은 한 단계씩 올릴 때의 값입니다. 그래서 구간별로 다시 나눠 봤습니다. 저정보에서 교정적으로 올리는 구간은 추가 8.4시간에 0.49명이라 1명당 17.0시간입니다. 교정적에서 고정보로 올리는 구간은 추가 9.6시간에 0.97명이라 1명당 9.9시간으로 내려갑니다.
순서가 뒤집힌 지점이 여기입니다. 비싼 쪽은 두 번째 계단이 아니라 첫 번째 계단입니다. 무엇이 틀렸는지까지만 말하고 멈추면 가장 비싼 구간의 값을 치르고 가장 싼 구간의 이득을 포기하는 셈이 됩니다. 준비 시간을 12분까지 늘릴 여력이 있다면 8분을 더 써서 20분까지 가는 편이 계산상 낫습니다. 반대로 12분도 어렵다면 어중간하게 올리지 말고 5분짜리를 유지하면서 항목 수를 줄이는 쪽이 낫습니다.
고정보까지 올렸을 때 총 공수는 연 24.0시간입니다. 리드 연간 1,800시간 기준으로 1.33%입니다. 이 정도면 다른 것을 줄이지 않고도 넣을 수 있는 크기라고 봤습니다.
어디까지 올리고 어디서 멈추는가
전부를 고정보로 올릴 필요는 없습니다. 제가 정한 기준은 이렇습니다. 같은 지적이 두 번째 반복되면 그 항목만 고정보로 승격합니다. 한 번 짚고 끝난 항목은 교정적 수준에서 멈춥니다. 처음 지적하는 항목을 곧바로 고정보로 만들면 준비 시간이 20분을 넘어가고, 그러면 1:1 전날 밤에 준비가 밀려 결국 저정보로 되돌아갑니다.
코드 리뷰 쪽은 정황만 있습니다
코드 리뷰 피드백에 대해서는 통합 효과크기를 낸 메타분석이 없습니다. 개별 연구뿐입니다. Google이 개발자 1,317명을 조사한 2020년 ICSE 논문(doi 10.1145/3377811.3380414)을 보면, 일반적인 리뷰에서 반발감을 하나라도 보고한 비율은 11%(±3%)입니다. 그런데 리뷰 라운드 수와 소요 시간이 모두 긴 리뷰로 좁히면 49%로 뜁니다. 그 안에서 좌절감 27%, 대인 갈등 22%, 향후 비슷한 변경을 제출하기 꺼려짐 8%였습니다.
이 수치는 상관이지 인과가 아닙니다. 그래도 방향은 앞의 자료들과 어긋나지 않습니다. 라운드가 길어진다는 것은 한 번에 무엇을 어떻게 고칠지가 전달되지 않았다는 뜻이고, 그것은 정보량 문제입니다. 지난달 리뷰 코멘트에 심각도 라벨을 붙였던 기록에서는 코멘트의 구조를 다뤘는데, 이번 자료는 그 구조 안에 무엇을 채우느냐를 가리킵니다.
6. 다음 1:1 전에 확인할 것
정리하면 바꿀 것은 횟수가 아니라 문장입니다. 피드백을 줄이는 방향으로 가면 부정 vs 무피드백 비교가 보여 주듯 아무것도 달라지지 않고, 좋은 말로 감싸는 방향으로 가면 대비만 커질 수 있습니다. 남는 길은 같은 횟수에 정보를 더 담는 것입니다.
준비 메모를 열었을 때 아래 다섯 줄을 훑습니다. 저는 이것을 1:1 템플릿 맨 위에 주석으로 박아 뒀습니다.
□ 사람을 가리키는 문장이 남아 있는가
"꼼꼼하지 않다" → "테스트 케이스 3건에서 경계값이 빠져 있다"
□ 남과 비교하는 표현이 있는가
"다른 팀원은 이미" → "우리 기준은 PR당 파일 10개 이하"
□ 어떻게 고치는지가 문장에 들어 있는가
없으면 교정적 수준에서 멈춘 것 (추가 1명당 17.0시간 구간)
□ 좋은 말을 완충재로 붙이지 않았는가
칭찬은 별도 자리로 옮긴다
□ 화면·대시보드로 대신하려 하지 않았는가
그래프 단독 Tau-U 0.66은 하한에 가깝다
두 번째 항목은 기계로도 거를 수 있습니다. 준비 메모를 파일로 쓰신다면 아래를 커밋 훅이나 편집기 저장 훅에 걸어 두시면 됩니다.
#!/usr/bin/env bash
# 1:1 준비 메모에서 규준 비교·인물 지칭 표현을 찾아 경고합니다
NOTE="${1:?사용법: check-1on1.sh <메모파일>}"
PATTERNS='다른 팀원|남들은|비해서|~보다 못|태도가|성격이|꼼꼼하지|적극성이'
if grep -nE "$PATTERNS" "$NOTE"; then
echo "→ 위 줄은 주의를 과제가 아니라 사람으로 돌립니다. 과제 구성요소로 바꾸십시오."
exit 1
fi
# 개선 방법이 들어 있는지 최소 확인 (고정보 수준 판정)
grep -qE '고치|바꾸|대신|다음에는|기준은' "$NOTE" \
|| echo "→ 개선 방법을 가리키는 표현이 없습니다. 교정적 수준에서 멈춘 메모입니다."
마지막으로 이 글의 한계를 적어 둡니다. 인용한 메타분석 네 편 중 세 편은 교육 또는 실험실 장면이고, 조직 장면 자료 한 편은 지표가 Tau-U라 나머지와 직접 비교할 수 없습니다. 6명 환산과 공수 계산은 전부 제 가정값이며, 효과크기가 소프트웨어 QA 팀에 그대로 옮겨 온다는 근거는 확인된 바 없습니다. 그럼에도 세 편이 서로 다른 장면에서 같은 항목(정보량, 규준 비교, 자기로 향하는 주의)을 가리킨 것은 우연으로 보기 어렵다고 판단했습니다.
댓글
댓글 쓰기