Goodhart Law: When Metrics Become Targets They Cease to Be Good Metrics

학교에서 “독서량”을 평가에 넣자 학생들은 짧은 책만 골랐다. “수행평가 제출률”을 높이자 학생들은 대충 작성해서 냈다. 이것이 굿하트의 법칙이다 [1].

굿하트의 법칙이란

영국 경제학자 Charles Goodhart(1975)가 처음 제안: “지표가 목표가 되면, 더 이상 좋은 지표가 아니다.” [1] Marilyn Strathern이 이를 더 간결하게 표현했다: “측정이 목표가 되면 측정은 무용해진다.”

교육에서의 굿하트 법칙

시험 성적

시험 성적을 학교 평가의 핵심 지표로 삼자, 교사들은 시험에 나오는 것만 가르치고(teach to the test), 학생들은 깊은 이해 없이 정답만 외운다 [2].

출석률

출석률을 높이라는 지시에 교사들은 출석 체크를 느슨하게 한다.

논문 피인용 수

학자들의 성과를 피인용 수로 측정하자, 상호 인용, 자기 인용, 살라미 슬라이싱이 만연해졌다 [3].

대응 전략

  • 복수 지표 사용 — 하나의 지표에 의존하지 마라
  • 과정 지표 + 결과 지표 — 결과뿐 아니라 과정도 측정
  • 정기적 지표 교체 — 같은 지표를 오래 쓰면 게임이 시작된다
  • 정성적 평가 병행 — 숫자로 잡히지 않는 것을 관찰로 보완 [4]

개인 삶에서의 적용

체중계 숫자만 보면 근육량 감소를 놓친다. SNS 팔로워 수만 보면 진짜 관계를 놓친다. 지표는 도구이지 목적이 아니다.

References

  1. Goodhart, C. A. E. (1984). Monetary Theory and Practice. Macmillan.
  2. Ravitch, D. (2010). The Death and Life of the Great American School System. Basic Books.
  3. Edwards, M. A., & Roy, S. (2017). Academic research in the 21st century. Accountability in Research, 24(1), 56-62.
  4. Muller, J. Z. (2018). The Tyranny of Metrics. Princeton University Press.

Leave a Reply

Your email address will not be published. Required fields are marked *