Skip to main content

사후 검정

다중 비교 multiple comparison​

  • 분산 분석은 한 번에 여러 집단을 비교할 수 있음
  • 독립표본 t-검정은 한 번에 두 집단만 비교 가능
  • 집단이 여러 개 있을 경우 독립표본 t-검정은 집단 간의 모든 짝을 비교
  • 집단이 k개일 경우 필요한 비교의 횟수: k(k−1)2\frac{k(k-1)}{2}

FWER Familywise Error Rate​

  • 다중 비교를 할 경우 적어도 한 번 1종 오류가 발생할 확률
  • 세 집단이 모집단에서 평균이 모두 같은 경우 유의수준 5%인 비교를 3번해서, 3번 모두 1종 오류를 피할 확률(독립적이라고 가정할 경우): 95%×95%×95%≈86%95\%\times95\%\times95\%\approx86\%
  • 바꿔 말하면 적어도 한 번 1종 오류가 발생할 확률(FWER)은 14%
  • 비교를 많이 할 수록 FWER은 증가

죽은 연어 연구​

  • 뇌 연구에 활용되는 기능성 자기공명영상(fMRI): 뇌세포 활동 → 산소 소모→ 자기장 변화
  • 실제 자기장은 계속 변화하므로 "통계적으로 유의미한" 수준의 변화를 탐지
  • 뇌는 매우 많은 세포로 이루어져 있으므로, 실제 활동하지 않는 세포도 탐지할 수 있음
  • 2009년 신경과학자 Craig Bennett이 죽은 연어도 똑같은 방법론으로 연구하면 뇌 활동을 측정할 수 있음을 지적

사전 등록 preregistration​

  • 전세계 수많은 과학자들이 연구를 진행
  • 잘못된 연구라도 반복해서 하다 보면 "통계적으로 유의미한" 결과가 나올 수 있음
  • 최근 과학계에는 과학적 연구를 수행하기 전에 해당 연구의 가설, 방법 및 분석을 사전에 등록하는 제도가 확산
  • 사전 등록된 연구가 그렇지 않은 연구보다 효과 크기가 작음
    • 기존에는 결과가 잘 나온 것만 골라서 출판했을 가능성이 있음

사후 검정 post hoc test​

  • FWER을 통제하기 위해 분산 분석을 먼저 실시
  • 분산 분석 결과가 통계적으로 유의하면 (p<αp<\alpha) 사후 검정을 실시
  • 여러 집단 중 통계적으로 유의한 차이가 나는 집단을 식별
  • 사후 검정에서도 α\alpha를 조절하여 FWER이 커지지 않도록 제어
  • 각 집단의 분산이 같은 경우: Tukey HSD
  • 각 집단의 분산이 다른 경우: Games-Howell 검정

Python 사후 검정​

  • 각 집단의 분산이 같으면: Tukey HSD (pg.pairwise_tukey)
  • 각 집단의 분산이 다르면: Games-Howell 검정
pg.pairwise_gameshowell(dv='rating', between='job_level', data=hr)

퀴즈​