Skip to main content

표본 크기 결정

1종 오류 (Type I Error)​

  • 정의
    • "실제로는 차이가 없는데, 차이가 있다고 잘못 결론 내리는 오류"
    • 즉, 귀무가설(H₀: 차이가 없다)이 사실인데도 이를 기각하는 오류
  • α (알파, 유의수준)
    • 1종 오류를 범할 최대 허용 확률
    • 우리가 보통 유의수준을 α = 0.05로 정하는 것은, "1종 오류를 범할 위험을 5%까지는 감수하겠다"는 의미입니다.
  • 예: "새 공정이 기존 공정과 성능이 같은데도, 더 좋다고 잘못 판단하여 불필요한 공정 교체 비용을 발생시키는 상황"

2종 오류 (Type II Error) 와 검정력​

  • 2종 오류 (Type II Error)
    • "실제로 차이가 있는데도, 차이가 없다고 잘못 결론 내리는 오류"
    • 즉, 귀무가설이 거짓인데도 이를 기각하지 못하는 오류
    • 2종 오류를 범할 확률을 β (베타)
  • 검정력 (Power)
    • "실제로 차이가 있을 때, 그것을 올바르게 '차이가 있다'고 탐지해낼 확률"
    • 검정력 = 1 - β
    • 일반적으로 80% 또는 90% 이상의 검정력을 목표
  • 예: "획기적으로 성능이 좋은 신소재를 개발했지만, 실험에서 차이를 발견하지 못하고 개발을 포기하게 되는 상황"

표본 크기의 결정​

  • 너무 적은 표본: 실제로는 차이가 있더라도, "차이가 없다"고 잘못 결론 내릴 위험(2종 오류)이 커짐.
  • 너무 많은 표본: 필요 이상의 시간과 비용, 노력이 낭비
  • 실험을 시작하기 전에 적절한 표본 수를 설계하는 것이 중요
  • 표본 크기에 영향을 미치는 요소들
    • 유의수준 (α): 1종 오류를 범할 확률
      • 유의수준이 낮을 수록 많은 표본이 필요
    • 검정력 (Power, 1-β): 실제 차이를 놓치지 않을 확률
      • 검정력이 높을 수록 많은 표본이 필요
    • 효과 크기 (Effect Size): 검출하고자 하는 차이의 크기
      • 효과 크기가 낮을 수록 많은 표본이 필요

검정력 계산​

import doeutils
MODEL = m # 모델 객체
VARIABLE = 'group[T.Old]' # 비교할 변수
ALPHA = 0.05 # 유의수준
doeutils.reg_coef_power(MODEL, VARIABLE, ALPHA)  # 회귀 계수의 검정력 계산
  • 결과 ≒ 0.57
  • 추정된 계수가 참이라고 가정할 때,
  • 동일한 실험(Old: 10, New: 10)을 반복한다면
  • 통계적으로 유의한 결과를 얻을 가능성이 57%

표본 크기 계산​

MODEL = m # 모델 객체
VARIABLE = 'group[T.Old]' # 비교할 변수
ALPHA = 0.05 # 유의수준
POWER = 0.8 # 검정력
doeutils.find_reg_n(MODEL, VARIABLE, POWER, ALPHA)
  • 결과 ≒ 33
  • 추정된 계수가 참이라고 가정할 때,
  • Old: 16, New: 16 이상의 크기로 실험을 하면
  • 80%의 경우에 통계적으로 유의한 결과를 얻을 것

퀴즈​