표본 크기 결정
표본 크기의 결정
- 너무 적은 표본: 실제로는 차이가 있더라도, "차이가 없다"고 잘못 결론 내릴 위험(2종 오류)이 커짐.
- 너무 많은 표본: 필요 이상의 시간과 비용, 노력이 낭비
- 실험을 시작하기 전에 적절한 표본 수를 설계하는 것이 중요
- 표본 크기에 영향을 미치는 요소들
- 유의수준 (α): 1종 오류를 범할 확률
- 유의수준이 낮을 수록 많은 표본이 필요
- 검정력 (Power, 1-β): 실제 차이를 놓치지 않을 확률
- 검정력이 높을 수록 많은 표본이 필요
- 효과 크기 (Effect Size): 검출하고자 하는 차이의 크기
- 효과 크기가 낮을 수록 많은 표본이 필요
- 유의수준 (α): 1종 오류를 범할 확률
검정력 계산
설치
!pip install yeom
계산
from yeom import doe
MODEL = m # 모델 객체
VARIABLE = 'group[T.Old]' # 비교할 변수
ALPHA = 0.05 # 유의수준
doe.reg_coef_power(MODEL, VARIABLE, ALPHA) # 회귀 계수의 검정력 계산
- 결과 ≒ 0.57
- 추정된 계수가 참이라고 가정할 때,
- 동일한 실험(Old: 10, New: 10)을 반복한다면
- 통계적으로 유의한 결과를 얻을 가능성이 57%
표본 크기 계산
MODEL = m # 모델 객체
VARIABLE = 'group[T.Old]' # 비교할 변수
ALPHA = 0.05 # 유의수준
POWER = 0.8 # 검정력
doe.find_reg_n(MODEL, VARIABLE, POWER, ALPHA)
- 결과 ≒ 33
- 추정된 계수가 참이라고 가정할 때,
- Old: 16, New: 16 이상의 크기로 실험을 하면
- 80%의 경우에 통계적으로 유의한 결과를 얻을 것