통계적 추론의 기초: 표본분포

TL;DR

표본분포는 모집단에서 추출한 표본들의 통계량(예: 평균)이 이루는 분포를 말하며, 이를 통해 모집단의 특성을 추론할 수 있어요. 중심극한정리는 표본 크기가 충분히 크면 표본 평균의 분포가 모집단 분포 형태와 관계없이 정규분포에 가까워진다는 강력한 원리예요. 이 개념들은 통계적 가설 검정 및 신뢰 구간 추정의 핵심 기반이 된답니다.

1. The Mental Model

모집단 전체를 조사하는 건 현실적으로 어려우니, 우린 작은 부분(표본)을 여러 번 뽑아서 모집단에 대해 짐작해 볼 거예요. 이때, 각 표본에서 얻은 결과들이 어떻게 분포하는지를 이해하는 것이 바로 표본분포에 대한 이해예요. 이걸 통해 "과연 이 표본 결과가 우연일까?" 아니면 "모집단에 어떤 변화가 생긴 걸까?"를 판단할 수 있게 되죠.

2. The Core Material

통계적 추론은 미지의 모집단 모수(parameter)를 표본 통계량(statistic)을 이용하여 추정하고 검정하는 과정이에요. 여기서 핵심 역할을 하는 것이 바로 표본분포(Sampling Distribution)입니다.

표본분포란 무엇인가요?

표본분포는 모집단에서 동일한 크기의 가능한 모든 표본을 추출했을 때, 각 표본에서 계산되는 특정 통계량(예: 표본 평균, 표본 비율)의 분포를 의미해요. 실제로는 모든 표본을 추출할 수 없으므로, 이론적인 개념으로 이해하는 것이 중요해요.

예를 들어, 한국인 성인 남성 키의 모집단이 있다고 해봐요. 여기서 100명씩 무작위로 수없이 많은 표본을 추출하고, 각 표본의 평균 키를 계산한다고 가정해 보세요. 이 표본 평균 키들이 이루는 분포가 바로 '표본 평균의 표본분포'가 됩니다.

중심극한정리 (Central Limit Theorem, CLT)

Photo by Vitaly Gariev on Pexels

중심극한정리는 표본분포의 가장 중요하고 강력한 원리 중 하나예요. 그 내용은 다음과 같습니다.

모집단의 분포 형태가 무엇이든 관계없이, 표본의 크기 $n$이 충분히 크다면(일반적으로 $n \ge 30$), 표본 평균의 표본분포는 정규분포에 근사하며, 그 평균은 모집단 평균 $\mu$와 같고, 표준편차는 모집단 표준편차 $\sigma$를 $\sqrt{n}$으로 나눈 값($\sigma / \sqrt{n}$)과 같아요.

여기서 $\sigma / \sqrt{n}$를 표준 오차(Standard Error, SE)라고 부르며, 이는 표본 평균이 모집단 평균으로부터 얼마나 벗어날 수 있는지를 나타내는 척도가 됩니다.

graph TD
    A["모집단 분포 (어떤 형태든 상관 없음)"] --> B["표본 추출 (크기 n)"]
    B --> C["표본 평균 계산"]
    C --> D{"많은 표본 반복"}
    D --> E["표본 평균들의 분포"]
    E --> F["표본 크기 n이 충분히 크면"]
    F --> G["**정규분포에 근사 (중심극한정리)**"]
    G --> H["평균 = 모집단 평균 (μ)"]
    G --> I["표준편차 = 표준 오차 (σ/√n)"]

표본분포의 종류

• 표본 평균의 표본분포: 가장 흔하게 다루며, 중심극한정리가 적용돼요.
• 표본 비율의 표본분포: 이항분포를 따르는 사건에 대해 표본 비율($\hat{p}$)의 분포를 다루며, $np \ge 10$ 이고 $n(1-p) \ge 10$이면 정규분포에 근사해요.
• 표본 분산의 표본분포: 표본 분산($s^2$)은 카이제곱($\chi^2$) 분포를 따릅니다.

왜 중요할까요?

1. 신뢰 구간 추정: 표본 통계량으로부터 모집단 모수가 존재할 확률적인 범위(신뢰 구간)를 계산할 수 있어요.
2. 가설 검정: 표본 결과가 모집단에 대한 특정 가설을 지지하는지, 아니면 우연에 의한 것인지를 통계적으로 판단할 수 있게 해줘요.

이 개념들은 통계적 추론의 모든 과정에 깊숙이 관여하기 때문에 잘 이해하는 것이 매우 중요합니다.

3. Worked Example

어떤 제과점에서 생산하는 빵 하나의 무게는 평균이 500g이고 표준편차가 10g인 정규분포를 따른다고 알려져 있어요. 여기서 빵 25개를 무작위로 추출하여 표본을 만들었다고 해봅시다. 이 표본 평균의 표본분포는 어떻게 될까요?

1. 모집단 특성:

   • 모집단 평균($\mu$) = 500g
   • 모집단 표준편차($\sigma$) = 10g
   • 모집단 분포 = 정규분포

2. 표본 특성:

   • 표본 크기($n$) = 25

3. 표본 평균의 표본분포:
   모집단이 정규분포를 따르므로, 표본 크기에 관계없이 표본 평균의 표본분포는 정규분포를 따릅니다. (중심극한정리는 모집단이 정규분포가 아닐 때도 표본 크기가 크면 정규분포에 근사한다는 강력한 원리이지만, 이 경우엔 모집단 자체가 정규분포이므로 $n$이 작아도 정규분포를 따릅니다.)

   • 표본 평균의 평균($E[\bar{X}]$): 모집단 평균과 같아요.
     $E[\bar{X}] = \mu = 500g$

   • 표본 평균의 표준편차 (표준 오차, $SE$): 모집단 표준편차를 $\sqrt{n}$으로 나눈 값이에요.
     $SE = \frac{\sigma}{\sqrt{n}} = \frac{10}{\sqrt{25}} = \frac{10}{5} = 2g$

결론적으로, 빵 25개로 이루어진 표본 평균의 표본분포는 평균이 500g이고 표준편차가 2g인 정규분포를 따릅니다. 이는 우리가 25개씩 빵을 여러 번 뽑아 평균을 냈을 때, 그 평균 값들이 대체로 500g 주변에 몰려있고, 평균에서 2g 정도의 오차를 가질 수 있다는 것을 의미해요.

4. Key Takeaways

• 표본분포는 모집단에서 추출한 표본들의 통계량이 이루는 이론적인 분포입니다.
• 중심극한정리는 표본 크기가 충분히 크면 표본 평균의 분포가 정규분포에 근사한다는 핵심 원리입니다.
• 표본 평균의 평균은 모집단 평균과 같고, 표준편차(표준 오차)는 모집단 표준편차를 표본 크기의 제곱근으로 나눈 값입니다.
• 표본 크기가 커질수록 표준 오차는 작아지므로, 표본 평균이 모집단 평균에 더 가깝게 분포하게 됩니다.
• 표본분포를 이해하는 것은 통계적 추론, 즉 신뢰 구간 추정 및 가설 검정의 기초가 됩니다.

흔한 실수:

• 표본분포와 모집단 분포를 혼동: 표본분포는 표본 통계량의 분포이고, 모집단 분포는 모집단 원소들의 분포임을 명확히 구분해야 해요.
• 표본의 표준편차와 표준 오차를 혼동: 표본의 표준편차는 표본 내 개별 값들의 퍼짐 정도이고, 표준 오차는 표본 통계량(예: 표본 평균)이 모집단 모수로부터 얼마나 퍼져 있는지를 나타냅니다.
• 중심극한정리 적용 조건 무시: 표본 크기 $n \ge 30$이라는 조건을 기억해야 하며, 모집단이 이미 정규분포일 경우엔 이 조건에 덜 민감해요.
• 표본이 모집단을 대표하지 않는 경우: 아무리 표본분포를 잘 이해해도, 표본 추출 과정이 편향되면 통계적 추론 결과는 의미 없어져요.

5. Now Try It

모집단의 평균이 $\mu = 100$이고 표준편차 $\sigma = 20$인 분포를 따른다고 가정해 봅시다. 당신은 여기서 크기가 $n=64$인 표본을 추출했어요.

1. 이 표본 평균의 표본분포는 어떤 형태를 따를까요?
2. 이 표본 평균의 표본분포의 평균과 표준편차(표준 오차)는 각각 얼마일까요?
3. 만약 표본 크기를 $n=100$으로 늘린다면, 표준 오차는 어떻게 변할까요?

성공적인 결과: 이 질문들에 대해 정확한 분포 형태, 평균, 그리고 표준 오차 값을 계산하고, 표본 크기 변화에 따른 표준 오차의 변화를 올바르게 설명할 수 있다면 이 개념을 잘 이해한 거예요.