T-test, F-test

t-test에 대해서는 t-분포를 이용하여 두 군의 평균을 비교한다는 정도만 알고 있었는데,

 

문득 생각해보니 정규성을 만족하는 경우에 왜 정규분포를 사용하지 않고 t-분포를 사용하는지 궁금하였고, t-test의 구체적인 원리에 대해 알고 싶어져서 정리해보려 한다. 

 

 

예시

보통 우리가 t-test를 시행할 때의 조건은

• 두 군이 서로 독립이어야 하고
• 연속변수여야 하며
• 정규성을 띄고
• 두 군의 분산이 같아야 한다

이다. 

 

여기서 빠지면 안될 가정이

• 각 그룹의 데이터는 모집단에서 랜덤으로 추출되어야 한다.

는 것이다. 

 

즉, 전체 인구집단을 대표하려면 연구대상자 선정 과정에서 랜덤 추출이 인정되어야 하는데, selection bias의 개념이 여기에서 기원하는 것을 느낄 수 있다. 

 

 

실습 - R

 

실제로 데이터를 만들어 보고, t-test를 원리에 따라 진행해본 후 통계프로그램의 결과와 비교해보도록 하자

 

이때 "유의미한 차이가 나는" 상황을 가정하기 위하여

A약은 치료 점수가 평균 100점이 나오고, B약은 치료 점수가 평균 80점이 나오는 이미 알려진 약이라고 하고

A약의 치료군 35명과 B약의 치료군 31명의 데이터를 등분산(표준편차 10)으로 만들어 보자. 

 

a <- round(rnorm(35, 100, 10), 1)
b <- round(rnorm(31, 80, 10), 1)

 

 

전체 raw data와, 데이터 분포는 다음과 같다.

 

 

 

정규성 검정

정규성을 확인하기 위해 histogram, Kernel density plot, Q-Q plot을 확인해보자.

hist(a, freq = F)
lines(density(a), col="blue", lwd=3)

hist(b, freq = F)
lines(density(b), col="blue", lwd=3)

qqnorm(a)
qqline(a)

qqnorm(b)
qqline(b)

어느 정도 정규성을 띄는 것처럼 보인다. 

 

통계적으로 확인하기 위해 Shapiro-Wilk test를 해보면,

a, b 두 군의 정규성을 확인하였다. 

 

 

등분산 검정

F-test를 시행해보자.

 

p-value 0.2656으로 귀무가설을 기각할 수 없다. 

등분산으로 가정한다.

 

 

T-test

T-test 결과는 다음과 같다.

p-value가 아주 작으므로, 두 군에 유의미한 차이가 있음을 확인하였다. 

 

두 군을 그래프로 비교해보면,

 

 

 

 

 

 

 

실습 - 실제로 계산

Shapiro 검정도 실제로 해보고 싶었으나 수학적으로 좀 복잡해서 pass하기로 하고,

 

 

F-test

F-test는 F-분포를 이용하는 검정으로 ANOVA와 굉장히 비슷하다.

a, b 군 각각의 "표본분산"을 구하여 이 비를 F-value라고 하는데, 

 

 

F value라고 하는 이유는 이 통계량이 F-distribution을 따르기 때문이다.

 

우리가 구한 표본분산은 n-1 자유도의 카이제곱분포를 따르는데, 

독립된 2개의 카이제곱분포를 따르는 변수의 비는 F-분포를 따르는 것이 알려져 있으므로, F-분포를 사용할 수 있는 것이다.

 

실제로 a, b군의 표본분산을 구해보면, 

따라서 F-value는 1.496486이 나온다.

이는 위의 F-test 결과와 같다.

 

이 값이 자유도 34, 30인 F-분포의 어디에 위치하는지 확인해보자.

 

실제로 이 분포를 그려보면

누적 확률분포는

0.05 유의수준의 위치는

qf(0.95, 34, 31)
> 1.805467

따라서 우리의 F가 위의 값보다 왼쪽에 있으므로 

귀무가설을 기각할 수 없다는 결론에 도달하였다. 

 

 

T-test

T-test는 조금 더 복잡하다.

T-분포의 정의는

 

아래와 같이 평균 0, 표준편차 1인 무한히 큰 모집단이 있다고 가정하자. 

 

여기서 10,000개 정도의 표본을 임의로 추출하여 빈도를 그래프로 그려보면 어떻게 될까?

당연히 n이 클때는 정규분포와 비슷하다.

 

1000개를 뽑거나, 100개를 뽑는다면?

점점 표본 분포의 비대칭도가 심해지는 것이 보인다. 

 

n이 아주 작아져 버리면, 비대칭도도 심해지고, 양쪽 끝의 빈도가 점점 증가하는 양상을 보인다. 

 

이렇게 표본의 수가 작은 경우 표본의 분포는 정규분포로 판단하기가 어렵기 때문에, 우리는 자유도 n-1의 T-분포를 사용한다.

 

 

수학적으로 t-value, 특히 두 군을 비교할 때의 t-value는 복잡해서 계산으로 풀어보지는 않겠다.

 

허나 그 의미는, 

 

두 군의 평균의 차이 / 두 군의 표준 오차

의 의미를 갖는 통계량이 두 군의 자유도를 합한 t-분포를 따르는 것을 이용한다는 것만 알고 넘어가자.