K-MOOC 데이터로 배우는 통계학 10~12주차

1. 신뢰구간과 가설검정

1) 순열검정과 P값

 분할표: 변수의 값에 따라 각 변수에 해당하는 관측치의 개수를 표시하는 유형의 표

 순열검정: 원래의 각 변수별 비율차를 구한 뒤, 변수의 값을 조금씩 조정해 비율차를 구한 후 표본분포를 그림.

 P-value: 귀무가설이 참이라는 전제하에 우리가 관측한 검정통계량의 값이나 혹은 그보다 더 극단적인 값을 얻을 확률.   P-value가 주어진 기준값(유의수준)보다 작을 경우 검정통계량의 값이 극단적이라고 이야기함.

 대립가설: 우리가 증명하고자 하는 가설

 양측 검정: ‘성별에 따라 팔짱끼는 방식이 다르다.’의 대립가설에서는 검정통계량이 음수가 나올 수 있어 그 값보다 작을 확률도 계산해야함.

 단측 검정: ‘여성이 남성보다 팔짱을 낄 때 오른팔을 올려놓는 것을 선호한다.’라는 가설에서의 P-value를 측정하는 것

 *가설검정에서 특별한 경우가 아니라면 양측 검정을 사용하는 것을 원칙으로 함.

 *단측검정은 과학적 근거나 선행연구 결과가 있는 경우에만 사용.

<가설검정 절차>

 ①     가설설정

   귀무가설: 현 상태에 대한 잠정적 가정

   대립가설: 우리가 알고 싶은 것

 ②     검정통계량: 값이 극단적이라면 귀무가설이 사실인지 의문을 표시함

 ③     검정통계량의 표본분포: 귀무가설이 참이라는 가정 하에 검정통계량의 분포로 값의 극단 여부 판단

 ④     P-value 계산

   양측검정 혹은 단측검정 여부에 따라 검정통계량 분포를 이용해 계산

   P-value가 유의수준(일반적으로 0.05)보다 작은 경우, 귀무가설에서 이런 결과를 얻을 가능성이 극단적이라고 생각하고 귀무가설 기각

 ⑤     결론: 원래 질문의 문맥에 맞게 결론 제시

 

2) 카이제곱검정과 t검정

검정통계량의 형태

귀무가설 하에 검정통계량의 분포는 표준 정규분포, 카이제곱분포, t분포를 따름. 이때 카이제곱분포와 t분포의 경우 자유도를 모수로 가짐. 자유도가 커지면 정규분포와 모습이 비슷해짐.

 ①     카이제곱검정

l  카이제곱검정에서 검정통계량은 각 칸에서 (관측값-기댓값)^2/관측값을 계산, 이 값을 모두 합한 것으로 정의

l  P-value를 구하기 위해 귀무가설을 토대로 검정통계량의 분포를 알아야 함. 이 분포는 카이제곱분포를 따름.

l  귀무가설을 통한 검정통계량의 분포는 카이제곱분포를 따르며 자유도는 (행의갯수-1)*(열의 개수-1)

 ②     카이제곱분포

l  표준 정규분포를 따르는 확률변수의 제곱이 자유도가 1인 카이제곱분포를 따름

l  서로 독립인 카이제곱분포의 합도 카이제곱분포를 따름. 이때 자유도는 합치기 전 각각 확률변수의 자유도의 합과 같음

 ③     t-분포

l  정규분포와 비슷한 모양으로 0을 중심으로 대칭. 꼬리부분이 보다 두터운 모양을 가짐.

l  모수는 자유도 하나이며 자유도가 커질수록 정규분포와 흡사한 모양을 가짐.

 

3) 다중비교와 검정력

 ①     다중검정

l  유의수준으로 이용하는 0.05와 0.01은 정확한 P-value를 구하기 어려울 때 피셔가 임의로 제시한 값

l  수많은 가설검정을 통해 매번 P-value가 0.05보다 작은지를 알아보는 것은 잘못된 결론에 이를 수도 있음.

l  다중검정 문제: 연구자들이 데이터를 여러 개로 쪼개 각각에 대해 가설 검정을 한 후 유의미한 결과를 발표할 때 생기는 문제

 ②     Bonferroni 교정

l  귀무가설이 참인데 귀무가설을 기각하는 상황이 발생하는 경우, 유의수준일 일반적인 기준보다 많이 낮춰야 함.

l  가장 보편적인 P-value 교정 방법은 Bonferroni 교정이며, 기준이 되는 유의수준은 일반적 유의수준 0.05를 전체 가설검정의 횟수로 나눔.

 ③     오발견율

l  Bonferroni 교정을 사용하는 경우 상대적으로 귀무가설을 너무 기각하지 않게됨.

l  또다른 교정 방법으로 오발견율이 있으며, 전체 기각된 가설검정의 개수 중 잘못 기각한 경우의 비율을 이야기함.

 ④     제1종의 오류와 제2종의 오류

 ⑤     검정력: 유의수준을 a, 제2종의 오류를 범할 확률을 b. 여기서 1-b를 검정력이라고 함.

l  가설검정 전략은 제1종의 오류를 범할 확률을 a 이하라고 하고, 검정력을 최대로 하는 것을 찾음

l  검정력은 표본의 개수가 커질수록 증가

l  효과크기를 미리 정의한 후, 원하는 검정력을 위해서는 표본의 크기를 미리 계산할 수 있음

l  효과크기: 비교하고자 하는 대상의 기대 변화량

 

*P-value에 대한 6가지 원칙 (미국 통계학회 기준)

 ①     P-value는 데이터가 가정된 특정모형과 얼마나 양립할 수 없는지를 나타내기 위한 값임.

 ②     P-value는 귀무가설이 참일 확률을 의미하지 않음.

 ③     과학, 정책, 기업에서 주요 의사결정을 p-value가 유의수준보다 작은지 여부로만 판단하면 안됨. 특히 소규모 연구에서 유의해야 함.

 ④     투명한 분석 절차와 이에 관해 완벽한 보고를 할 경우만 p-value를 사용한 추론이 의미 있음. 예를 들어 전체 가설검정의 횟수 등이 정확히 보고되어야 함.

 ⑤     P-value 자체가 결과의 중요성 또는 효과 크기를 의미하지 않음.

 ⑥     P-value 자체가 특정 모형이나 가설에 대한 증거의 좋은 측도는 아님.

 

2. 죽은 베이즈가 살아있는 실종자를 찾는다.

1) 베이즈정리

l  사전확률: 어떤 특정 사건에 관한 선험적 믿음

l  가능도: 주어진 자료를 관측할 확률

l  사후확률: 자료를 추가하여 사전 확률을 업데이트한 확률

l  조건부 확률의 이해

n  P-value의 경우 귀무가설이 참인 경우 우리가 관측한 검정 통계량의 값과 같거나 더 극단적인 값을 가질 확률로 정의. 하지만 사람들은 관측된 검정통계량의 값을 기반으로 귀무가설이 참일 확률로 오해함.

l  오즈=(사건이 일어날 확률)/(1-사건이 일어날 확률)

l  가능도비=(민감도)/(1-특이도)

 

2) 베이즈 추론

l  베이즈 정리를 보다 일반화 한 방법으로 사전확률 분포를 가능도를 이용해 사후 확률 분포를 계산.

l  다수준 회귀: 굉장히 많은 회귀분석식이 결과로 제시

l  사후층화: 모든 사람들을 하나의 집단에 있다고 간주 후 한번의 회귀분석만 시행

l  베이지안 가설 검정: 귀무가설이 참인지 알아낼 수 있음.

l  베이즈 인자: 2개의 가설에 대해 각각의 증거가 지지하는 정도를 표현. 가능도비와 동일하게 간주할 수 있음.

 

l  베이즈 인자 vs 가능도비

n  가능도에 들어있는 파라미터들에 대해 이 파라미터의 사전 분포를 이용해 평균을 계산à 사전분포가 베이즈 인자 계산에 중요한 역할을 함

l  빈도주의자(네이만-피어슨): 가설검정 시 제1종의 오류와 제2종의 오류를 통제하고 대립가설 선정. 신뢰구간 바탕의 추론과 같은 모집단에서 반복적으로 표본추출을 한다는 가정이 필수임.

l  피셔리언: 유의성 검정을 바탕으로 기능도 기반의 추론을 강조하는 그룹. 유의성 검정은 가설검정에서 대립가설에 관한 설정없이 p-value를 계산하여 귀무가설의 기각 여부만 판단

 

3. 알고 보면 쉬운 두 집단의 비교

1) A/B테스트

무작위로 서로다른 UX를 할당 후 디자인의 효용성을 측정함.

 

 

..이후로는 사례 비교