[GUI] 측정의 오류, 신뢰성과 타당성

서울여대 김예리 교수님의 'GUI를 활용한 데이터사이언스' 수업을 듣고 작성한 복습용 글입니다.

교재: 마케팅조사원론

---

1. 오류의 종류

1) 측정의 오류

 문항을 개발 할 때 측정 대상에 대해 잘못된 개념적, 조작적 정의를 내리는 경우, 자료 수집 시 응답자의 잘못된 이해나 대답, 자료 처리 시 코딩 및 펀칭 상의 오류가 발생할 수 있다. 이때 조사자는 측정 대상 속성을 얼마나 정확히 반영하였는가를 평가하여 오류가 적은 자료로 분석해야 한다.

 응답자의 독특한 성향, 응답자의 조사 시점의 일시적 특성, 자료 수집 상황에 의한 오류, 응답자와 질문자 간의 상호작용에 의한 오류, 다른 속성 측정에 의한 오류, 측정 도구 오류, 측정 방식, 응답자 표기 실수 및 자료처리 오류 등 측정과정에서 다양 종류의 오류가 발생할 수 있다.

 

2. 신뢰성과 타당성

 수집된 자료의 오류를 평가하는 기준인 신뢰성과 타당성에 대해 알아보자.

1) 신뢰성

 신뢰성은 다른말로 일관성이라고 할 수 있다. 신뢰성은 비체계적오류 또는 일시적 오류가 발생했을 때 측정의 신뢰성에 문제가 있다고 이야기할 수 있으며, 이는 재조사 진행 시 올바른 응답을 받을 수 있다. 다시말해 동일한 측정도구를 사용해 동일한 개념을 반복 측정 하였을 때 일관성 있는 결과를 얻는다면 이는 신뢰성이 높다고 말할 수 있다.

안정성	동등성	동질성	평가자 간의 신뢰도
반복측정 신뢰성	두가지 측정도구를 이용한 신뢰성	내적 일관성에 의한 신뢰성	평가자간의 신뢰도
시점이 다른 두 측정치 간 높은 상관관계	대체 검사 신뢰도, 등가의 다른 척도로 측정했을 때 높은 상관관계	모든 문항이 동일 개념을 측정해 내적 일관성이 높음, 크롬바 알파로 측정하며 요인 분석에 의한 단일차원 검증 필요	동일한 문항에 대해 2명 이상 평가자 응답시 변이가 크지 않아야 함
유사한 상황 하에 동일 표본, 동일 측정도구 이용으로 반복 측정 후 결과 비교	두개의 유사 측정도구로 측정하여 상관관계 검토	하나의 개념을 여러 문항으로 질문하여 항목간 유사 값 여부를 평가
당근척도와 비율척도 간의 상관관계가 클수록 신뢰성이 커짐		내적일관성 평가를 위해 크론바흐 알파 계수를 이용함
명목척도와 서열척도 사이의 일치 비율이 클수록 신뢰성이 커짐		크론바흐 알파 계수는 0~1사이의 값으로 값이 높을 수록 바람직하나 기준은 학자별로 상이하고 명확한 점수 기준이 없음. 0.8~0.9 사이의 값은 상당히 높은 신뢰도를 가짐. 0.6 이하의 항목은 전체 항목의 일관성을 떨어뜨리고 상관관계가 낮기 때문에 삭제
이해와 적용이 쉬우나 두 측정 사이의 시간간격 조정이 중요함. 측정 사이 간격이 잛을 경우 시험효과 발생 가능. 두 측성 사이 간격이 긴 경우 우발적 사건 발생 가능.	유사측정도구를 두개 개발하는 것이 어려워 상업적 조사에서는 거의 이용되지 않음
신뢰성 개선방안 -설문지 문항 별 명확한 설명을 통해 응답자별 해석 상 차이 발생을 방지한다. -조사원 교육을 강화하여 설문의 명확한 이해 및 질문 방식을 표준화한다. -성실한 응답을 받을 수 있도록 노력한다. (답례품 증정, 소음 통제 등) -성의없거나 일관성 없게 응답한 설문지는 분석대상에서 제외한다. -중요한 질문은 유사 질문을 활용해 반복 질문 후 답변을 수집한다. -기존 조사를 ㅌ오해 신뢰성이 높은 것으로 판명된 설문지나 측정항목을 이용한다. -코딩, 펀칭 등 자료처리 과정 검증을 강화하여 자료 처리상의 오류를 줄인다. -크론바흐 알파 계수가 낮게 나온 항목을 제거해 신뢰도를 재측정한다.

 

2) 타당성

 타당성은 다른 말로 정확성이라고 할 수 있으며, 측정 항목의 체계적, 지속적 오류가 발생하는 경우 타당성이 결여된 측정이다. 이의 경우 재조사시 오류가 반복된다는 특징이 있으며, 타당성은 측정하고자 하는 개념의 정확한 반영 여부와 측정 항목, 설문문항 개발과 관련이 있다.

내용타당성	개념타당성
연구자가 의도한 내용의 실제 측정 여부를 평가	조사하려는 추상적 개념의 정확한 반영 여부 평가
	소비자 브랜드 충성도를 측정할 때 추상적 개념을 직접 관찰할 수 없음 -> 여러 항목을 활용하여 측정할 때 여러항목에 대한 적정성 판단 필요
관련 전문지식을 보유한 연구자의 주관적 판단에 의해 내용타당성을 결정함 (명목타당성)	판별타당성	집중타당성
	서로다른 개념의 측정 문항 간 구별 정도 파악, 서로 다른 문항들로 측정된 측정치 간 상관관계가 떨어지는 경우 판별타당성이 있다고 이야기함	하나의 개념을 서로 다른 측정법을 사용하여 측정, 이들간의 상관관계가 높을 수록 집중 타당성이 높아짐
제품 선호도 측정 '귀하가 구매하려는 브랜드는 무엇입니까?' (구매 의도 측정) -> 내용타당성 없음		5저 리커트 척도, 5점 어의차이척도 -> 측정치간의 상관관계까 높을수록 측정 문항의 집중 타당성이 높아짐
<측정상 체계적 오류> 1. 잘못된 연구가설 설정 2. 부정확한 개념정의 3. 설문지 작성 과정에서의 오류
<타당성 개선방안> 1. 연구담당자의 마케팅 전반적으로 깊이있는 지식을 갖추어야 함 2. 이미 타당성을 인증받은 측정 방법을 이용 3. 상관관계 분석, 요인분석을 적용하여 상관관계가 낮은 항목을 제거하고 관계높은 변수들만 개념 측정에 이용 e.g. 하나의 추상적 개념을 여러 항목으로 측정할 때 항목간의 상관관계 분석 및 요인분석을 미리 한 후, 상관관계가 낮은 항목을 제거해 관계 높은 변수만 개념측정에 이용