개선됨을 증명하고자 한다면 AB 테스트를 써보자

AB Test

 

 

이 글은 LAYMAN'S GUIDE TO A/B TESTING을 참고하여 작성되었습니다.

 

 

어떤 기술이나 방식이 기존보다 더 효율적이라는 사실을 어떻게 증명할 수 있을까?

 

비만을 줄이는 연구에 열중하고 있는 연구자가 있다면

다음해 투자를 받기 위해 자신의 연구가 가치가 있음을 입증해야 할 것이다.

 

이 경우 좋은 도구로서 A/B Testing이 있다.

 

A/B Testing은 두 개의 집단군을 나누어 한 그룹은 실험하고자 하는 행위를 하고(실험 그룹, experimental)

다른 한 그룹(통제 그룹, control)은 아무것도 하지 않는다.

이후 이 두 그룹간의 차이를 보고 실험 그룹이 기존 그룹에 대비하여 어떻게 변화하였는지 측정한다.

 

#0. A/B Testing의 전체 과정

A/B Testing의 전체 프로세스는 다음과 같다.

 

1. 측정 항목(무엇을 기준으로 측정할 지) 선택

2. 샘플 선별

3. 데이터 수집

4. 데이터 분석

5. 최종 의견내기

 

#1. 측정 항목 선택

가장 먼저 측정 항목에 대한 정의를 명확히 해야 한다.

 

수집한 데이터가 측정 항목에 사용할 수 있어야 한다.

 

측정 항목간 모순이 없어야 한다. 건강을 위해 BMI지수를 개선하는 행위는 근육량을 감소시키기도 한다.

 

#2. 샘플 선별

두 그룹의 참여자들은 랜덤으로 정해져야 한다.

실험 그룹에 열정적인 참여자들이 많은 경우 등 특정 그룹으로 편중된 경향이 있으면 안된다.

 

샘플의 크기를 정해야 한다. 실험 그룹과 통제 그룹은 같은 크기를 가져야 한다.

그리고 이 샘플 크기는 기대값, 표준 편차, 신뢰도에 의해 결정된다.

 

마지막으로 샘플들에 실험 요소 이외의 외부 요소는 주입되지 않아야 한다.

실험 결과를 좋게 만들겠다고 실험 그룹에 특혜(?)를 주어선 안된다. (의식적으로든 무의식적으로든)

 

#3. 데이터 수집

실험의 지속성을 확인하기 위해 실험 중간 중간에도 꾸준히 실험 경과를 확인해야 한다.

이를 위해 어느 주기 혹은 시점마다 데이터를 수집할지 정해야 한다.

 

실험 데이터를 얻는 과정이 매 수집 시마다 변경되서는 안되므로 동일한 절차로 데이터를 수집한다.

밥 먹기 전과 후의 BMI 지수는 분명 차이가 있을 것이다.

 

혹 발생할지 모를 실험 그룹과 통제 그룹간 서로의 영향을 차단해야 한다. 

두 그룹이 서로에게 영향을 미치게 되면 그룹을 나눈 의미가 사라진다.

 

#4. 데이터 분석

오류가 있거나 잃어버린 데이터를 무조건 버리면 남은 데이터들에 대한 편향이 발생할 수 있다.

되도록 살릴 수 있는 데이터는 살려보자.

물론, 너무 기준치를 벗어난 값이나 지나치게 비정상적인 값은 버리는 선택지도 있다.

 

측정 항목에 대한 통계적 테스트를 함으로써 혹시 실험의 시작부터 이미 편향된채로 시작된건 아닌지 확인해보자.

건강 측정 실험에서는 기존에 참가자 자신의 건강 상태에 대한 설문 결과가 통계적 테스트에 활용될 수 있다.

 

통계적 추정치와 실제 수집된 데이터가 비슷한지 혹은 전혀 다른지 확인해보자.

 

실험 내용이 심장 마비를 얼마나 줄일 수 있는지처럼 측정 자체가 어려운 데이터들은 그 값들이 미미하여 제대로 확인하기 어려울 수 있다. 이 경우 값을 증폭하는 등 여러 통계적인 기술을 사용할 수 있다.

 

#5. 최종 의견내기

결과에 영향을 미쳤을지 모르는 요소들을 리스트화해라.

 

실험 결과가 더 큰 규모의 집단에서도 동일하게 적용될 수 있는지 확인해보라.

샘플 규모에 따라 교육 실험의 경우 강사-학생 비율이 달라질수 있고

이는 교육 효과를 측정하는 데이터에 영향을 줄 수 있다.

 

비전문가인 일반인들이 잘 이해할 수 있도록 데이터를 시각화해라.

 

실험 결과가 실용적인지 따져보아라.