프로그래머스 데이터분석 데브코스 15-2(A/B test)

왜 A/B Test를 하고 왜 애자일 A/B Test가 필요한가

 

A/B Test 왜?? 하?? 나?? 요 ??

비즈니스 관련 지표가 개선되는지 객관적으로 측정하기 위함

• 가설 기반의 실제 사용자 대상 비교

위험을 최소화 하기 위함

• 아무리 사용자 설문 등이 좋아도 실제 사용자들이 어떻게 반응할지는 알 수 없음
• 처음에는 작은 퍼센트의 사용자들에게만 새 기능을 노출시키고 문제가 없으면 퍼센트 증가

왜 애자일 해야함?

최근 경험했던것처럼 결과물이 이상해질수도 있음.(3차 프로젝트 EDA, 전처리 과정)

잘못됨을 빠르게 파악하지 못할 가능성

A/B테스트 결과의 빠른 반영을 위해

 

전체적인 A/B Test 프로세스

1. 가설설정 (가볍게)
2. 내부테스트(QA)
3. 일부 사용자에게 테스트
4. 테스트 하는 사용자 비율 늘려감
5. A/B 테스트 결과로 중단, 지속 결정

A/B Test 분석을 위해 필요한 정보

1. 사용자별 A/B 버킷 정보
   1. 누가 a에 들어갔고 b에 들어갔는지
2. 사용자별 행동 정보
   1. 어떤 아이템을 보았고
   2. 어떤 아이템을 클릭했고
   3. 어떤 아이템을 구매했는지

1과 2의 정보를 조인

A와 B로 그룹핑하여 그룹간 통계 정보 계산

a/b테스트 시 발생하는 문제들

어떤 결정은 데이터로 판단할 수 없음 > Data Informed Decision

가설없이 혹은 대충 쓴 가설로 a/b테스트를 하는 경우

분석에 필요한 데이터 품질이 낮은 경우

결과를 선입견없이 객관적으로 분석하지 못하는 경우

데이터 인프라 비용

비교 대상이 하나가 아닌 경우

얼마나 지켜보고 결정을 내릴 것인지