테스트 중 배포 성공사례와 실폐사례

안녕하세요! 지난 #1. What is A/B TEST? - 이커머스에서 쉽지만 꼭 필요한 분석에 이어, 이번 #2에서는 윙잇에서 분석한 테스트 중 배포 성공사례와 실폐사례를 소개해 보겠습니다.

성공 사례 (상품 상세페이지 상단 UI 개선)

• 목적 : 간편식 전문 마켓으로써 우리만의 Unique한 컨텐츠를 보여주고자 함
• 가설
  1. 상세페이지 상단 UI를 개선한 대안이 원본에 비해 [장바구니 전환%]이 증가할 것이다.
  2. 대안이 원본에 비해 [상품 상세페이지 이탈%]가 감소할 것이다.
  3. 대안이 원본에 비해 [후기 보기%]가 증가할 것이다.
• 개선사항
  • 보관방법 / 유통기한 표기
  • 동영상 썸네일 지원
  • 옵션 UI 개선
    • 모든 옵션이 노출되며, 옵션 별로 +/- 버튼으로 선택하도록 처리
    • 옵션 팝업에 재고 수가 적은 상품은 [품절임박] badge 추가
  • Youtube 스타일의 [대표 후기] 구좌 추가
  • 대안(B안) 이미지 예시
  • 
• 이벤트 트리거 시점
  • 상품 상세페이지 진입 시 trigger
• 목표 수치
  1. 장바구니 전환%
  2. 이탈%
  3. 후기 보기%
• 결과
  • [장바구니 전환%]: 대안이 원본에 비해 통계적으로 98% 수준에서 유의미하게 전환율이 개선됨
    • 원본
      • 총 세션 수: 92,020
      • 전환 수: 9,434
      • 전환%: 10.25%
    • 대안
      • 총 세션 수: 92,366
      • 전환 수: 9,716
      • 전환%: 10.52%

• [이탈%]: 대안이 원본에 비해 통계적으로 96% 수준에서 유의미하게 전환율이 개선됨 (낮아짐)
  • 원본
    • 총 세션 수: 92,020
    • 전환 수: 51,256
    • 전환%: 55.70%
  • 대안
    • 총 세션 수: 92,366
    • 전환 수: 51,079
    • 전환%: 55.30%

• [후기 보기%]: 대안이 원본에 비해 통계적으로 97% 수준에서 유의미하게 전환율이 개선됨
  • 원본
    • 총 세션 수: 92,020
    • 전환 수: 8,573
    • 전환%: 9.32%
  • 대안
    • 총 세션 수: 92,366
    • 전환 수: 8,871
    • 전환%: 9.60%

• 정리
  • 상세페이지 내에서 직관적으로 전환이 일어나는 장바구니 전환%과 후기 보기 클릭%의 경우, UI 개선을 통해 모두 대안이 원본에 비해 더 유의한 결과가 검증됨
  • 상세페이지 이탈%의 경우 페이지에서 뒤로갈 때, 장바구니 페이지로 이동할 때 등 페이지에서 이탈하는 모든 경우에 있어서 대안의 경우가 원본에 비해 이탈%이 더 낮음
• 결론

  • 상세페이지와 직관적으로 전환이 되는 모든 퍼널 전환%에 있어 통계적으로 유의한 결과 도출.
    → 가설이 검증되는 결과 도출
    대안 배포

실패사례 (장바구니 담기 Alert UI 개선)

• 목적
  • Alert UI는 구매 Flow를 방해하고, 상품 구매 과정에서 지속적으로 버튼을 클릭해야 하는 번거로움이 있음
• 솔루션
  • 장바구니에 상품이 담겼다는 것을 사용자가 인지할 정도의 메시지만 Toast UI로 노출
• 가설
  • Toast UI로 장바구니 담기 안내 메시지 노출 시, 사용자 구매 행동 동선에 있어 피로도가 낮아짐에 따라 더 많은 상품을 볼 것이다.
  • 더 많은 상품을 확인함에 따라 사용자 구매 행동 동선이 개선되어 구매 전환%이 상승할 것이다.
• 실험세팅
  • 원본: Two Button Alert UI
    • 사용자가 특정 버튼을 동작하지 않는 경우, 팝업은 지속적으로 노출

• 대안 : Toast UI
  • 약 2초간 노출된 후 자동으로 사라짐

• 이벤트 트리거 시점
  • 장바구니 옵션 팝업 모달 → 장바구니 담기 버튼 클릭 시 trigger
• 목표 수치
  1. 상품 카드 클릭% (피로도가 낮아져서 더 많이 상품을 보는지 확인)
  2. 장바구니 보기%
  3. 구매 전환%
  4. 매출 (참고 목적)
• 결과
  • 상품 카드 클릭%: 통계적으로 유의하지 않은 결과 도출
    • 원본
      • 총 세션 수: 86,844
      • 전환 수: 31,887
      • 전환%: 36.72%
    • 대안
      • 총 세션 수: 85,789
      • 전환 수: 31,477
      • 전환%: 36.69%

• 장바구니 보기%: 대안이 원본에 비해 통계적으로 100% 수준에서 유의미하게 전환율이 나빠짐
  • 원본
    • 총 세션 수: 86,844
    • 전환 수: 22,154
    • 전환%: 25.51%
  • 대안
    • 총 세션 수: 85,789
    • 전환 수: 21,101
    • 전환%: 24.60%

• 구매 전환%: 대안이 원본에 비해 통계적으로 96% 수준에서 유의미하게 전환율이 나빠짐
  • 원본
    • 총 세션 수: 86,844
    • 전환 수: 11,971
    • 전환%: 13.78%
  • 대안
    • 총 세션 수: 85,789
    • 전환 수: 11,586
    • 전환%: 13.51%

• 매출: 대안의 매출이 원본의 매출에 비해 낮음
• 정리
  • 상품 카드 클릭의 경우, 피로도가 낮아짐에 따라 상품을 더 많이 보는지 확인하고자 하였으나 통계적으로 무의미한 결과 검증
  • 장바구니 보기 비율의 경우, Toast UI(대안)에 비해 Alert UI(원본)가 장바구니 페이지로의 유입을 명확히 유도하여 상품 구매 전환 Flow에 있어 유리한 점이 있었음
  • 구매 전환 비율 또한 Alert UI(원본)이 Toast UI(대안)에 비해 더 높음
• 결론

  • 구매 전환%에 있어 가설이 기각되는 결과 도출

  • 매출을 포함한 모든 지표에서 악영향.

  • 즉, 사용자 구매 행동 동선에 있어 조금 번거롭더라도 다음 퍼널 (장바구니 보기)로 유도하는 효과가 생각 이상으로 크다. 즉, 심미성보다 퍼널 전환 flow가 더 중요하다는 점을 알 수 있다.

    → 원본 유지