Tech#2. A/B TEST Example - 이커머스에서 쉽지만 꼭 필요한 분석

조회수 847

안녕하세요! 지난 #1. What is A/B TEST? - 이커머스에서 쉽지만 꼭 필요한 분석에 이어, 이번 #2에서는 윙잇에서 분석한 테스트 중 배포 성공사례와 실폐사례를 소개해 보겠습니다.


성공 사례 (상품 상세페이지 상단 UI 개선)

  • 목적 : 간편식 전문 마켓으로써 우리만의 Unique한 컨텐츠를 보여주고자 함
  • 가설
    1. 상세페이지 상단 UI를 개선한 대안이 원본에 비해 [장바구니 전환%]이 증가할 것이다.
    2. 대안이 원본에 비해 [상품 상세페이지 이탈%]가 감소할 것이다.
    3. 대안이 원본에 비해 [후기 보기%]가 증가할 것이다.
  • 개선사항
    • 보관방법 / 유통기한 표기
    • 동영상 썸네일 지원
    • 옵션 UI 개선
      • 모든 옵션이 노출되며, 옵션 별로 +/- 버튼으로 선택하도록 처리
      • 옵션 팝업에 재고 수가 적은 상품은 [품절임박] badge 추가
    • Youtube 스타일의 [대표 후기] 구좌 추가
    • 대안(B안) 이미지 예시
  • 이벤트 트리거 시점
    • 상품 상세페이지 진입 시 trigger
  • 목표 수치
    1. 장바구니 전환%
    2. 이탈%
    3. 후기 보기%
  • 결과
    • [장바구니 전환%]: 대안이 원본에 비해 통계적으로 98% 수준에서 유의미하게 전환율이 개선됨
      • 원본
        • 총 세션 수: 92,020
        • 전환 수: 9,434
        • 전환%: 10.25%
      • 대안
        • 총 세션 수: 92,366
        • 전환 수: 9,716
        • 전환%: 10.52%

  • [이탈%]: 대안이 원본에 비해 통계적으로 96% 수준에서 의미하게 전환율이 개선됨 (낮아짐)
    • 원본
      • 총 세션 수: 92,020
      • 전환 수: 51,256
      • 전환%: 55.70%
    • 대안
      • 총 세션 수: 92,366
      • 전환 수: 51,079
      • 전환%: 55.30%

  • [후기 보기%]: 대안이 원본에 비해 통계적으로 97% 수준에서 유의미하게 전환율이 개선됨
    • 원본
      • 총 세션 수: 92,020
      • 전환 수: 8,573
      • 전환%: 9.32%
    • 대안
      • 총 세션 수: 92,366
      • 전환 수: 8,871
      • 전환%: 9.60%

  • 정리
    • 상세페이지 내에서 직관적으로 전환이 일어나는 장바구니 전환%과 후기 보기 클릭%의 경우, UI 개선을 통해 모두 대안이 원본에 비해 더 유의한 결과가 검증됨
    • 상세페이지 이탈%의 경우 페이지에서 뒤로갈 때, 장바구니 페이지로 이동할 때 등 페이지에서 이탈하는 모든 경우에 있어서 대안의 경우가 원본에 비해 이탈%이 더 낮음
  • 결론
    • 상세페이지와 직관적으로 전환이 되는 모든 퍼널 전환%에 있어 통계적으로 유의한 결과 도출.
      → 가설이 검증되는 결과 도출
      대안 배포


실패사례 (장바구니 담기 Alert UI 개선)

  • 목적
    • Alert UI는 구매 Flow를 방해하고, 상품 구매 과정에서 지속적으로 버튼을 클릭해야 하는 번거로움이 있음
  • 솔루션
    • 장바구니에 상품이 담겼다는 것을 사용자가 인지할 정도의 메시지만 Toast UI로 노출
  • 가설
    • Toast UI로 장바구니 담기 안내 메시지 노출 시, 사용자 구매 행동 동선에 있어 피로도가 낮아짐에 따라 더 많은 상품을 볼 것이다.
    • 더 많은 상품을 확인함에 따라 사용자 구매 행동 동선이 개선되어 구매 전환%이 상승할 것이다.
  • 실험세팅
    • 원본: Two Button Alert UI
      • 사용자가 특정 버튼을 동작하지 않는 경우, 팝업은 지속적으로 노출

  • 대안 : Toast UI
    • 약 2초간 노출된 후 자동으로 사라짐

  • 이벤트 트리거 시점
    • 장바구니 옵션 팝업 모달 → 장바구니 담기 버튼 클릭 시 trigger
  • 목표 수치
    1. 상품 카드 클릭% (피로도가 낮아져서 더 많이 상품을 보는지 확인)
    2. 장바구니 보기%
    3. 구매 전환%
    4. 매출 (참고 목적)
  • 결과
    • 상품 카드 클릭%: 통계적으로 유의하지 않은 결과 도출
      • 원본
        • 총 세션 수: 86,844
        • 전환 수: 31,887
        • 전환%: 36.72%
      • 대안
        • 총 세션 수: 85,789
        • 전환 수: 31,477
        • 전환%: 36.69%

  • 장바구니 보기%: 대안이 원본에 비해 통계적으로 100% 수준에서 유의미하게 전환율이 나빠짐
    • 원본
      • 총 세션 수: 86,844
      • 전환 수: 22,154
      • 전환%: 25.51%
    • 대안
      • 총 세션 수: 85,789
      • 전환 수: 21,101
      • 전환%: 24.60%

  • 구매 전환%: 대안이 원본에 비해 통계적으로 96% 수준에서 유의미하게 전환율이 나빠짐
    • 원본
      • 총 세션 수: 86,844
      • 전환 수: 11,971
      • 전환%: 13.78%
    • 대안
      • 총 세션 수: 85,789
      • 전환 수: 11,586
      • 전환%: 13.51%

  • 매출: 대안의 매출이 원본의 매출에 비해 낮음
  • 정리
    • 상품 카드 클릭의 경우, 피로도가 낮아짐에 따라 상품을 더 많이 보는지 확인하고자 하였으나 통계적으로 무의미한 결과 검증
    • 장바구니 보기 비율의 경우, Toast UI(대안)에 비해 Alert UI(원본)가 장바구니 페이지로의 유입을 명확히 유도하여 상품 구매 전환 Flow에 있어 유리한 점이 있었음
    • 구매 전환 비율 또한 Alert UI(원본)이 Toast UI(대안)에 비해 더 높음
  • 결론
    • 구매 전환%에 있어 가설이 기각되는 결과 도출

    • 매출을 포함한 모든 지표에서 악영향.

    • 즉, 사용자 구매 행동 동선에 있어 조금 번거롭더라도 다음 퍼널 (장바구니 보기)로 유도하는 효과가 생각 이상으로 크다. 즉, 심미성보다 퍼널 전환 flow가 더 중요하다는 점을 알 수 있다.

      → 원본 유지