[코드스테이츠 PMB 17기] W5D3 - 코드카데미 Codecademy와 클래스101의 A/B Test 사례

선정 프로덕트 : 코드카데미 / 클래스101

코드카데미 로고(좌), 클래스101 로고(우) (출처 : 각 웹사이트)

 

코드카데미 Codecademy는 웹 기반 플랫폼으로 코딩 교육을 제공하는 해외 서비스이고, 클래스101은 다양한 분야에 종사하는 크리에이터의 전문적인 강의를 들을 수 있는 국내 서비스로, 2022년부터 구독서비스 CLASS101+를 런칭 및 운영하고 있다.

이 두 프로덕트를 이번 과제로 선정한 이유는 둘 다 온라인 강의 서비스를 제공하고, 구독 모델이기 때문에 비슷한 고민을 가지고 비슷한 A/B 테스트를 진행하지 않았을까?라는 추측에서 시작했다. 조사를 해보니 둘 다 전환율을 높이기 위한 A/B 테스트를 진행한 적이 있어, 해당 사례를 소개해보려고 한다.

 

코드카데미의 A/B 테스트 사례

 

• 문제 정의
  • 사용자가 연간 요금제를 선택한다면, 한 달 사용자의 평균적인 고객생애주기에서 발생하는 수익보다 더 많은 수익을 미리 확보할 수 있을텐데, 어떻게 하면 연간 구독 요금제 가입자 수를 늘릴 수 있을까?

 

• 가설 
  
  • 월별 구독 요금제와 연간 구독 요금제의 가격 차이를 과장하면, 연간 구독 요금제의 가입자 수를 늘릴 수 있을 것이다 

 

• 기간
  • 정확히 알 수 없음

 

• 타겟
  • 무료 플랜을 이용하다가, 다른 강의도 더 듣고 싶어져 프로 구독을 고려하는 고객

 

• 테스트 형식(UI 개선 혹은 문구 등등)
  • 구독 요금제 카드를 재배치, 고객의 시선을 앞(좌측)에 있는 가장 매력적인 연간 구독 요금제로 유도
  • 각 요금제를 선택했을 경우, 절감되는 비용을 명시하고 하이라이트
  • 그 결과, 연간 구독 요금제 선택이 28% 증가

 

위 : 변경 전 / 아래 : 변경 후 (출처 : 링크드인)

 

 

클래스101의 A/B 테스트 사례

• 배경
  • 조사한 A/B 테스트 사례는 2022년 3월 클래스101의 테크 블로그 글을 바탕으로 작성했다. 현재의 구독 서비스 클래스101+가 런칭되기 전이다. 개별 강의 구매로 서비스를 이용할 수 있었고, 101루틴 서비스를 런칭, 루틴 서비스를 이용하려면 101프라임 구독을 해야하던 때이다. 2022년 8월 클래스101+가 런칭되었고 6개월 동안 비즈니스 모델을 피봇했다는 점에서 추측해보자면, 101루틴과 해당 A/B 테스트 둘 다 비즈니스 모델 피봇팅을 위한 실험이었을 것 같다.

 

• 문제 정의 
  • 루틴을 구독하려면 앱에서 무료 영상(day0)을 완강해야만 day1이 열리고, day1이 열린 것을 확인한 뒤 구독할 수 있는 화면이 떴다. 클래스101은 구독 알림까지의 단계를 줄이기 위해 구독 배너 노출 방법으로 구독 유도 실험을 진행했다.

 

• 가설
  • 루틴 홈에서 구독을 유도하면 유저들이 더 많이 구독할 것이다.

 

• 기간
  • 약 10일

 

• 타겟
  • 101루틴으로 습관을 형성하고 싶어하는 고객

 

• 테스트 형식
  • 3가지 UI로 테스트를 진행함
  • a-기존안 : 루틴 홈에서 구독할 수 있는 장치가 노출되지 않은 기존의 화면
  • b-개선안 : 루틴 홈에서 구독할 수 있는 플로팅 배너 노출
  • c-개선안 : 루틴 홈에서 구독할 수 있는 고정된 배너 노출
  • 최종 실험 결과, b-개선안으로 선정됨 (루틴 홈 뷰 대비 루틴 구독 전환율 +133.82% 개선, 루틴 홈 뷰 대비 루틴 구독 혜택 페이지 뷰 전환율 275.02% 개선)

 

a-기존안 / b-개선안 / c-개선안 (출처 : 클래스101 테크 블로그)

 

두 사례로 내가 얻은 인사이트

• 코드카데미의 경우, 대단한 UI를 개선한 것처럼 보이지 않지만, 100의 법칙(제품의 원래 가격이 100달러 미만이면, 고객은 백분율로 표시된 할인을 더 매력적으로 느끼고, 가격이 100달러 이상이면 할인 금액을 보여줄 때 더 매력적으로 느낀다.)이라는 심리학적 원리를 이용해 유의미한 결과를 만들었다. 고객의 행동을 파악하고 프로덕트를 개선하기 위해 A/B 테스트를 진행한다면, 꼭 개발이나 디자인 영역이 아니라 심리적인 영역을 건드리는 실험도 할 수 있겠다는 생각이 들었다.

 

• 클래스101의 경우, 과제에 명시한 A/B 테스트는 다른 실험을 진행한 후, 후속 액션으로 진행한 테스트였다. 한 가지 테스트만 하는 것이 아니라, 그 테스트에서 얻은 결과를 가지고 또 다른 가설을 세우고 다른 실험을 진행해서 계속해서 개선해나간다는 점이 인상 깊었다.

 

내가 PM이라면?

 

• 코드카데미
  • 사용자가 연간 구독 요금제를 많이 선택하길 원하는데, 6개월 구독 요금제에 절감할 수 있는 비용까지 굳이 하이라이트하는 부분이 이해가 가지 않았다. (내가 모르는 심리학 법칙이 또 있을 수도...) 연간 구독 요금제가 제일 눈에 띄게 아주 살짝 바꿔서 테스트를 해보면 어떨까?
    • A - 기존안
    • B - 6개월 구독 요금제의 절감 비용 하이라이트 빼기
    • 측정 지표 : 연간 구독 요금제 가입자 수

 

• 클래스101
  • 무료 영상(day0)을 확인한 경험이 긍정적이어서 루틴을 원하는 고객이 루틴 홈을 누르지 않았을까?라는 생각이 들었고, 그렇다면 작은 플로팅 배너로 안내하는 것보다 팝업을 노출해 바로 전환으로 이어지게 하는 방안을 생각해보았다.
    • A - 루틴 홈을 누르자마자 구독 알림 팝업 노출
    • B - 기존안 (루틴 홈에서 구독할 수 있는 플로팅 배너 노출) 
    • 측정 지표 : 루틴 홈 뷰 대비 루틴 구독 전환율, 루틴 홈 뷰 대비 루틴 구독 혜택 페이지 뷰 전환율

 

 

 

참고자료

 

https://medium.com/class101/101-sherpa-2022%EB%85%84-1%EC%9B%94%ED%98%B8-51673d2c08b6

101 Sherpa: 2022년 1월호

 

https://cxl.com/blog/codecademy-strategic-testing/

https://www.linkedin.com/pulse/7-successful-ab-test-experiments-case-studies-willem-drijver?trk=pulse-article_more-articles_related-content-card 

7 successful A/B test experiments