주제 : 국내와 해외 서비스의 A/B 테스트 사례를 찾아, 인사이트를 얻어봅시다.
안녕하세요.😊
오늘은 무려 서비스 2개를 선정하여 과제를 진행하는데요.
서비스 2개를 선정해서 그런지 모르겠지만 주제를 선정하는데 오래 걸렸네요 ㅜㅜ
오늘은 지난번 과제를 진행했던 '쏘카'와 '그랩'이라는 서비스를 선정하여 A/B 테스트 사례를 찾아, 인사이트를 얻어보고자 합니다.
들어가기 전..
쏘카와 그랩 서비스를 선정한 이유를 말씀드리면,
지난번 과제를 하다가 쏘카의 기술 블로그를 살펴본 적이 있는데요. 그때 쏘카[ PM의 차량 예약 퍼널 단계 개선기(feat. AB TEST) ] 글을 읽은 적이 있었는데 그로스 해킹 전략을 분석하는 과제라서 그냥 보고 우와 너무 생생한 개선기인데라고 생각만 하고 넘어갔는데요
오늘 과제를 보고 쏘카 다시 보고싶다라고 생각이 들었어요.
그러다가 해외 서비스,,,??? 그럼 쏘카와 비슷한 시장의 서비스를 찾아보자고 하여 모빌리티 구독 서비스로 타깃을 잡고 찾아보았는데요.
현재 모빌리티 구독 서비스는 국내에는 쏘카나 그린카, 해외에서는 우버, 셰어나우, 그랩 등 다양한 서비스들이 있습니다. 그중 동남아 최대 공유 모빌리티 서비스 기업인 그랩(Grab)이면 좋겠다라고 생각이 들어서 쏘카와 그랩을 서비스로 선정하였습니다.
전 세계 모빌리티 시장은 매년 큰 폭으로 성장하며 2026년은 269조 규모를 이룰 것으로 전망되고 있는데요. 또한 변화하는 모빌리티 이용 형태를 중심으로 원하는 차를 바꿔가며 마음껏 이용하는 모빌리티 구독 서비스 시장이 영향력을 넓혀가고 있는 점에서 개인 고객 맞춤형 프로그램을 제공함으로써 소비자의 선택 부담을 줄이고 합리적인 비용에 서비스를 제공 중인 모빌리티 구독 서비스 쏘카와 그랩 역시 향후 지속해서 성장할 것으로 예상됩니다. 앞으로의 미래가 더욱 기대되는 두 개의 서비스에 대해서 간단하게 알아보고 각 기업의 A/B 테스트 사례를 찾아, 인사이트를 얻어보고자 합니다.
1. 그래서 어떤 서비스인데??
🤔 쏘카와 그랩에 대해서 알아보자!
쏘카는 대한민국 최대 카셰어링 업체입니다. 2011년 설립 이후 카셰어링 시장에서 독보적인 1위 자리를 유지하고 국내 최초 모빌리티 유니콘 기업인데요. 쏘카는 제주도에서 100대의 차량을 가지고 사업을 시작했는데요. 이후 카셰어링 기업을 넘어, 통합 모빌리티 플랫폼 회사가 되기 위해 노력하고 있습니다.
이어서 그랩은 동남아 최대 차량 공유 업체로 동남아 지역을 여행한다면 선택이 아닌 필수인데요. 그랩은 2012년, 말레이시아에서 콜택시 앱 MyTeksi(마이택시)를 선보이며 데뷔했습니다. 이후 필리핀, 태국, 싱가포르, 베트남 등으로 빠르게 진출했는데요. 2014년에 우버처럼 개인 소유 차량을 공유하는 GrabCar를 론칭하면서 본격적으로 '동남아의 우버'로 주목받았죠. 2017년에 GrabPay, 2018년에 GrabFood를 시작하면서 배달, 결제, 보험 등 생활 전반을 아우르는 빅 테크 플랫폼으로 발전하고 있어요. 현재 싱가포르, 말레이시아, 인도네시아, 태국, 베트남, 캄보디아, 필리핀, 미얀마(베타) 등 총 8개 국가, 400여 개 도시에서 서비스를 제공하고 있는 그랩입니다.
2. 쏘카의 A/B 테스트 사례는?
🤔 쏘카 부름 서비스의 A/B 테스트의 실행과 결과에 대해 알아보겠습니다.
들어가기 전 A/B 테스트에 대해서 간단하게 살펴보겠습니다.
A/B 테스트는
정의된 지표와 관련하여 여러 가지 버전의 기능이나 페이지를 평가하는 실험입니다. 쉽게 말해 두 그룹의 사용자들에게 서로 다른 페이지나 기능을 보여준 뒤 어떤 그룹에서 더 좋은 성과가 나타나는지, 긍정적인 UX를 제공할 수 있는지를 지속적인 시험을 통해 정량적으로 평가할 수 있는 테스트 기법입니다. 그렇다면 지표를 개선하는 방법이나 검증 방법은 다양한데 왜 A/B 테스트가 중요한 걸까요? 그 이유는 첫 번째로, A/B 테스트를 통해 정량적인 데이터 기반의 의사결정으로 리스크를 줄일 수 있습니다. 두 번째로, 상관관계로부터 인과관계(+액션 리스트)를 찾아낼 수 있습니다.
먼저 쏘카의 기술 블로그 내용을 참고하여 A/B 테스트 사례를 살펴보겠습니다.
쏘카의 부름 서비스를 아시나요? 쏘카의 부름 서비스란 내가 지정한 위치로 차를 부르는 서비스입니다.
사용자는 차를 대여할 위치와 반납할 위치를 자유롭게 설정할 수 있는데요.
어느날, 부름 서비스의 BO(Business Owner - 사업기획을 담당하는 분들) 분들이 미팅을 요청하여
지난 1년여간 예약량 지표가 정체되어 있었습니다.
전사적으로 볼 때 올해는 예약량 부스팅 반드시 필요하고요.
그나저나 부름 참 좋은데… 말로 표현을 못 하겠네
1) 문제 정의
여기서 예약량 지표 정체라는 문제 정의를 명확하게 하였습니다.
하지만 여기서 사용자가 서비스를 잘 쓰지 않는 이유를 명확하게 잡기 어려운 상태로 현재 상황에 대해서 파악해보기로 하였습니다.
현재 쏘카는 왕복 서비스와 부름 서비스를 통해서 차량 대여 서비스를 제공하는데요. 두 개는 다른 서비스인데 Flow, UX를 거의 똑같이 공유하고 있습니다.
2) 타켓 분석
그렇다면 부름 서비스를 이용하는 사용자에 대해 살펴볼 것인데요
부름 사용자는 왕복과 나이, 대여시간에서 차이를 보인다는 점을 발견했습니다.
그리고 쏘카는 전화 인터뷰를 통해 부름의 사용자가 다르다는 점을 아래의 인사이트를 통해서 확인했습니다.
- 차에 실어야 할 짐이 있거나, 승차할 동행이 많은 경우, 야간에 대여를 시작하는 경우 등 특정한 TPO에 차를 부름으로 불러서 이용한다는 패턴이 있었습니다.
- 사용자들은 위의 상황에서는 명확하게 부름을 쓰러 앱에 들어오며, 쏘카존까지 걸어가지 않아도 되는 부름 서비스의 장점을 느꼈다는 이야기를 자세히 들을 수 있었습니다.
3) 문제와 해결방법
즉, 현재 쏘카의 문제와 해결방법에 대해 정리하면
| 문제 | 해결방법 |
|
|
4) 가설설정
이제 쏘카는 해당 문제에 대한 가설을 도출하였는데요.
지금처럼 왕복과 똑같은 Flow가 아닌 [부름 사용자] 관점에서 설계한 부름 전용 예약 Flow를 제공한다면,
결제 전환율의 차이와 기분 좋은 예약 경험 두 가지를 확인할 수 있을 것이다
가설을 설정하고 쏘카는 차량을 예약할 때 내 바로 앞으로 차를 부르고 싶은 사용자 마음의 흐름에 맞추어 독립적인 부름 서비스 전용 ‘신규 예약 페이지’를 새로 구현을 아이디어로 내세워 프로토타입을 제작하였습니다.
5) 프로토타입 제작
가설에서 제안한 [부름 사용자] 관점에서 설계한 부름 전용 ‘신규 예약 페이지’를 고민을 시작으로 디자이너와 PM이 사용성 테스트에서 수집한 인사이트들을 바탕으로 와이어 프레임을 새롭게 스케치했습니다.
그린 프로토타입을 적용하기 앞서 쏘카는 우려하는 부분이 있었습니다.
- 갑자기 예약 과정을 다 바꿔버려도 될까요?
- 기존 사용자들이 적응을 못하고 이탈하면 어떡하죠? 이 UX를 사용자들이 좋아할 거라 어떻게 확신할 수 있어요?
- 사용자 테스트를 대규모로 하면 시간이 너무 많이 들지 않을까요?
- 혹시나 잘못되면 원래 유지되던 예약률은 방어할 수 있을까요?
- 배포했다가 지표가 잘못되면 롤백할 수 있을까요?
6) AB TEST
그래서 쏘카는 위와 같은 우려를 보완하기 위해, AB TEST를 통해 제품 및 사업 지표가 달성되는지를 확인한 뒤, 전체 배포 여부를 결정하기로 합니다. PM과 데이터 사이언스팀은 아래와 같이 AB TEST 실험을 설정하고, 사업 팀과 목표 및 관찰 지표를 정했습니다.
| 실험 기간 | 2022년 1월 24일 ~ 2월 4일 (11일간) |
| 실험군 정의 | - 지도에 들어온 뒤, 부름 PIN을 클릭 시, 신규 부름 예약 페이지를 보여준다. - 즉, 부름용 ‘신규 예약 페이지’를 통해 예약하는 그룹 - 전체 앱 접속자의 5% |
| 대조군 정의 | - 지도에 들어온 뒤, 부름 PIN을 클릭 시, 기존 차량 리스트를 보여준다. - 즉, 기존과 동일한 화면 통해 예약하는 그룹 - 전체 앱 접속자의 5% |
| 목표 설정 | - 부름용 ‘신규 예약 페이지’를 통해 예약하는 그룹은 전환율이 더 높을 것이다. - 실험군은 대조군 대비 22% 이상을 목표로 한다. (통계적 유의미성을 띄는 규모 + BO의 매출 기대치 반영) |
| 관찰 지표 설정 | - 예약 페이지 입장 후, [결제 확인] 페이지에 도달한 방문 전환율 - [결제 확인] 페이지에서 [차량 예약]한 예약 전환율 - 예약 페이지 입장 후, [차량 예약]한 예약 전환율 |
7) 개발 착수하기
“부름 전용 신규 예약 페이지를 개발하고, AB TEST로 출시하여 실험군과 대조군 차이 발견하기”라는프로덕트 제작 목표까지 도착하여 개발을 착수하게 되는데요. 이후 개발기간이 흐르고 버전을 출시하여 사용자들의 반응을 모니터링했습니다.
8) 결과 모니터링
| 지표 | 기존 그룹과 신규 그룹의 차이 | 설명 |
| 예약 페이지 입장 후,[결제 확인] 페이지에 도달한 방문 전환율 | -6% p | - 기존과는 달리 첫 페이지에서 부름에 서비스에 대해서 명확하게 설명했기 때문 - 결제 직전 페이지에는 결국, 진짜 부름에 관심 있는 사용자만 남음. |
| [결제 확인] 페이지에서 [차량 예약]한 예약 전환율 | +21.8% p | - 앞에서와 같이, 부름에 대해서 관심 있는 사용자만 남아 결제 가능성은 높아짐 - 부름을 원하는 사용자에게 지금보다 더 많이 노출된다면 예약량은 많아질 수 있음 |
| 예약 페이지 입장 후, [차량 예약]한 예약 전환율 | 없음 | - 싱품이나 가격 조건이 똑같을 때 둘 사이에 큰 차이는 발견하지 못함 - 다만 신규 UX를 전체 배포했을 때 사업지표에 리스크는 없다고 판단 |
더불어 처음에 문제 확인을 위해 진행했던 기존 UX에 대한 사용성 테스트를 새로운 UX를 가지고 다시 진행해 보았습니다. 새로 개발한 부름 홈을 보여주면서, 기존과 동일한 질문을, 새로운 사람들에게 던져보았는데 부름 사용자의 큰 페인 포이트였던 서비스를 이해하기 어렵다는 문제가 크게 해결되었다는 걸 확인할 수 있었습니다. 이후 부름의 새로운 모습을 배포하여 새로운 쏘카 앱 메인 페이지에서 해당 서비스를 이용하게 되었다는 쏘카의 차량 예약 퍼널 단계 개선기였습니다.
💡 인사이트
- 실제 PM의 문제 해결 방식에 대해서 그리고 가설 검증으로 사용되는 AB TEST의 실제 사례를 통해서 더욱 해당 개념을 이해할 수 있었습니다.
- AB TEST의 실험기간 , 실험군 정의, 대조군 정의 , 목표 설정, 관찰 지표 설정 등 방법론을 획득할 수 있었습니다.
- 사실 모든 부분에서 다 인사이트를 얻었던 것 같아요.
내가 PM이라면 해결방법으로는?
부름과 쏘카존의 Flow, UX를 거의 똑같이 공유하고 있다고 하였는데요. 저는 간단하게 두 개의 아이콘과 색깔을 바꾸는 게 어떨까 생각했습니다.
2. 그랩의 A/B 테스트 사례는?
🤔 그랩의 A/B 테스트의 실행과 결과에 대해 알아보겠습니다.
그랩은 2020년 그로스 해킹 팀을 만들어 그랩의 6,800만 고객보다 많은 고객에게 서비스를 제공하겠다는 궁극적인 목표를 가지고 그랩에 성장 루프를 제공함으로써 이러한 문제들을 해결하고자 하였습니다.
🔎 성장 루프 알아보기!
**성장 루프는 확보, 활성화, 참여, 입소문 효과를 통해 궁극적으로는 사용자를 모을 수 있도록 하였습니다. 그랩은 가장 확장성 있고 영향력 있는 성장 루프를 만들기 위해, 그로스 해킹 팀을 (통상적인 마케팅 조직이 아닌) 기술 조직 내에 두기로 결정했습니다. 이는 실험의 속도를 높이고 규모를 키우는 데 있어 엔지니어링 전문성을 활용할 수 있게 되었고, A/B 테스트를 자주 수행하고 여러 시장에 동시에 배포할 수 있게 하였습니다.
1) 문제 정의
어떻게 하면 드라이버와 더 잘 협력할 수 있을까?
그랩은 드라이버와의 협력을 이라는 명확한 문제 정의를 시작으로 Spin-to-Win 실험을 시작하였습니다.
그랩은 1960년대 심리학자이자 행동학자인 스키너(B.F Skinner)가 했던 실험에서 영감을 받아 게임화가 입증된 성장 전략이라는 것을 알고 이 개념을 활용하여 그랩 플랫폼에서 입소문을 통한 참여를 이끌어내기를 원했습니다.
🔎 스키너 실험 알아보기!
** 스키너는 레버를 눌렀을 때 모이가 담긴 작은 상자에 비둘기를 넣었습니다. 그러나 그는 모이가 무작위로 나오도록 상자를 바꿨습니다. 이것은 비둘기가 레버를 더 자주 누르도록 장려했습니다. 이 실험은 “가변 비율 강화(variable-ratio reinforcement)” 증명을 만들었습니다.
- 보상이 너무 적으면, 사람 (혹은 비둘기!)이 벗어납니다.
- 보상이 너무 많은 것도, 사람 (그리고 비둘기!)이 벗어나게 합니다.
2) AB TEST
그랩은 Spin-to-Win 게임을 기반으로 A/B 테스트를 개발했으며, 매일 미리 정해진 횟수의 운행을 완료한 드라이버에게 금전적 보상과 현물 보상을 모두 제공했습니다.
참여도를 높이기 위해 정기적으로 드라이버에게 알림을 보냈습니다. 또한 지속적인 참여를 유도하기 위해 드라이버의 모든 우승을 축하했습니다.
| 실험군 정의 | - Spin-to-Win 게임을 참여한 드라이버 그룹 (참여도를 높이기 위해 정기적으로 드라이버에게 알림) |
| 대조군 정의 | - Spin-to-Win 게임을 참여하지 않은 드라이버 그룹 |
| 목표 설정 | - 게임에 노출된 드라이버가 그랩과 더욱 협력이 잘되고 운행횟수가 높을 것이다. |
| 관찰 지표 설정 | - Spin-to-Win 게임의 참여율 - 드라이버의 운행 수 |
3) 결과 모니터링
게임에 노출된 드라이버의 운행 수가 미노출 드라이버 대비 23%가 높았습니다. 또한, 운행을 하려는 행동이 1주 차에는 5%, 2주 차에는 12%로 차이가 점점 벌어졌습니다.
💡 인사이트
- 그로스 해킹 팀을 만들 정도로 그 중요성을 인지할 수 있었습니다.
- 어떻게 하면 운전자와 더 소통이 잘되는지에 대한 문제를 Spin-to-Win을 통해 풀어나가는 점이 인상 깊었습니다.
| 출처
https://tech.socarcorp.kr/product/2022/06/02/reservation-funnel-improvement-with-abtest.html
쏘카 PM의 차량 예약 퍼널 단계 개선기(feat. AB TEST)
AB TEST 기반 신규 UX 개선 프로세스
tech.socarcorp.kr
https://blog.hackle.io/post/abtest-grab
핵클 블로그(Hackle Blog) : A/B 테스트를 통해 그랩 드라이버의 참여도 높이기
파괴하거나 파괴당하거나! 글로벌 테크 기업 그랩의 그로스 해킹팀의 정신과 그랩의 성장루프를 확인하세요.
blog.hackle.io
https://medium.com/idus-tech/a-b-test%EB%A1%9C-voc-%EC%A4%84%EC%9D%B4%EA%B8%B0-422a03ac36d
'PMB_15기 > DAILY' 카테고리의 다른 글
| [코드스테이츠 PMB 15기_W6D1] 색다른 숙소 특별한 여행, Airbnb (에어비앤비) (0) | 2022.11.21 |
|---|---|
| [코드스테이츠 PMB 15기_W5D4] 쏘카 멤버십, 패스포트 A/B 테스트 설계하기 (0) | 2022.11.18 |
| [코드스테이츠 PMB 15기_W5D2] 하루 한 번의 성장, LongBlack (1) | 2022.11.15 |
| [코드스테이츠 PMB 15기_W5D1] 차가 필요한 모든 순간, 쏘카 (0) | 2022.11.14 |
| [코드스테이츠 PMB 15기_W4D4] 독서와 무제한으로 친해지리, 밀리의 서재 (0) | 2022.11.10 |