그로스 해킹 후기

 

1) 읽게된 계기

양승화님의 그로스 해킹 이곳저곳에서 많이 들어본 도서였다. 지표에 대한 분석 및 정의, 퍼널분석, AB테스트 등등 여러 내용이 담겨져 있는 책이다. 지난 과거 ZEPETO 데이터분석을 진행하면서 어떤 지표를 봐야하고 어떤 분석을 해야하고 혼자서 막막함이 많이 남아있었다. 그래서 그 때의 후회를 다시 반복하지 않기 위해 이 책을 읽어보면서 개념 정리와 그에 따른 활용도에 대해 숙지해두고 추후에 적용해보고 싶은 마음에 읽게 되었다.

 

2) 내용 요약

전체적인 내용에 대한 요약을 할 수 없지만, 기억에 남길 기본적인 개념위주로 정리해보기로 한다.

 

• 그로스 해킹이란?

한번에 좋은 제품을 위해 노력하는 것이 아니라 지속적인 개선과 업데이트로 발전. 출시 후 서비스에 대한 사용자의 평가를 듣고, 패턴을 분석하고, 새로운 기능을 추가하며 서비스를 꾸준히 개선하는 것

 

• AARRR
• 고객 유치(Acquisition), 활성화(Activation), 리텐션(Retention), 수익화(Revenue), 추천(Referral)

사용자가 서비스에 진입하고, 핵심 기능을 사용하고, 결제하고, 이탈하는 라이프사이클 전반에 걸친 핵심 지표를 찾고 관리하도록 한다.

 

• 활용법
  • 각 단계를 풀어야 하는 문제를 확인한다.
  • 각 단계의 핵심이 되는 주요 지표를 선정하고, 해당 지표의 현재 수준을 측정한다.
  • 측정된 지표가 가지는 의미를 이해한다.
  • 개선해야 하는 목표 수준을 정하고, 실험을 통해 단계적으로 개선한다.

 

• 지표
  • 그로스 해킹이라는 게 결국 목표 지표를 선정하고 그 지표를 개선하기 위해 진행하는 일련의 활동을 의미함
  • 지표를 속성에 따라 분류하면 스톡형태의 지표와 플로형태의 지표로 구분 가능.
  • 스톡은 저량 지표, 간단히 말하면 특정 시점의 스냅숏에 해당하는 지표(시작과 끝 개념이 없음)
    • ex) 누적 가입자 수, 누적 거래액, 레벨 1인 사용자 수
  • 플로는 유량 지표, 시작과 끝에 대한 시간 범위가 존재, 일정 시간 동안의 변화량을 나타내는 지표
    • 1월 1일의 가입자 수, 2월 1일 하루 매출, 일 평균 주고받은 메시지 수
  • 일반적으로 플로 형태의 지표가 더 많은 정보를 가짐. 특정 기간의 변화에 초점을 두므로 지표의 변화 방향이나 변화 추이, 속도에 대해 더 많은 세부적인 정보를 줌.
    • 그렇지만 스톡 지표 중 예를 들어 1) 링크드인의 누적 프로필 수, 2) 멜론의 누적 보유곡 수, 3) 마리트에 현재 판매 중인 여행 상품 수 등의 지표는 핵심 지표임

 

• 지표를 명확하게 정의하기

단순히 MAU라는 지표를 추출할 때도 기준을 명확히하고 다른 팀과의 커뮤니케이션을 통해 지표를 통일시켜야 서로 이해관계가 일치한다고 말해준다. 

 

• 전체 관점에서의 최적화

지표를 개선하기 위한 행동이 부분 최적화가 아닌 전체 관점에서의 최적화에 초점을 맞춰야 한다. 잘못된 최적화의 예시로는 특정 페이지의 CTR에만 집중하다가 전체 퍼널에서의 전환율이 떨어지거나 퍼포먼스 광고의 CPC에만 집중하다가 전체 광고의 성과가 낮아지는 사례.

 

• 심슨의 역설

전체 데이터를 놓고 보면 잘 드러나지 않는 특성들이 쪼개진 상태에서는 명확하게 드러나는 경우가 많음. 심슨 패러독스란 쪼개진 데이터에서 성립하는 관계가 합쳐진 데이터에서는 반대로 나타나는 현상을 말한다.

 

• OMTM(One Metric That Matters)

지표를 잘 활용하기 위해 가장 우선적으로 고려해야 하는 것은 ‘지금 가장 중요한 지표가 무엇인가?’라는 질문에 답하는 것이다.

 

OMTM의 가치는 구성원들이 바라보는 방향성을 일치시키고 자원을 집중하는 데서 나온다.  가장 중요한 핵심 지표를 정하기 위해서는 현재 우리 서비스의 상태나 목표, 서비스 성장 단계 등의 요소를 종합적으로 고려해야 한다.

 

OMTM은 성장을 목표로하는 지표다. 이를 바탕으로 어떤 의사결정을 하고 이에 따라 전사적인 리소스를 어떻게 배분할 것인가를 결정하는 것이다. 결과뿐 아니라 결과를 달성하는 과정도 큰 의미를 가진다. 반면 KPI는 일반적으로 평가를 위해 활용하는 지표다.

 

• A/B테스트 설계하기
  • 가설
    • AB테스트가 의미 있으려면 실험을 통해 무엇을 확인하고 싶은지가 명확해야 한다. 독립 변수와 종속 변수가 무엇인지를 정의하고 종속 변수의 목표 수준을 정하는 형태로 이뤄진다. (구체적인 목표 수준 10% 상승 등을 포함하는 것이 좋다.)
  • 실험집단, 통제 집단
    • 전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의해야 한다. 통제 변수 관리와 샘플링이 중요.
  • 독립 변수
    • 설명 변수라고도 한다. 인과 관계에서 원인이 되는 변수, 종속 변수에 영향을 줄 거라고 기대되는 변수. 구체적인 수준을 어떻게 설정할 것인지에 대해서도 결정해야 한다.
  • 종속 변수
    • 독립 변수에 의해 영향을 받을 것으로 기대되는 변수다.
  • 통제 변수
    • 실험 결과에 영향을 미칠 수 있기 때문에 실험 집단, 통제 집단 모두에서 동등한 조건을 가져야 하는 변수를 의미한다. 독립 변수가 아니지만 종속 변수에 영향을 미칠 수 있는 제3의 변수라고 볼 수 있다.
  • 샘플 크기
    • 가설 검증에 필요한 실험 참가자의 숫자를 의미한다. 통계적 유의도를 확보하기 위한 숫자를 고려해서 정해야 함.
  • 실험 기간
    • 샘플 크기를 고려했을 때 가설 검증을 위한 데이터를 수집하는 데 필요한 기간을 정의해야 함.
• AB테스트 설계 시 유의사항
• 실험 집단과 통제 집단 샘플링

실험 집단을 선별할 때 공정한 샘플링을 위해 랜덤 추출을 하면 되지 않느냐고 생각하기 쉽다. 많은 사람들이 랜덤 추출과 편의 추출을 혼동한다. 랜덤 추출은 통제 변수가 잘 관리된 것을 전제로 모든 표본이 동일한 확률을 가진 상태에서 뽑는 무작위 추출을 의미한다. 통제 변수가 관리 되지 않은 상태라면 랜덤 추출이라는 말을 쓰면 안된다.

• 순차 테스트와 동시 테스트

순차 테스트는 A 조건으로 일정 기간 테스트를 한 다음, B 조건으로 바꿔서 연이어 테스트를 진행하고 두 가지 조건의 결과를 비교하는 방식. 순차 테스트의 가장 큰 문제는 제대로 된 통제 변수 관리를 할 수 없다는 점이다. 실험 기간이 달라짐에 따라 기대하지 못한 외부 효과가 개입할 여지가 있기 때문이다.

 

• p-value에 대한 이해
  • 우리가 검증하고 싶은 것은 A 조건의 클릭율이 B 조건의 클릭율보다 높다는 가설이다.
  • 통계학에서는 이러한 직접 비교를 통한 검증은 불가능하다.
  • 이 경우 A조건과 B조건의 클릭율 차이가 없다고 가정한다. (귀무가설)
  • 표본을 추출해서 검정해 봤더니 검정통계량이 매우 극단적인 값이 나온다. (t, f통계량이 검정통계량)
  • 귀무가설 하에서(A조건과 B조건에서의 실제 클릭율 차이가 없다고 가정했을 때) 이처럼 극단적인 검정통계량이 관찰될 확률(p값)은 5% 미만이다.
  • 그러면 A조건과 B조건은 클릭율의 차이가 있다고 판단할 수 있다.

즉, 귀무가설 하에서 관찰된 검정통계량만큼의 극단적인 값이 관찰될 확률을 의미한다. 검정통계량이 극단전인 값일수록 귀무가설을 반박하는 목소리를 크게 낼 수 있다고 생각하면 된다.

 

그렇지만 표본의 크기가 커지면 p값이 낮아지는 특성이 있기 때문에 실험 집단의 규모가 매우 크다면 p값이 가지는 의미가 왜곡될 수 있다. p값이 충분히 낮은 경우래도 집단 간 차이 자체가 미미하다면 실질적으로는 사업적 관점에서의 의미가 없는 경우도 있다.

 

 

3) 느낀점

전체적인 지표의 활용성이나 혹은 마이리얼트립에서 겪으셨던 실사례를 통해 설명해주신 덕에 이해가 잘되었다. 그리고 가장 공감하는 내용 중에 하나가 '지표 통일에 대한 중요성'이다. 실제로 이 부분에서 혼자만 알고있다가 당연히 알겠지?라고 생각했던 부분에서 많은 깨달음을 얻고 사전에 미리 말을 맞춰나가야 함의 중요성을 깨달았었다. 다음에는 방법론을 적용해 성과를 일궈내보고 싶다.