MAB 테스트 : 1주일에서 한달, 단기 프로젝트의 폭발적인 성장을 위해
A/B Test는 빠른 피드백을 위해 여러 회사에서 사용하고 있는 테스트 전략입니다. A와 B사이 단 한가지 요소만을 다르게 세팅하여, 어떤 것이 성과가 있는지 확실하게 알아보는 방법입니다.
하지만 이는 한 번의 테스트에 하나의 가설만 검증 가능하다는 단점을 가지죠. 오늘은 이를 보완하는 새로운 테스트 방법에 대해서 알려드리고자 합니다.
MAB
디지털 공간은 항상 빠르게 변화하며 새로운 것들이 시도됩니다. MAB 테스트는 여러 개의 테스트 그룹 중, 가장 좋은 그룹을 선택하는 것입니다.
예를 들자면, 투자를 시작한 당신, 어떤 주식에 돈을 투자하시겠습니까? 여러 가지 요소를 고려하여, 분산적으로 투자하는 것이 일반적입니다. 본 테스트도 이와 비슷합니다. 각각의 선택 사항에 관하여 리워드를 평가하고, 각각의 투자 비율을 다르게 조정합니다.
본 테스트 알고리즘은 시간이 지날수록 더욱 나은 선택을 하고, 최소한의 비용으로 최대한의 보상을 얻을 수 있게 해줍니다. 전통적인 A/B 테스트보다 성공 지표를 빠르게 최적화시키고, 의사결정을 돕는 녀석입니다. 최근에는 온라인 광고, 클릭률, 텍스트 최적화 등 마케팅 분야 뿐 아니라 사회과학분야의 여러 곳에서 각광받고 있습니다. 본 글에서는 MAB에 대한 구체적인 이야기(로직 등)의 이야기보다는 기본적인 소개와 활용 방법을 중점으로 알려드리겠습니다.
A/B 테스트의 보완
본격적으로 둘의 차이점을 살펴보자면, 일반적으로 A/B Test는 일정 기간 동안 여러 지표와 통계 값을 수집하고, 확률을 고려하여 분석 과정을 거친 이후에 의사 결정을 내립니다. 즉, 탐색과 활용의 과정을 거치고, 이 때문에 테스트를 하면 할수록 기회비용이 발생합니다. 테스트를 하는 시간과 과정에서 비용이 소모된다는 것이죠.
하지만 기회비용을 아끼기 위해 테스트를 짧게 한다면, 통계 표본이 적어지기 때문에 신뢰를 보장할 수 없습니다. 이 때문에 테스트 기간은 적당히 길어야 하는데, 늘 그렇듯 이 적당히의 기준은 매우 주관적입니다.
하지만 반대로, MAB는 테스트에 기회비용이 들지 않습니다. 네, 오히려 테스트를 진행하지 않죠. Multi Armed Bandit, 직역하자면 ‘여러 팔 강도’는 여러 개의 팔을 가진 슬롯머신을 비유한 표현입니다. 카지노에선 슬롯머신마다 돈을 따고 잃을 확률을 다르게 설정해둔다고 하는데요, 고객 입장에서는 돈을 최대한 많이 따기 위해선 어떻게 해야 할까요?
네, 모든 슬롯 머신을 한번씩 당겨보면 되겠지만, 여기서 기회비용이 발생합니다. 하지만 MAB는 여러 팔을 가지고 있기 때문에 기회비용 없이 수익률을 극대화시킬 수 있습니다. 즉, 한번에 여러 개의 슬롯머신을 동시에 당기는 것이죠. 첨부해드린 사진과 같이, 여러 개의 가능성을 동시에 시도하고 최적의 결과를 찾아낼 수 있습니다. AI와 비슷하다고 생각하실수도 있는데, 네 맞습니다. 하지만 빅데이터를 기반으로 판단하는 AI와 완전히 같지는 않습니다. MAB는 조금 더 간단한 로직을 사용하죠.
이 같은 점 때문에 본 테스트는 일시적으로 빠르게 전환을 극대화시키는 데에 아주 유용합니다(단기 프로모션, 웨비나 등). 또는 검색 및 추천 로직 알고리즘 최적화를 단시간 안에 해낼 수도 있죠.
주의점들
이게 듣기만 하면 상당히 좋아 보이지만, 아직 조심해야 할 점들이 조금 남아 있습니다. 지금 개발자들은 더욱 빠른 인사이트와 최고의 성능을 위해 본 테스트를 고려하고 있는데요, 당연히 기존의 테스트가 훨씬 유용한 상황들이 있습니다.
MAB는 수많은 변형을 제공하고, 더 나은 옵션들을 우리에게 제공하지만 이는 기회비용이 존재하지 않는 만큼, 사용자 행동의 변화를 고려하지 않습니다. 즉, 각각의 전환률이 테스트 전반에 걸쳐 일정하게 일어나고, 동일한 행동을 계속 취할 것이라 가정하기 때문에 외부의 변수들을 고려하지 않습니다.
이는 어떻게 보면 급변하는 시장 속에서 치명적인 단점으로 볼 수 있습니다. 모르는 곳에서 사고가 일어날 수도 있고, 더욱 나은 해결 방법을 놓치게 될 수도 있습니다.
또한 단일 지표에 우선순위를 두고 움직이기 때문에, 다른 성과 지표는 딱히 고려하지 않습니다. 이렇게 되면 의도하지 않은 결과, 우연히 일어나는 성과들이나 기회들을 놓칠 수 있게 됩니다. 이러한 점 때문에 고객이 여러 디바이스에서 액세스를 시도하거나, 로그인을 하거나, 혹은 프로모션으로 인한 특수한 상황이 벌어졌을 때에 유연하게 대처할 수 없습니다. 당연하게도 이러한 실수는 성과 추락으로 이어지고, 사용자의 신뢰를 떨어뜨리게 됩니다.
그리고 가장 중요한 사실은, 이 모든 특수한 상황이 없다고 해도 항상 최적의 결과만을 제공하는 것은 아닙니다. 이 또한 수많은 시도를 통한 통계를 기반으로 움직이는 알고리즘이기에, 트래픽을 줄이게 되면 신뢰도와 확실성이 줄어들게 됩니다.
언제, 어떻게 사용하면 좋나요?
앞서 말씀드렸듯 MAB는 단기간의 폭발적인 성장에 매우 유용합니다. 장기간이 아닌 단기간은 고객의 행동이나 특수한 상황도 고려하기 쉽고, 기회비용의 문제로 기존의 테스트들도 어렵기 때문입니다.
예를 들면 단기 프로모션이 있습니다. 추석이나 설날 등 짧은 기간 동안 상품을 판매하는 이벤트를 개시했을 때에, 기존 테스트들의 경우 시행할 수 있는 시간이 없습니다. MAB는 즉각적인 인사이트를 얻을 수 있으므로 빠르게 이벤트 내용과 문구를 조작해 나갈 수 있습니다.
또한 UA 분야에서 초기 알고리즘 학습에서도 매우 유용합니다. 일반적으로 SEO나 UA 등의 광고 분야에서는 머신러닝이 학습하기 위해 1주 내지 1달이라는 시간이 쓰이게 됩니다. 그 동안 계속해서 예산은 분배해줘야 하고, 머신러닝이 학습하기전 까진 할 수 있는 작업이 그다지 없죠.
MAB를 사용한다면 빠른 시간 안에 학습이 가능하므로 돈과 시간을 상당히 아낄 수 있습니다. 이후에 A/B테스트를 진행해서 장기적인 인사이트를 얻는다면 더욱 좋겠죠?
마무리
세상에 만능은 없습니다. 디지털 세상에서의 성공은 역시 상황에 맞는 올바른 방식을 사용하는 데에 있겠죠. 정리하자면 MAB는 민감하고 빠르게 변화하는 시장에서 비용을 아끼고, 신속한 의사결정을 내릴 순 있지만 유연한 대처가 불가능합니다. A/B Test는 돈과 시간은 더욱 들지만 유연성이 있고, 기간이 길다면 더욱 신뢰할 수 있죠.
소개드린 테스트를 상황에 맞게 사용해서, 최적의 결과를 달성해보세요!
