요즘 저는 UX 관련 일을 하고 있습니다. 예전부터 관심은 있었지만 실무 경험은 처음이다보니 뭘 해도 생소하고, 동료들에게 배울 것도 많고, 찾아서 공부할 거리도 많습니다. 덕분에 바쁘면서도 재미있는 날들을 보내고 있습니다.


1. UX의 가치?

취미로 UX 공부를 할 때엔 전혀 생각해보지 못했는데 막상 일을 하려다보니 갑자기 머리 속에 떠올라서는 떠나지 않는 생각 거리가 하나 있습니다.

"UX는 얼마나 중요한가? 내 일이 회사에 어떤 가치를 줄 것인가? 그것을 어떻게 증명할 것인가?"

이 질문은 사실 무슨 일을 하건 간에 중요한 고민거리라고 생각합니다. 그런데 개발을 할 때엔 그래도 뭔가를 직접 만들고 있다는 생각 때문이었는지 이런 고민을 진지하게 해본 적이 없었는데, 직접 뭔가를 만들어내는 일을 하지 않게 되어서 그런지 이런 고민을 하게 됩니다.

그래서 한 일주일 정도 이것 저것 찾아 읽으면서 공부를 조금 했는데요, 이 내용을 공유하고자 합니다. 공부도 경험도 부족해서 좀 어설프겠지만, 비슷한 고민을 하시는 분들께 조금이나마 도움이 되면 좋겠습니다.


2. 투자수익률

ROI(Return on Investment - 투자수익율)라는 개념이 있습니다. 쉽게 말하면 투자(I)한 것이 비하여 얻은 것(R)이 얼마나 많은가를 나타내는 수치인데 보통은 퍼센트(%) 단위로 씁니다. 간단히 말해서 100원을 투자해서 500원을 벌었으면 ROI는 500% 인거죠.

ROI 계산을 하는 이유는 보통 두 가지가 있습니다. 첫째, 투자의 우선순위를 정하기 위해서(prioritization)입니다. 이를테면 여러가지 가능한 프로젝트 중 어떤 프로젝트에 얼마만큼의 비용을 투입할 것인지, 어떤 프로젝트는 진행하지 않을 것인지 등을 평가하기 위해 사전에 ROI를 분석하는 것이죠(이 때엔 여러가지 추정이 들어가게 됩니다).

둘째, 완료된 프로젝트를 평가하기 위해서(accountability)입니다. 프로젝트에 실제로 투입된 비용 대비 얼마나 많은 가치를 얻었는지를 프로젝트 전/후의 지표들을 비교하여 알아낼 수 있습니다. 이렇게 구해진 ROI에는 추정이 좀 덜 들어가게 됩니다(추정이 안들어갈 것 같지만 사실은 그렇지 않다고 합니다. 이러한 부분에 대해서 재무나 회계를 공부하지 않은 저 같은 사람을 위해 쉽게 풀어 쓴 책이 있으니 참고하셔도 좋겠습니다).

"내 일이 회사에 어떤 가치를 줄 것인가?"라는 최초의 고민에 대한 답은 후자(accountability)로부터 얻을 수 있을 것입니다. 전자(prioritization)는 사실 생각치 못하고 있었는데 이번에 공부를 하면서 얻게 된 소득입니다. 지금까지는 일단 프로젝트가 시작된 후에 "이를 어떻게 성공적으로 마칠 것인가"에 대한 고민을 주로 해왔는데, 이걸 읽고 나서는 "어떻게 하면 프로젝트가 시작되게 만들 것인가"에 대한 고민도 필요하다는 것을 알게 되었습니다. 사실 이 부분에 대해서는 예전에 읽었던 Software by Numbers에서도 언급하고 있는데 그 때는 별 생각 없이 지나갔던 모양입니다.

자, 이제 문제는 UX의 ROI를 어떻게 측정할 것인가 입니다.


3. UX의 ROI 측정하기

제가 살펴본 자료 중에서는 AdaptivePath에서 2004년에 공개한 How ROI changes User Experience가 이 문제를 가장 깊이있게 다루고 있습니다. 기존의 UX/HCI/Usability 분야에서 있었던 ROI 관련 논의들에 대한 비판(The Myths of Usability ROI)에도 해당되지 않고요. 참고로 AdaptivePath는 Ajax라는 용어를 처음 만든 제시 제임스 게럿이 대표로 있는 회사입니다

문서의 내용을 간단히 요약하면 첫째, UX의 ROI를 사전 예측 및 사후 평가하는 것이 가능하고 둘째, 이를 통해 조직의 UX 역량을 향상시키고 조직 내 UX 관련 부서의 영향력을 증대시키며 비즈니스 가치에 기반한 의사 결정 문화를 단계적으로 도입하는 것이 가능하다는 내용을 담고 있습니다.

이 문서에서는 UX의 ROI를 평가하기 위해 비즈니스 목표(business problem), 사용자 행동, 행동 지표, 가치 지표를 연결할 것을 제안하고 있습니다. 예를 들면 이런 식입니다.

• 비즈니스 목표: 제품 판매량을 증가
• 사용자 행동 지표: "지금 구매하기" 버튼 클릭수 증가
• 가치 지표: 구매 당 $100의 수익이 발생
• UX 팀의 예측: 제품 데모 동영상을 제공하면 월별 구매량이 100건 증가할 것으로 예측. 데모 제작 비용은 $100,000
• 따라서 12개월 후 $20,000의 수익을 기대할 수 있음.
  

이러한 과정을 통해 UX의 ROI를 사전에 추정할 수 있고, 이를 그대로 이용하여 프로젝트가 완료된 후 사후 분석을 수행할 수도 있습니다.

하지만 사전 분석이건 사후 분석이건 간에 중요한 문제가 있는데요, 사전 분석의 경우 "제품 데모 동영상이 월별 구매량을 100건 증가시켜줄 것이다"라는 사실을 어떻게 예측할 수 있는가 하는 점입니다. 사후 분석도 비슷한 문제를 가지고 있습니다. UX 개선 프로젝트 완료 후 실제 구매량이 20% 증가했다고 하더라도 이 중 대체 얼마만큼이 UX 개선 프로젝트의 영향으로 인한 것인지 알아낼 방법이 애매합니다. 예를 들어:

• 마침 방학을 해서 원래 30% 증가했어야 하는데 UX 개선 프로젝트가 실패했기 때문에 20%만 증가한 것인지(이 경우 프로젝트가 구매량 증가에 미친 영향은 -10%)
• 마침 개학을 해서 원래 10% 감소해야 할 판이었는데 UX 개선 프로젝트가 성공한 덕에 5%만 감소한 것인지(이 경우 프로젝트가 구매량 증가에 미친 영향은 +5%)
  

를 명확히 분리하기가 힘들다는 것이죠. 저는 A/B Testing이 이 문제에 대한 적절한 해결책이라고 생각합니다.


4. 과학적 통제 - Bucket test

과학적으로 엄격한 실험을 할 때 변수를 통제하기 위해서 실험군과 대조군을 나누는 방식을 씁니다. 예를 들면 약의 효과를 검증하기 위해 환자를 실험군과 대조군으로 나누고 다른 모든 상황은 동일하게 유지한 상태에서 한 쪽에는 실제 약을, 다른 쪽에는 위약을 줍니다. 이 때 실험군과 대조군 사이에 유의미한 차이가 나타나면 이를 약의 효과로 보는 것이죠.

전통적으로 인터넷에서 배너 광고 등의 효과를 테스트하기 위해 이와 비슷한 방식을 사용해왔는데요 A/B Testing 혹은 Split Testing이라고 불립니다. 다른 환경은 유지하고 배너의 문구만 두 종류로 바꿔서 일부 유저에게는 첫번째 문구를, 나머지 유저에게는 두번째 문구를 보여주고 이 중 어떤 배너가 더 높은 클릭율을 보이는지 등을 측정하여 더 효과가 좋은 문구를 찾아내는 방식입니다. A/B Testing이나 MVT(다변량테스트)에 대해서는 실전 웹사이트 분석 A to Z를 참고하세요.

이러한 방식을 UX 개선 프로젝트의 ROI 평가에 활용할 수 있을 것입니다. 앞에서 실제 구매량 변화 중 UX 개선이 미친 영향만을 분리하기가 어렵다고 했는데요, 사용자의 대다수에게는 기존 페이지를 보여주고 일부(이를테면 5%)에게만 개선된 페이지를 보여준 후 이 두 그룹 사이의 구매량 차이를 비교하면 매우 객관적으로 UX 개선이 구매량에 미친 영향을 평가할 수 있을 것입니다. 이를 Bucket Testing이라고 합니다.

이런 저런 자료를 찾아보았는데, Bucket Testing과 A/B Testing은 본질적으로 동일하고 서로 바꿔써도 큰 상관이 없어보입니다. 아마도 이름에서 강조하는 부분에 약간 차이가 있어서 문맥에 따라 적절히 쓰면 될 것 같아요. Bucket Testing에서는 전체가 아닌 일부(보통 5% 이내)에만 새 디자인을 노출한다는 것을 강조하고 있고, A/B Testing은 동시에 여러 버전의 디자인을 보여준다는 것을 강조하고 있습니다.


5. 결론

글이 생각보다 길어졌네요. 요약하자면 1) 비즈니스 목표, 사용자 행동 지표, 가치 지표를 연결하여 UX의 ROI를 추정/평가할 수 있고, 2) Bucket Testing을 통해 UX 개선으로 인한 효과만 객관적으로 분리해낼 수 있을 것입니다. 이 프로세스가 조직 내에 널리 수용되면 3) 조직의 UX 역량을 향상시키고, 비즈니스 가치에 기반한 의사 결정 문화를 도입할 수 있게 됩니다.

자, 이제 기본적인 틀은 대충 갖췄으니 실제로 경험할 차례입니다. 분명 하다보면 문제가 생기겠죠. 저는 그 덕에 또 새로운 뭔가를 배울 수 있게 될 것입니다. :-)

내년 쯤에는 제 경험을 바탕으로 글을 쓸 수 있게 되었으면 좋겠습니다.


6. 참고자료

다음은 공부를 하면서 읽어봤던 자료 중에 괜찮았던 것들입니다. 본문 중에 링크를 한 것도 있고 못한 것도 있습니다:

• The Myths of Usability ROI
• How to organizationally embed UX in your company
• What makes UX successful from the executive perspective?
• Financial Intelligence
• Software by Numbers
• 실전 웹사이트 분석 A to Z
  

감사합니다.