요즘 저는 UX 관련 일을 하고 있습니다. 예전부터 관심은 있었지만 실무 경험은 처음이다보니 뭘 해도 생소하고, 동료들에게 배울 것도 많고, 찾아서 공부할 거리도 많습니다. 덕분에 바쁘면서도 재미있는 날들을 보내고 있습니다.


1. UX의 가치?

취미로 UX 공부를 할 때엔 전혀 생각해보지 못했는데 막상 일을 하려다보니 갑자기 머리 속에 떠올라서는 떠나지 않는 생각 거리가 하나 있습니다.

"UX는 얼마나 중요한가? 내 일이 회사에 어떤 가치를 줄 것인가? 그것을 어떻게 증명할 것인가?"

이 질문은 사실 무슨 일을 하건 간에 중요한 고민거리라고 생각합니다. 그런데 개발을 할 때엔 그래도 뭔가를 직접 만들고 있다는 생각 때문이었는지 이런 고민을 진지하게 해본 적이 없었는데, 직접 뭔가를 만들어내는 일을 하지 않게 되어서 그런지 이런 고민을 하게 됩니다.

그래서 한 일주일 정도 이것 저것 찾아 읽으면서 공부를 조금 했는데요, 이 내용을 공유하고자 합니다. 공부도 경험도 부족해서 좀 어설프겠지만, 비슷한 고민을 하시는 분들께 조금이나마 도움이 되면 좋겠습니다.


2. 투자수익률

ROI(Return on Investment - 투자수익율)라는 개념이 있습니다. 쉽게 말하면 투자(I)한 것이 비하여 얻은 것(R)이 얼마나 많은가를 나타내는 수치인데 보통은 퍼센트(%) 단위로 씁니다. 간단히 말해서 100원을 투자해서 500원을 벌었으면 ROI는 500% 인거죠.

ROI 계산을 하는 이유는 보통 두 가지가 있습니다. 첫째, 투자의 우선순위를 정하기 위해서(prioritization)입니다. 이를테면 여러가지 가능한 프로젝트 중 어떤 프로젝트에 얼마만큼의 비용을 투입할 것인지, 어떤 프로젝트는 진행하지 않을 것인지 등을 평가하기 위해 사전에 ROI를 분석하는 것이죠(이 때엔 여러가지 추정이 들어가게 됩니다).

둘째, 완료된 프로젝트를 평가하기 위해서(accountability)입니다. 프로젝트에 실제로 투입된 비용 대비 얼마나 많은 가치를 얻었는지를 프로젝트 전/후의 지표들을 비교하여 알아낼 수 있습니다. 이렇게 구해진 ROI에는 추정이 좀 덜 들어가게 됩니다(추정이 안들어갈 것 같지만 사실은 그렇지 않다고 합니다. 이러한 부분에 대해서 재무나 회계를 공부하지 않은 저 같은 사람을 위해 쉽게 풀어 쓴 책이 있으니 참고하셔도 좋겠습니다).

"내 일이 회사에 어떤 가치를 줄 것인가?"라는 최초의 고민에 대한 답은 후자(accountability)로부터 얻을 수 있을 것입니다. 전자(prioritization)는 사실 생각치 못하고 있었는데 이번에 공부를 하면서 얻게 된 소득입니다. 지금까지는 일단 프로젝트가 시작된 후에 "이를 어떻게 성공적으로 마칠 것인가"에 대한 고민을 주로 해왔는데, 이걸 읽고 나서는 "어떻게 하면 프로젝트가 시작되게 만들 것인가"에 대한 고민도 필요하다는 것을 알게 되었습니다. 사실 이 부분에 대해서는 예전에 읽었던 Software by Numbers에서도 언급하고 있는데 그 때는 별 생각 없이 지나갔던 모양입니다.

자, 이제 문제는 UX의 ROI를 어떻게 측정할 것인가 입니다.


3. UX의 ROI 측정하기

제가 살펴본 자료 중에서는 AdaptivePath에서 2004년에 공개한 How ROI changes User Experience가 이 문제를 가장 깊이있게 다루고 있습니다. 기존의 UX/HCI/Usability 분야에서 있었던 ROI 관련 논의들에 대한 비판(The Myths of Usability ROI)에도 해당되지 않고요. 참고로 AdaptivePath는 Ajax라는 용어를 처음 만든 제시 제임스 게럿이 대표로 있는 회사입니다

문서의 내용을 간단히 요약하면 첫째, UX의 ROI를 사전 예측 및 사후 평가하는 것이 가능하고 둘째, 이를 통해 조직의 UX 역량을 향상시키고 조직 내 UX 관련 부서의 영향력을 증대시키며 비즈니스 가치에 기반한 의사 결정 문화를 단계적으로 도입하는 것이 가능하다는 내용을 담고 있습니다.

이 문서에서는 UX의 ROI를 평가하기 위해 비즈니스 목표(business problem), 사용자 행동, 행동 지표, 가치 지표를 연결할 것을 제안하고 있습니다. 예를 들면 이런 식입니다.

• 비즈니스 목표: 제품 판매량을 증가
• 사용자 행동 지표: "지금 구매하기" 버튼 클릭수 증가
• 가치 지표: 구매 당 $100의 수익이 발생
• UX 팀의 예측: 제품 데모 동영상을 제공하면 월별 구매량이 100건 증가할 것으로 예측. 데모 제작 비용은 $100,000
• 따라서 12개월 후 $20,000의 수익을 기대할 수 있음.
  

이러한 과정을 통해 UX의 ROI를 사전에 추정할 수 있고, 이를 그대로 이용하여 프로젝트가 완료된 후 사후 분석을 수행할 수도 있습니다.

하지만 사전 분석이건 사후 분석이건 간에 중요한 문제가 있는데요, 사전 분석의 경우 "제품 데모 동영상이 월별 구매량을 100건 증가시켜줄 것이다"라는 사실을 어떻게 예측할 수 있는가 하는 점입니다. 사후 분석도 비슷한 문제를 가지고 있습니다. UX 개선 프로젝트 완료 후 실제 구매량이 20% 증가했다고 하더라도 이 중 대체 얼마만큼이 UX 개선 프로젝트의 영향으로 인한 것인지 알아낼 방법이 애매합니다. 예를 들어:

• 마침 방학을 해서 원래 30% 증가했어야 하는데 UX 개선 프로젝트가 실패했기 때문에 20%만 증가한 것인지(이 경우 프로젝트가 구매량 증가에 미친 영향은 -10%)
• 마침 개학을 해서 원래 10% 감소해야 할 판이었는데 UX 개선 프로젝트가 성공한 덕에 5%만 감소한 것인지(이 경우 프로젝트가 구매량 증가에 미친 영향은 +5%)
  

를 명확히 분리하기가 힘들다는 것이죠. 저는 A/B Testing이 이 문제에 대한 적절한 해결책이라고 생각합니다.


4. 과학적 통제 - Bucket test

과학적으로 엄격한 실험을 할 때 변수를 통제하기 위해서 실험군과 대조군을 나누는 방식을 씁니다. 예를 들면 약의 효과를 검증하기 위해 환자를 실험군과 대조군으로 나누고 다른 모든 상황은 동일하게 유지한 상태에서 한 쪽에는 실제 약을, 다른 쪽에는 위약을 줍니다. 이 때 실험군과 대조군 사이에 유의미한 차이가 나타나면 이를 약의 효과로 보는 것이죠.

전통적으로 인터넷에서 배너 광고 등의 효과를 테스트하기 위해 이와 비슷한 방식을 사용해왔는데요 A/B Testing 혹은 Split Testing이라고 불립니다. 다른 환경은 유지하고 배너의 문구만 두 종류로 바꿔서 일부 유저에게는 첫번째 문구를, 나머지 유저에게는 두번째 문구를 보여주고 이 중 어떤 배너가 더 높은 클릭율을 보이는지 등을 측정하여 더 효과가 좋은 문구를 찾아내는 방식입니다. A/B Testing이나 MVT(다변량테스트)에 대해서는 실전 웹사이트 분석 A to Z를 참고하세요.

이러한 방식을 UX 개선 프로젝트의 ROI 평가에 활용할 수 있을 것입니다. 앞에서 실제 구매량 변화 중 UX 개선이 미친 영향만을 분리하기가 어렵다고 했는데요, 사용자의 대다수에게는 기존 페이지를 보여주고 일부(이를테면 5%)에게만 개선된 페이지를 보여준 후 이 두 그룹 사이의 구매량 차이를 비교하면 매우 객관적으로 UX 개선이 구매량에 미친 영향을 평가할 수 있을 것입니다. 이를 Bucket Testing이라고 합니다.

이런 저런 자료를 찾아보았는데, Bucket Testing과 A/B Testing은 본질적으로 동일하고 서로 바꿔써도 큰 상관이 없어보입니다. 아마도 이름에서 강조하는 부분에 약간 차이가 있어서 문맥에 따라 적절히 쓰면 될 것 같아요. Bucket Testing에서는 전체가 아닌 일부(보통 5% 이내)에만 새 디자인을 노출한다는 것을 강조하고 있고, A/B Testing은 동시에 여러 버전의 디자인을 보여준다는 것을 강조하고 있습니다.


5. 결론

글이 생각보다 길어졌네요. 요약하자면 1) 비즈니스 목표, 사용자 행동 지표, 가치 지표를 연결하여 UX의 ROI를 추정/평가할 수 있고, 2) Bucket Testing을 통해 UX 개선으로 인한 효과만 객관적으로 분리해낼 수 있을 것입니다. 이 프로세스가 조직 내에 널리 수용되면 3) 조직의 UX 역량을 향상시키고, 비즈니스 가치에 기반한 의사 결정 문화를 도입할 수 있게 됩니다.

자, 이제 기본적인 틀은 대충 갖췄으니 실제로 경험할 차례입니다. 분명 하다보면 문제가 생기겠죠. 저는 그 덕에 또 새로운 뭔가를 배울 수 있게 될 것입니다. :-)

내년 쯤에는 제 경험을 바탕으로 글을 쓸 수 있게 되었으면 좋겠습니다.


6. 참고자료

다음은 공부를 하면서 읽어봤던 자료 중에 괜찮았던 것들입니다. 본문 중에 링크를 한 것도 있고 못한 것도 있습니다:

• The Myths of Usability ROI
• How to organizationally embed UX in your company
• What makes UX successful from the executive perspective?
• Financial Intelligence
• Software by Numbers
• 실전 웹사이트 분석 A to Z
  

감사합니다.

안녕하세요? 오픈마루 아톰입니다. 이 글은 아톰 저의 이야기 입니다.  

간만에 포스팅으로 뵙는 것 같습니다. 이번 포스팅에서는 지난 11월 26일(수)에 삼성 SDS 멀티캠퍼스에서 UX와 관련된 Forum이 있어 Forum의 내용과 저의 생각들(?)을 정리해보고자 합니다 ^^

과거의 이런 Forum이나 컨퍼런스에서는 대부분 개론적인 내용이 많아서 적잖이 실망을 하기도 했었는데 요번에는 개인적으로, 생각보다 얻을 것이 있었던 자리가 아니었나 하는 생각이 듭니다.

이번 Forum은 크게 두개의 세션으로 구성되
었는데요. 요약하자면 다음과 같습니다.
[사진 출처: 블로그 부러진 날개를 펴다]

• Session 1 : UX에 대한 소개(정의) 및 UX를 향상 시킬 수 있는 스킬(?) 향상을 위한 Tool 안내
• Session 2 : 웹 사이트 평가 방법론

1. Session 1

• UX의 정의
  UX에 대한 정의는 그 정의를 내리는 주체에 따라 조금씩 다르게 표현하지만 결국 가장 근본적인 요소는 사용자라는 것은 누구나 아는 내용이다.
  사람과 개체(PC, Mobile 등)간 일어나는 사용 목적, 주의 그리고 Task들은 인간의 행동, 환경, 문화의 영향을 받아 이루어지기 때문에 단순히 인터페이스(UI)를 넘어서는 요소들도 고려의 대상이다.

• UX 개발 프로세스
  Research 단계 --> Experience Planning 단계 --> Experience Briefing 단계 --> Experience Design 단계 --> Experience Roadmap 단계
  각 단계별로 상황에 맞는 방법론이 존재한다.(이는 각 회사별로 다를 것 같네요)
  여기서 가장 중요한 부분이 "Experience Briefing 단계"라고 강조하고 있는데요. 이는 본격적인 개발 이전에 팀 내부의 명확한 합의 및 의사결정자들의 설득을 위한 단계로 프로젝트의 진행을 위해서는 반드시 거쳐야 하는 단계라고 말하고 있습니다. 흔히 실제 개발보다 더 어려운건 의사결정자들을 설득하는 것이라고들 하는데 이러한 점을 반영한 것이라고 생각 됩니다.

• UX팀 구성
  Information Archietct + Interaction Designer + Usability Engineer + Visual Designer + Prototype Engineer로 구성하는 것이 최적이라고 합니다.
  아주 이상적인 팀 구성인데요. 이렇게 실제 구성하는 회사가 얼마나 될지는 의문이네요.
  우리나라의 현실에서는 Information Archietct + Interaction Designer + Usability Engineer = 기획자 / Visual Designer = 디자이너 / Prototype Engineer = 개발자가 아닐까 생각해봅니다. 여담입니다만, 오픈마루도 최대한 최적의 UX팀 구성, 팀웍을 위해 꾸준히 노력하고 있답니다 ^^

• UX 트렌드
  • Reality based Interface
    정의 : 현실에서 생활하면서 습득한 주변과의 상호작용 방식을 그대로 확장하여 제품이나 시스템에 사용할 수 있는 인터페이스
    Haptic/Gesture/안면인식/음성인식 등의 기술로 대변되는 인터페이스로 하드웨어적인 기술의 발전으로 점점 그 실현가능성이 높아지고 있다고 합니다.
    Haptic의 경우 이미 모바일 기기에서 많이 사용하고 있고, 이외 Bumtop이나 Smart skin 등이 있는데 실제 검색을 통해서 웹 사이트나 동영상을 보실 수 있습니다.
    또한 RIA 기술의 도래로 기존의 UI와는 다른 색다른 경험을 제공하고 있고 앞으로 발전이 예상된다고 하네요.

• Seamless Interface
  정의 : Computer, Game Console, IPTV, Mobile 등 다양한 Device에 두루 사용 가능하고 Multi-Function을 표현 가능한 인터페이스
  현재는 Mobile 기기나 Game 기기에서 많이 적용되고 있는 인터페이스로 Full-Browser가 대표적인 예라고 할 수 있고,
  Apple iPhone & iTunes와 Google Android 등에서 적용되고 있고, 게임에서는 Nintendo Wiimote, PS3 및 XBOX360 등에서도 적용되고 있다고 합니다.

• RIA 기술
  현재 UX를 가장 잘 표현할 수 있는 인터페이스 방식으로 RIA를 말하고 있는데, 많은 분들이 아시다시피 대표적으로 FLEX, JavaFX 및 Silverlight가 있습니다.
  각 기술들이 워낙 많은 자료들이 있는 만큼 자세한 내용은 쉽게 접근하실 수 있을 것 같은데, JavaFX는 아직 개발이 완성된 것이 아니라고 하니 참고하시면 되겠습니다.
  세션의 마지막에 3개 기술의 장단점을 비교해 주셨는데 제가 볼때는 여전히 FLEX가 좋은데 JavaFX 또한 막강한 도구임은 분명한 것 같습니만, 이 또한 각 상황에 따라 맞는 기술을 사용하면 될 것 같습니다.
   

2. Session 2

개인적으로 사용자 조사를 담당하고 있기 때문에 두번째 세션이 가장 인상 깊었는데, 이유는 그 동안 사용자 조사 시 언제나 가지고 있던 근질근질한 부분을 상당 부분 긁어주셨기 때문입니다.^^

대부분의 사용자 조사는 크게 정량적, 정성적 조사를 하게 되는데 그 영역간 Sealess한 연계가 어렵고 또한 잘 하려고 하지 않았던 것이 사실이지만, 세션2에서 전달하고 있는 내용은 정량과 정성조사를 자연스럽게 연계하여 원하는 데이터를 얻을 수 있는 방법에 대한 소개였고 개인적으로는 상당히 인상적이었습니다 ^^

이 방법론을 전민수 이비피알 컨설팅 대표께서는 SQI(Service Quality Index)라고 명명하셨는데 핵심은 다음과 같습니다.

• 정량의 방법으로 정성의 내용을 묻다.
  즉, '온라인 서베이에서 객관식이 아닌 주관식으로 묻는다' 입니다.

• 답변에서 서비스의 만족/불만족/경쟁사 이미지 등을 추출한다.
  분석자의 눈물나는 노력이 필요한 부분입니다.

• Index화 한다.
  정성의 내용을 정량화(수치화) 한다는 것으로 비율이 충분히 나올 수 있을 것입니다.
  이에 따라 각 서비스 구성 요소들 마다의 중요도가 산출될 수 있고, 개선의 우선 순위가 도출됩니다.

• UT를 통한 검증을 수행한다. 필요하다면 FGI도 수행한다.
  UT를 통해 최종 문제점이 확정되는 단계입니다. 개인적으로 FGI는 비추하고 있는데, 연계된 방법으로 일환으로써 FGI는 나름 큰 효과를 볼 수도 있겠다라는 생각을 해봤습니다.

내용 자체는 간단하게 보일 수 있지만, 실제 수행하기 위해서는 상당한 노력이 수반되는 방법론인데 효과는 나쁘지 않을 것 같습니다.

UT만 하면 문제점이 모두 나오고 온라인 서베이만 하면 사용자의 Needs를 파악할 수 있다는 안이한 방법에서 좀 더 논리적이고 구체적인 사용자 조사 방법이 아닌가 하는 생각이 들었습니다.

• 지난 포럼 볼수 있는 곳

이상으로 이번 Forum의 내용을 정리해봤는데요. 적다보니 생각보다  글의 양이 많아 졌네요^^; 긴글 끝까지 읽어주셔서 감사합니다.
이상 오픈마루의 UR의 아톰이었습니다~! 

                                                                                     

  [사진 출처: 네이버 이미지]