정량적 데이터를 보면 유저 반응이 보입니다

🧑‍💻 좋은 서비스를 완성하는 UX 디자인 #12

프로덕트를 리뷰할 때 정성적인 데이터 못지않게 중요한 건 수치로 표현되는 정량적인 데이터예요. 클릭 수, 체류 시간과 같은 정량적 데이터는 프로덕트 리뷰를 바탕으로 개발 방향을 수정하는 등 의사 결정이 필요할 때 객관적인 판단 기준이 되어줄 수 있어요.

❓ 인스타그램이 A/B 테스트 이후에 UI를 유지한 이유

수년 전, 인스타그램은 새로운 홈 화면 디자인에 대한 유저 반응을 확인하는 A/B 테스트를 진행했어요. 일부 유저에게는 사진이나 영상을 기존보다 큰 사이즈로 제시하고 본문 텍스트를 그 위에 배치하는 피드 UI를 제공한 반면, 나머지 유저에게는 기존 게시물 UI를 그대로 제시했죠. A/B 테스트는 2주가량 진행되었고, 이후 인스타그램 게시물 UI는 기존 레이아웃 그대로 유지됐어요.

인스타그램이 기존 UI 디자인을 유지하기로 한 구체적인 이유는 내부 직원만이 알 수 있겠지만, 일반적으로 A/B 테스트의 결론을 도출할 때 주된 판단 근거가 되는 건 ‘정량적 데이터’예요. 기존 A 디자인과 새로운 B 디자인에 대한 유저 반응을 확인할 수 있는 게시물 체류 시간이나 좋아요-댓글 등의 정량적 수치 데이터를 비교 분석해 보고, 어느 쪽의 반응이 더 좋았는지를 판단한 뒤 채택하는 것이죠.

📙 프로덕트 리뷰를 위한 정량적 데이터 분석법

그렇다면 유저로부터 수집한 정량적 데이터는 어떻게 분석하고 해석할 수 있을까요? 수치 데이터를 분석하기 위해서 활용되는 여러 가지 통계 분석 방법 가운데 프로덕트 리뷰에 자주 활용되는 대표 개념들을 정리해 봤어요.

상관 분석(Correlation Analysis)

• 두 가지 요인(X,Y) 사이에 실제로 관련성이 있는지 확인하기 위한 데이터 분석 방법이에요.
• X가 증가할수록 Y도 증가하는 관계를 긍정적 상관관계, 반대의 경우를 부정적 상관관계라고 해요.
• 상관관계가 나타나는 정도에 따라 Perfect/Strong/Weak 세 가지 척도로 표현해요.
• 주의) 상관관계는 동시성을 판별하는 데이터 분석법으로 인과 관계와는 무관해요.

회귀 분석(Regression Analysis)

• 하나의 변수가 다른 변수와 일차 함수(y=ax+b)와 같은 상관관계를 보이는지 여부를 확인하는 분석 방법이에요.
• 독립 변수값에 대한 종속 변수 예측 데이터를 계산해 낼 수 있어요.
• 예를 들어, 광고 비용과 세일즈의 관계성이 회귀 분석 형태로 나타난다면 광고비 집행에 따른 예상 매출액을 계산해 볼 수 있어요.

t검정(t-test)

• t검정은 두 데이터 그룹의 평균값을 비교하는 지표예요. 두 가지 집단의 데이터에 유의미한 차이가 있는지를 가늠하는 기준이 되기도 하죠.
• A/B 테스트에서 자주 활용되는 통계 개념으로 주로 A 버전을 경험한 그룹과 B 버전을 경험한 그룹이 보이는 특정 지표에 대한 평균을 비교해 보는 방식으로 활용해요.

f검정(f-test)

• f검정은 세 그룹 이상의 분산값을 분석하는 지표예요.
• 세 가지 이상의 비교 그룹 사이에 어느 정도 차이가 있다는 대략적인 경향성을 알려주는 지표로, 그룹 간 구체적인 차이 정도를 확인하기 위해서는 추가로 t검정을 진행해 봐야 해요.
• 서비스 기능이나 타깃 그룹 유형별로 어떤 기능이나 서비스를 유저가 제일 만족스럽게 느끼는지 확인해야 하는 경우 활용해 볼 수 있어요.