새 프로젝트를 공개한 뒤 첫 일주일 동안 Google Analytics와 Yandex Metrica를 나란히 운영했습니다. 기능 목록이나 스크린샷, 익숙함만으로 선택하지 않고 같은 실제 트래픽을 보면서 비교하고 싶었습니다.
일주일이 지나자 제가 Yandex Metrica를 훨씬 더 자주 열고 있다는 사실을 알게 됐습니다. 이유는 대시보드의 특정 지표가 아니라 Webvisor, 즉 세션 리플레이 기능이었습니다. 프로젝트 초반에는 집계 그래프 하나를 더 보는 것보다 사용자가 실제로 사이트에서 무엇을 하고 있는가를 확인하는 일이 더 중요했습니다.
처음에는 “Yandex Metrica가 압도적으로 낫다”고 생각했습니다. 지금도 이 용도에서는 Metrica를 더 선호하지만, 그 표현은 엄밀한 비교라기보다 첫인상에 가까웠습니다. 한 프로젝트를 일주일 사용한 경험은 제 선택을 설명하기에는 충분하지만, Metrica가 모든 사람과 모든 상황에서 Google Analytics보다 객관적으로 우수하다는 것을 증명하지는 않습니다.
Google Analytics가 내게 더 추상적으로 느껴진 이유
기존 글에서는 Google Analytics가 추상적으로 느껴진다고 썼습니다. 이 부분은 수정할 필요가 있습니다. GA4가 얕은 도구인 것은 아닙니다. Reports, Explorations, segmentation, User Explorer를 통해 개별 사용자 활동까지 파고들 수 있습니다. 문제는 기능의 깊이가 아니라 당시 제가 필요로 했던 workflow와의 거리였습니다.
이벤트와 집계 분석을 보면 사용자가 특정 페이지에 도달했는지, 이벤트를 발생시켰는지, 경로 중간에서 이탈했는지, 특정 segment에서 다른 행동을 보였는지 알 수 있습니다. 모두 유용합니다. 하지만 익숙하지 않은 UX 문제를 파악할 때는 지표와 사용자가 실제로 조작한 인터페이스 사이에 여전히 한 단계의 해석이 남습니다.
세션 리플레이는 그 거리를 줄여줬습니다. 단순한 건수뿐 아니라 한 번의 방문에서 일어난 흐름을 볼 수 있었습니다. 이동, 스크롤, 클릭, 멈춤, 되돌아가기 같은 순서입니다. 이것만으로 사용자가 왜 그렇게 행동했는지 자동으로 알 수 있는 것은 아니지만, 가설을 세우기 위한 훨씬 구체적인 재료를 얻을 수 있었습니다.
Webvisor가 추측을 없애주는 것은 아니다
원래 글에서 가장 크게 바로잡고 싶은 부분입니다. 리플레이는 사용자가 “짜증 났다”고 알려주지 않습니다. 보여주는 것은 행동이며, friction이 있었는지는 제가 그 행동을 보고 추론하는 것입니다. 반복 클릭, 뒤로 가기, 긴 정지, flow 이탈은 신호가 될 수 있지만 사용자의 마음을 읽는 것은 아닙니다.
이 구분은 중요합니다. 이상한 세션 하나만 봐도 그럴듯한 원인 이야기를 만들기 쉽기 때문입니다. 올바른 결론은 “원인을 찾았다”가 아니라 “검증할 가치가 있는 가설을 찾았다”입니다.
지금이라면 다음 순서로 사용합니다.
- 먼저 집계 데이터를 이용해 흥미로운 페이지, flow, 기기군, segment를 찾습니다.
- 무작위 세션이 아니라 해당 조건과 관련된 리플레이를 여러 개 봅니다.
- 직접 관찰한 사실과 제 해석을 분리해 기록합니다.
- 근거가 충분할 때만 인터페이스를 변경합니다.
- 변경 후 다시 측정해 실제로 측정 가능한 행동이 개선됐는지 확인합니다.
세션 리플레이는 이 루프의 가운데 부분을 매우 구체적으로 만들어 줍니다. 하지만 검증 전체를 대신하지는 않습니다.
새 프로젝트에서 특히 유용했던 이유
출시 직후에는 모르는 UX 문제가 많습니다. 수개월의 안정적인 baseline도, 성숙한 funnel도, 이미 알려진 failure mode 목록도 없습니다. 이때 정성적 관찰은 “어떤 질문을 해야 하는가” 자체를 발견하는 데 큰 도움이 됩니다.
그렇다고 리플레이가 집계 analytics보다 더 중요하다는 뜻은 아닙니다. 둘은 서로 다른 질문에 답합니다. 집계 데이터는 어떤 현상이 얼마나 자주 발생하는지 보는 데 더 적합합니다. 리플레이는 하나의 구체적인 상호작용이 실제로 어떻게 진행됐는지 보는 데 더 적합합니다.
둘을 함께 쓰는 편이 강합니다. 먼저 패턴을 찾고 사례를 보거나, 반대로 리플레이에서 수상한 상호작용을 발견한 뒤 그것이 실제로 의미 있을 만큼 자주 발생하는지 데이터로 확인할 수 있습니다.
세션 리플레이에도 기술적 한계가 있다
Webvisor를 절대적인 사실로 볼 수 없는 또 하나의 이유는 기록 자체에도 제약이 있기 때문입니다. Yandex 문서에 따르면 모든 방문이 반드시 기록되는 것은 아니고, 기록 보관 기간에도 제한이 있으며, 일부 브라우저나 페이지 기술은 캡처와 재생에 영향을 줄 수 있습니다. 동적 스타일, cross-domain iframe, private browsing, canvas, Shadow DOM 등이 그 예입니다.
따라서 리플레이가 깨져 보인다고 해서 사용자가 실제로 깨진 페이지를 봤다고 단정할 수 없습니다. 반대로 기록이 없다고 해서 세션 자체가 없었다는 뜻도 아닙니다.
Privacy도 신중하게 다뤄야 합니다. 세션 리플레이 도구는 일반적인 pageview 카운터보다 훨씬 많은 행동을 관찰할 수 있습니다. 비밀번호와 민감한 필드에는 보호 기능이 있지만, 사이트 운영자는 여전히 수집 설정을 책임 있게 구성하고, 보내면 안 되는 식별 정보를 전송하지 않으며, 적용되는 동의 및 privacy 요구사항을 지켜야 합니다.
그래서 나는 무엇을 선택할까?
이 프로젝트의 초기 UX 디버깅이라는 목적에서는 Yandex Metrica를 더 선호했습니다. Webvisor 덕분에 “숫자가 이상하다”에서 “그 숫자 뒤에 있을 수 있는 구체적인 상호작용을 확인할 수 있다”까지 더 빠르게 갈 수 있었습니다. 첫 일주일에는 이것이 결정적인 장점이었습니다.
하지만 이제는 이를 “Google Analytics가 나쁘다”거나 “Metrica가 더 좋은 analytics 플랫폼이다”라고 일반화하지 않습니다. GA4에는 다른 강점이 있고, 이벤트 분석 workflow도 원래 짧은 글이 암시했던 것보다 훨씬 깊습니다. Acquisition, custom events, integrations, 더 넓은 measurement stack이 핵심이라면 비교 결과는 충분히 달라질 수 있습니다.
비교 기간 동안 두 도구를 함께 운영하는 것도 무의미하다고 보지 않습니다. 플랫폼마다 session, user, event를 모델링하고 처리하는 방식이 다를 수 있으므로 숫자가 완벽히 일치할 것이라고 기대해서는 안 됩니다.
일주일 뒤 내가 실제로 배운 것
유효한 결론은 처음의 “압도적 승리”보다 좁습니다. 하지만 그래서 더 강합니다.
Yandex Metrica는 개별 사용자 행동을 제가 더 쉽게 확인할 수 있었기 때문에 제 관심을 더 많이 가져갔습니다. 하나의 지표에서 구체적인 UX 가설로 이동하는 거리가 짧아졌습니다. Google Analytics도 여전히 유용했지만, 출시 직후 제가 가장 집중하던 문제에서는 Metrica를 먼저 열었습니다.
Webvisor는 추측을 확신으로 바꾸지 않았습니다. 막연한 추측을 더 검증하기 쉬운 질문으로 바꿔줬습니다. UX 작업에서는 그것만으로도 충분히 큰 가치가 있습니다.