Po uruchomieniu nowego projektu przez pierwszy tydzień równolegle korzystałem z Google Analytics i Yandex Metrica. Chciałem porównać oba narzędzia na tym samym realnym ruchu, zamiast wybierać na podstawie screenshotów, list funkcji albo przyzwyczajenia.
Po tygodniu zauważyłem, że znacznie częściej otwieram Yandex Metrica. Powodem nie była jedna konkretna metryka na dashboardzie, lecz Webvisor, czyli nagrania sesji. Na tak wczesnym etapie projektu mniej interesował mnie kolejny zagregowany wykres, a bardziej proste pytanie: co użytkownicy naprawdę robią na stronie?
Mój pierwszy werdykt brzmiał mniej więcej: „Yandex Metrica wygrywa zdecydowanie”. Nadal wolę ją do tego rodzaju pracy, ale tamto zdanie było bardziej emocjonalne niż precyzyjne. Jeden projekt i tydzień wystarczą, by opisać moje doświadczenie. Nie wystarczą, by udowodnić, że Metrica jest obiektywnie lepsza od Google Analytics dla każdego.
Dlaczego Google Analytics wydawało mi się bardziej abstrakcyjne
W pierwotnej wersji nazwałem Google Analytics abstrakcyjnym. To wymaga doprecyzowania. GA4 nie jest płytkim narzędziem: ma raporty, Explorations, segmentację i User Explorer do analizy aktywności konkretnych użytkowników. Problemem nie był brak głębi, tylko workflow, którego wtedy potrzebowałem.
Analityka eventowa i zagregowane dane mogą pokazać, że użytkownik dotarł do strony, uruchomił event, wypadł ze ścieżki albo zachowuje się inaczej jako część segmentu. To jest użyteczne. Przy nieznanym problemie UX nadal pozostaje jednak krok pomiędzy metryką a interfejsem, którego faktycznie używał człowiek.
Nagranie sesji skróciło ten dystans. Zamiast patrzeć wyłącznie na liczby mogłem prześledzić kolejność działań w konkretnej wizycie: nawigację, scrollowanie, kliknięcia, pauzy i powroty. Nie wyjaśnia to automatycznie, dlaczego użytkownik zachował się w ten sposób, ale daje znacznie lepszy materiał do postawienia hipotezy.
Webvisor nie usuwa zgadywania
To najważniejsza korekta względem mojego pierwotnego tekstu. Nagranie nie mówi mi, że użytkownik jest „sfrustrowany”. Pokazuje zachowanie, z którego mogę wnioskować o tarciu. Wielokrotne kliknięcia, cofanie się, długa pauza albo porzucenie flow mogą być sygnałami, ale nie są czytaniem w myślach.
To rozróżnienie ma znaczenie, bo pojedyncze dziwne nagranie łatwo nadinterpretować. Bardzo szybko można zbudować przekonującą historię. Poprawny wniosek nie brzmi „znalazłem przyczynę”, tylko „znalazłem hipotezę, którą warto sprawdzić”.
Dziś preferuję taki proces:
- Najpierw użyć danych zagregowanych, żeby znaleźć ciekawą stronę, flow, klasę urządzeń lub segment.
- Obejrzeć kilka pasujących nagrań, a nie przypadkowe sesje.
- Oddzielić to, co rzeczywiście widać, od własnej interpretacji.
- Wprowadzić zmianę dopiero wtedy, gdy dowody są wystarczające.
- Po zmianie ponownie zmierzyć, czy obserwowalne zachowanie faktycznie się poprawiło.
Nagrania sesji sprawiają, że środkowa część tego cyklu staje się dużo bardziej konkretna. Nie zastępują całego cyklu.
Dlaczego było to szczególnie przydatne w nowym projekcie
Tuż po starcie wiele problemów UX jest jeszcze nieznanych. Nie ma miesięcy stabilnej bazy, dojrzałych lejków ani długiej listy znanych błędów. W takiej sytuacji jakościowa obserwacja jest cenna, bo pomaga w ogóle odkryć, jakie pytania warto zadawać.
To nie znaczy, że nagrania są ważniejsze od analityki zagregowanej. Odpowiadają na inne pytania. Dane zagregowane lepiej pokazują, jak często coś się dzieje. Nagranie lepiej pokazuje, jak wyglądała jedna konkretna interakcja.
Najmocniejsze jest połączenie: najpierw znaleźć wzorzec i obejrzeć przykłady albo najpierw zauważyć podejrzaną interakcję, a potem sprawdzić, czy występuje wystarczająco często, by miała znaczenie.
Nagrania sesji mają ograniczenia techniczne
Webvisor nie jest absolutną prawdą również dlatego, że sama rejestracja ma ograniczenia. Yandex dokumentuje, że nie każda wizyta musi zostać nagrana, nagrania są przechowywane przez ograniczony czas, a technologie przeglądarki lub strony mogą wpływać na rejestrację i odtwarzanie. Dynamiczne style, cross-domain iframe, tryb prywatny, canvas i Shadow DOM to przykłady obszarów, gdzie mogą pojawić się ograniczenia.
Uszkodzone nagranie nie dowodzi więc automatycznie, że użytkownik widział uszkodzoną stronę. Brak nagrania nie dowodzi też, że sesja nie istniała.
Osobnej uwagi wymaga prywatność. Session replay może obserwować znacznie więcej niż zwykły licznik pageview. Istnieją zabezpieczenia dla haseł i wrażliwych pól, ale właściciel serwisu nadal musi odpowiedzialnie skonfigurować zbieranie danych, nie wysyłać informacji identyfikujących, których nie powinien wysyłać, i respektować obowiązujące wymagania dotyczące zgody oraz prywatności.
Które narzędzie wybrałbym?
Do wczesnego debugowania UX w tym konkretnym projekcie wybrałem Yandex Metrica. Webvisor szybciej prowadził mnie od „coś dziwnego widać w liczbach” do „mogę obejrzeć konkretną interakcję, która być może za tym stoi”. W pierwszym tygodniu to była dla mnie decydująca przewaga.
Nie zamieniłbym jednak tego w tezę „Google Analytics jest złe” albo „Metrica jest lepszą platformą analityczną”. GA4 ma inny zestaw mocnych stron i znacznie głębszy workflow analizy eventów, niż sugerował mój pierwotny krótki wpis. Jeśli priorytetem są źródła pozyskania, custom events, integracje albo szerszy system pomiarowy, wynik porównania może być zupełnie inny.
Nie uważam też, że równoległe używanie obu narzędzi przez pewien czas jest bez sensu. Platformy mogą inaczej modelować i przetwarzać sesje, użytkowników i eventy, dlatego nie należy oczekiwać idealnie identycznych liczb.
Czego naprawdę nauczyłem się po tygodniu
Użyteczny wniosek jest węższy niż moje dawne „wygrywa zdecydowanie”, ale dzięki temu jest mocniejszy.
Yandex Metrica wygrała moją uwagę, bo łatwiej było mi w niej analizować zachowanie pojedynczych użytkowników. Skróciła drogę od metryki do konkretnej hipotezy UX. Google Analytics nadal było przydatne, ale dla problemu, na którym skupiałem się tuż po starcie, najpierw otwierałem Metricę.
Webvisor nie zmienił zgadywania w pewność. Zmienił niejasne przypuszczenia w lepiej uzasadnione pytania. W pracy nad UX to już bardzo dużo.