หลังเปิดตัวโปรเจกต์ใหม่ ผมรัน Google Analytics และ Yandex Metrica ควบคู่กันตลอดสัปดาห์แรก ผมอยากเปรียบเทียบทั้งสองบน traffic จริงชุดเดียวกัน แทนที่จะเลือกจาก screenshot รายการฟีเจอร์ หรือความคุ้นเคย
หลังผ่านไปหนึ่งสัปดาห์ ผมสังเกตว่าตัวเองเปิด Yandex Metrica บ่อยกว่ามาก เหตุผลไม่ใช่ metric ใด metric หนึ่งบน dashboard แต่เป็น Webvisor และความสามารถด้าน session replay ในช่วงเริ่มต้นของโปรเจกต์ ผมต้องการคำตอบของคำถามง่ายๆ มากกว่ากราฟ aggregate เพิ่มอีกหนึ่งกราฟ: ผู้ใช้กำลังทำอะไรบนเว็บไซต์จริงๆ?
ปฏิกิริยาแรกของผมคือ “Yandex Metrica ชนะขาด” ทุกวันนี้ผมยังชอบมันสำหรับงานลักษณะนี้ แต่ประโยคนั้นเป็นความรู้สึกมากกว่าข้อสรุปที่แม่นยำ โปรเจกต์เดียวกับเวลาหนึ่งสัปดาห์เพียงพอที่จะเล่าประสบการณ์ของผม แต่ไม่เพียงพอที่จะพิสูจน์ว่า Metrica ดีกว่า Google Analytics แบบ objective สำหรับทุกคน
ทำไม Google Analytics ถึงดู abstract กว่าสำหรับผม
ในบทความเดิมผมบอกว่า Google Analytics ให้ความรู้สึก abstract ตรงนี้ควรขยายความ GA4 ไม่ใช่เครื่องมือที่ตื้น มันมี reports, Explorations, segmentation และ User Explorer สำหรับดู activity ของผู้ใช้รายบุคคล ปัญหาของผมไม่ใช่เรื่องความลึก แต่เป็น workflow ที่ผมต้องการในตอนนั้น
Event-based analytics และข้อมูล aggregate สามารถบอกได้ว่าผู้ใช้ไปถึงหน้าไหน trigger event อะไร ออกจาก path ตรงไหน หรือมี behavior ต่างกันในแต่ละ segment ข้อมูลเหล่านี้มีประโยชน์ แต่เวลาผมพยายามเข้าใจ UX problem ที่ยังไม่รู้จัก ก็ยังมีขั้นตอนทางความคิดระหว่าง metric กับ interface ที่ผู้ใช้สัมผัสจริง
Session replay ช่วยลดระยะห่างนั้นสำหรับผม แทนที่จะดูแค่จำนวน ผมสามารถตรวจลำดับ interaction ใน visit หนึ่งได้ เช่น navigation, scroll, click, pause และการย้อนกลับ มันไม่ได้บอกโดยอัตโนมัติว่าผู้ใช้ทำแบบนั้น เพราะอะไร แต่ให้ material ที่ concrete กว่ามากสำหรับตั้ง hypothesis
Webvisor ไม่ได้ทำให้การคาดเดาหายไป
นี่คือ correction สำคัญที่สุดจากข้อความเดิม Replay ไม่ได้บอกผมว่าผู้ใช้ “หงุดหงิด” มันแสดง behavior แล้วผมจึงค่อย infer ว่ามี friction หรือไม่ การ click ซ้ำ ย้อนกลับ หยุดนาน หรือออกจาก flow อาจเป็น signal แต่ไม่ใช่การอ่านใจ
ความแตกต่างนี้สำคัญเพราะ session แปลกๆ เพียงหนึ่งครั้งก็ถูก over-interpret ได้ง่ายมาก เราสามารถสร้างเรื่องราวเหตุและผลที่ฟังดูน่าเชื่อได้ทันที ข้อสรุปที่ถูกต้องไม่ใช่ “เจอสาเหตุแล้ว” แต่คือ “เจอ hypothesis ที่ควรทดสอบ”
ตอนนี้ workflow ที่ผมชอบคือ:
- ใช้ข้อมูล aggregate หา page, flow, device class หรือ segment ที่น่าสนใจ
- ดู replay ที่เกี่ยวข้องหลายรายการ แทน session แบบสุ่ม
- แยกสิ่งที่สังเกตได้โดยตรงออกจาก interpretation ของผม
- เปลี่ยน interface เมื่อ evidence แข็งแรงพอเท่านั้น
- หลังแก้แล้ววัดอีกครั้งว่า behavior ที่วัดได้ดีขึ้นจริงหรือไม่
Session replay ทำให้ช่วงกลางของ loop นี้ concrete ขึ้นมาก แต่มันไม่ได้แทนที่ loop ทั้งหมด
ทำไมมันมีประโยชน์มากเป็นพิเศษกับโปรเจกต์ใหม่
ทันทีหลัง launch ยังมีคำถามด้าน UX ที่ไม่รู้อีกมาก ไม่มี stable baseline หลายเดือน ไม่มี funnel ที่ mature และยังไม่มีรายการ failure mode ที่รู้จักมานาน ในสถานการณ์แบบนี้ qualitative observation มีค่ามาก เพราะช่วยค้นหาว่าควรถามคำถามอะไรตั้งแต่แรก
นี่ไม่ได้แปลว่า replay สำคัญกว่า aggregate analytics ทั้งสองตอบคำถามคนละแบบ Aggregate data เหมาะกว่าสำหรับดูว่าสิ่งหนึ่งเกิดบ่อยแค่ไหน ส่วน replay เหมาะกว่าสำหรับดูว่า interaction หนึ่งเกิดขึ้นจริงๆ อย่างไร
การใช้ร่วมกันแข็งแรงกว่า: หา pattern ก่อนแล้วค่อยดูตัวอย่าง หรือเห็น interaction ที่น่าสงสัยใน replay ก่อน แล้วค่อยตรวจว่ามันเกิดบ่อยพอที่จะมีนัยสำคัญหรือไม่
Session replay มีข้อจำกัดทางเทคนิค
Webvisor ไม่ใช่ absolute truth เพราะตัว recording เองก็มีข้อจำกัด Yandex ระบุว่าไม่จำเป็นต้องบันทึกทุก visit, recording ถูกเก็บไว้ในช่วงเวลาจำกัด และเทคโนโลยีบางอย่างของ browser หรือหน้าเว็บอาจมีผลต่อ capture หรือ playback ตัวอย่างเช่น dynamic styles, cross-domain iframe, private browsing, canvas และ Shadow DOM
ดังนั้น replay ที่ดูเสียไม่ได้พิสูจน์โดยอัตโนมัติว่าผู้ใช้เห็นหน้าเสียจริง และการไม่มี recording ก็ไม่ได้พิสูจน์ว่า session นั้นไม่เคยเกิดขึ้น
Privacy ก็ต้องให้ความสำคัญ Session replay tool สามารถสังเกต behavior ได้มากกว่า pageview counter ปกติมาก แม้จะมี protections สำหรับ password และ field ที่ sensitive แต่เจ้าของไซต์ยังต้อง configure การเก็บข้อมูลอย่างรับผิดชอบ หลีกเลี่ยงการส่ง identifying data ที่ไม่ควรส่ง และปฏิบัติตามข้อกำหนดด้าน consent และ privacy ที่เกี่ยวข้อง
แล้วผมจะเลือกตัวไหน?
สำหรับ การ debug UX ช่วงแรกของโปรเจกต์นี้ ผมชอบ Yandex Metrica มากกว่า Webvisor ช่วยให้ผมเดินจาก “ตัวเลขดูแปลก” ไปถึง “ผมสามารถตรวจ interaction ที่อาจอยู่เบื้องหลังได้” เร็วขึ้น ในสัปดาห์แรก นั่นคือ decisive advantage สำหรับผม
แต่ตอนนี้ผมจะไม่สรุปต่อว่า “Google Analytics แย่” หรือ “Metrica เป็น analytics platform ที่ดีกว่า” GA4 มีจุดแข็งคนละแบบ และ event analysis workflow ก็ลึกกว่าที่บทความสั้นเดิมของผมทำให้ดูมาก ถ้า acquisition, custom events, integrations หรือ measurement stack ที่กว้างกว่าเป็น priority ผลเปรียบเทียบก็อาจต่างออกไปง่ายๆ
ผมก็ไม่คิดว่าการรันทั้งสองในช่วงเปรียบเทียบเป็นเรื่องไร้ประโยชน์ Platforms อาจ model และ process sessions, users และ events ต่างกัน จึงไม่ควรคาดหวังว่าตัวเลขจะตรงกันแบบสมบูรณ์
สิ่งที่ผมเรียนรู้จริงๆ หลังหนึ่งสัปดาห์
ข้อสรุปที่ใช้ได้จริงแคบกว่าคำว่า “ชนะขาด” ของผมในตอนแรก แต่เพราะแคบกว่านี่เองจึงแข็งแรงกว่า
Yandex Metrica ชนะความสนใจของผม เพราะผม inspect behavior ของผู้ใช้รายบุคคลได้ง่ายกว่า ระยะจาก metric ไปสู่ UX hypothesis ที่ concrete สั้นลง Google Analytics ยังคงมีประโยชน์ แต่สำหรับปัญหาที่ผม focus หลัง launch ผมเปิด Metrica ก่อน
Webvisor ไม่ได้เปลี่ยน guess เป็น certainty มันเปลี่ยน guess ที่คลุมเครือให้เป็นคำถามที่มีข้อมูลรองรับมากขึ้น สำหรับงาน UX แค่นี้ก็เป็น improvement ที่มีนัยสำคัญแล้ว