Niepełne dane o konwersjach. Ile kosztuje Data Blackout?

Przez lata dane o sprzedaży służyły w sklepie internetowym głównie do raportowania. Ktoś raz na jakiś czas sprawdzał, co się sprzedało i skąd przyszli klienci, a jeśli liczby nie zgadzały się co do sztuki, nie działo się nic złego. Dziś ten sam strumień danych steruje wydawaniem budżetu reklamowego. Systemy reklamowe dostają coraz więcej swobody w tym, komu pokazać reklamę, a decydują głównie na podstawie danych, które do nich docierają.

Zmieniła się więc stawka, a niepełne dane o konwersjach przestały być kłopotem raportowym i zaczęły kosztować pieniądze. Pierwszy sygnał, że coś jest nie tak, wygląda przy tym niepozornie, bo liczby w panelu sklepu i w systemach analitycznych, takich jak GA4, rzadko się zgadzają. Prawie każdy, kto prowadzi sklep, reaguje na to tak samo. Uznaje różnicę za usterkę raportowania, obiecuje sobie, że kiedyś to sprawdzi, i wraca do pracy. W tym tekście opiszę, dlaczego ten odruch jest kosztowny, i pokażę, co dzieje się piętro niżej, gdzie te same dane napędzają maszynę wydającą budżet.

Po drodze dojdę do wniosku, który może brzmieć absurdalnie: dziura wynosząca 20% potrafi kosztować więcej niż dziura wynosząca 40%.

Kiedy rozbieżność w raportach oznacza problem z pomiarem

Rozbieżność bierze się stąd, że panel sklepu i raporty analityki dowiadują się o sprzedaży w zupełnie różny sposób. Sklep wie o każdym zamówieniu, bo każde zostaje zapisane w jego własnej bazie danych. Analityka i platformy reklamowe wiedzą tylko o tych zamówieniach, o których zdążył je powiadomić pomiar, a ten zwykle działa w przeglądarce klienta i z roku na rok robi się coraz bardziej kruchy. Przeglądarki i blokery reklam odbierają mu kolejne uprawnienia, więc to, co jeszcze kilka lat temu docierało bez przeszkód, dziś bywa przerywane w połowie drogi.

Zanim jednak ktokolwiek uzna każdą rozbieżność za dziurę w pomiarze, trzeba oddzielić dwie zupełnie różne rzeczy. Menedżer reklam nigdy nie pokaże wszystkich zamówień sklepu, bo z założenia liczy wyłącznie te, które przypisał do własnych reklam, i to według swoich reguł atrybucji oraz okien czasowych. Różnica między nim a panelem sklepu jest więc naturalna i sama w sobie niczego nie dowodzi.

Dopiero dwa pozostałe braki są realną dziurą w pomiarze. Pierwszy to konwersje, których pomiar w ogóle nie zarejestrował, więc nie zobaczyła ich ani analityka, ani żadna platforma reklamowa. Drugi to konwersje zarejestrowane, ale przypisane do niewłaściwego źródła, przez co kampania nie dostała za nie zasługi. Pierwszy da się policzyć, zestawiając na przykład panel sklepu z systemem analitycznym, i wrócę do tego rachunku na końcu. Drugi jest trudniejszy, bo w żadnym raporcie nie wygląda jak błąd.

Jedna i druga wygląda z perspektywy właściciela sklepu niegroźnie. Pieniądze są na koncie, zamówienia są w systemie, a to, że jeden raport nie widzi części sprzedaży, wygląda jak niezgodność dwóch zegarków. To rozumowanie byłoby poprawne, gdyby raport był jedynym odbiorcą tych danych, ale odbiorca jest jeszcze jeden i to on wydaje pieniądze.

Ten sam strumień informacji, który buduje raport, trafia równolegle do systemów reklamowych, a tam przestaje być opisem przeszłości. Staje się materiałem, na podstawie którego maszyna decyduje, komu jutro pokazać reklamę i ile za to zapłacić. Data Blackout to właśnie ten stan. Klienci kupują i zostawiają kontakt tak jak zawsze, ale część tych konwersji albo w ogóle nie dociera do systemów reklamowych, albo dociera przypisana do niewłaściwego źródła. Efekt w obu przypadkach jest ten sam, bo maszyna podejmuje decyzje na podstawie obrazu, który nie odpowiada rzeczywistości.

Algorytmy reklamowe uczą się wyłącznie na danych o konwersjach

Reklamodawca ma dziś coraz mniej możliwości, żeby wskazać odbiorców precyzyjnie, i coraz więcej swobody zostawia systemowi reklamowemu. Ustala cel, budżet i ramy, wewnątrz których system ma się poruszać, a on szuka w nich ludzi, którzy ten cel zrealizują. Żeby mógł ich szukać, musi najpierw wiedzieć, po czym ich poznać, czyli jak zachowywali się ci, którzy ten cel już zrealizowali.

W sklepie internetowym po każdym zakupie system reklamowy dostaje informację, że transakcja doszła do skutku, razem ze śladem, który pozwala powiązać ją z wcześniejszym kliknięciem w reklamę. Wysyła ją zwykle przeglądarka kupującego, rzadziej sam system sklepu. To jest sygnał konwersji, czyli jedyna informacja o tym, co wydarzyło się w sklepie, jaka dociera do maszyny. Wracające sygnały tworzą pętlę: system pokazuje reklamę, dostaje odpowiedź, czy było warto, i na tej podstawie decyduje, komu pokazać następną.

Słowo „jedyna" nie jest tu przesadą. System nie ma dostępu do bazy zamówień, nie widzi wpłat na koncie i nie wie, ile sklep naprawdę sprzedał. Zna klientów wyłącznie z tego, czym karmi go pomiar, i traktuje to jako pełny opis świata, bo nie ma z czym go porównać. Jakość tej diety oddziela więc dobrą optymalizację od złej, a przy kampaniach w pełni automatycznych zostaje właściwie jedynym miejscem, w którym reklamodawca ma jeszcze na tę optymalizację wpływ.

Niepełne dane o konwersjach działają jak sygnał negatywny

Skoro pomiar bywa przerywany, część zakupów nigdy nie dociera do systemu reklamowego, a o wszystkim przesądza to, jak on sam tę nieobecność sygnału interpretuje. Wbrew intuicji nie traktuje jej jako braku wiedzy, bo nie ma czym odróżnić transakcji, o której nie usłyszał, od transakcji, która się nie wydarzyła. Obie wyglądają identycznie, bo w miejscu, gdzie mógł pojawić się sygnał, nie pojawiło się nic. Kliknięcie, po którym nie przyszło potwierdzenie zakupu, zostaje więc odczytane jednoznacznie: „ten człowiek nie kupił, ta reklama nie zadziałała, takich ludzi szukamy rzadziej".

Niezmierzona sprzedaż nie jest zatem luką w wiedzy maszyny. Jest informacją negatywną, czyli aktywnym dowodem, że coś nie działa, traktowanym równie poważnie jak informacja o realnej porażce. Maszyna działa przy tym bez zarzutu. Robi dokładnie to, do czego ją zbudowano, na materiale, który dostała.

Jest jeszcze gorzej, bo system nie dostaje nawet sygnału, że czegoś mu brakuje. Gdyby dostawał sam brak, mógłby potraktować go ostrożnie i uznać za niepewność. Dostaje natomiast komplet pozornie kompletnych obserwacji: tylu ludziom pokazano reklamę, tylu kliknęło, tylu kupiło. Nic w tym zestawieniu nie sygnalizuje, że ostatnia liczba jest zaniżona, bo brakujące zakupy nie zostawiają po sobie pustego miejsca. Są policzone jako zera.

Dlatego mówienie, że przy niepełnym pomiarze system „ma mniej danych", jest mylące. Danych ma tyle samo. Część z nich jest po prostu nieprawdziwa, a algorytm nie ma żadnego sposobu, żeby odróżnić jedne od drugich.

Dlaczego braki w pomiarze konwersji nie rozkładają się równo

Spokój, z jakim branża przyjmuje dwucyfrowe rozbieżności, opiera się na cichym założeniu, że pomiar gubi transakcje mniej więcej po równo. Gdyby tak było, sprawa byłaby błaha. Losowa utrata co piątej sprzedaży zostawiłaby wszystkie proporcje nietknięte, bo te same grupy klientów, te same kampanie i te same produkty wypadałyby najlepiej, tylko w mniejszej skali. System uczyłby się na uczciwej próbce i podejmował dokładnie te same decyzje co przy pełnym pomiarze.

Tyle że pomiar nie gubi po równo. Braki rozkładają się według trzech głównych kryteriów naraz, czyli według tego, na jakim urządzeniu ludzie kupują, jak długo się zastanawiają i w jaki sposób płacą.

Pierwsze kryterium to sprzęt i nawyki, jedyne z całej trójki, dla którego istnieje twardy pomiar. Według raportu IAB Polska o blokowaniu reklam blokera używa 38% badanych na komputerach, 18% na smartfonach i 6% na tabletach. Jedna przeszkoda, jeden sklep, a trzy zupełnie różne wartości w zależności od tego, przy czym siedzi kupujący. Te same dane mówią jednak coś jeszcze, bez czego łatwo wyciągnąć z nich za dużo. Ponad trzy czwarte czasu w polskiej sieci przypada dziś na smartfony, a więc na urządzenia, przy których blokowanie jest najrzadsze. Problemem jest więc nierównomierność, a nie sama skala blokowania. Sklep sprzedający produkt, który kupuje się na spokojnie przy dużym ekranie, ma dziurę pomiarową w zupełnie innym miejscu niż taki, w którym klient decyduje w minutę i dokonuje zakupu na smartfonie.

Drugie kryterium działa podstępniej. Tu sprzedaż zostaje w raportach, tylko pod niewłaściwym źródłem. Analityka rozpoznaje powracającego klienta po ciasteczku, czyli krótkim wpisie zostawionym w przeglądarce przy pierwszej wizycie, a Safari i coraz częściej pozostałe przeglądarki kasują takie wpisy po kilku dniach. Kto kliknął reklamę w poniedziałek i kupił po dwóch tygodniach namysłu, wraca więc do sklepu jako ktoś zupełnie obcy. Zakup zostaje policzony, przychód się zgadza, ale kampania, która tego klienta przyprowadziła, nie dostaje za niego żadnej zasługi, bo transakcja ląduje wśród wejść bezpośrednich.

Dla systemu reklamowego taka konwersja przepada tak samo jak ta, której pomiar w ogóle nie zarejestrował. Trafiła do raportów, ale nie trafiła do kampanii, a maszyna uczy się wyłącznie na tym, co zostało przypisane do jej własnych reklam. Znowu nie jest to loteria, bo w ten sposób gubi się zasługę dokładnie za te transakcje, nad którymi ludzie zastanawiają się najdłużej, czyli zwykle za najdroższe.

Trzecie kryterium jest z nich najostrzejsze. Przeszkoda potrafi tu wyciąć nie część grupy, ale całą. Klient, który przechodzi do bramki płatności, opuszcza sklep, a po zapłaceniu wcale nie musi do niego wrócić. Zamyka kartę, przełącza się na coś innego, odkłada telefon. Pomiar zakupu czeka tymczasem na stronie z podziękowaniem, na którą ten człowiek już nie wejdzie, więc z perspektywy przeglądarki ta sprzedaż nigdy się nie wydarzyła.

W jednym ze sklepów, których pomiar badałem, żadne z ośmiu zamówień opłaconych przez bramkę nie trafiło do analityki, podczas gdy wszystkie sześć zamówień opłaconych w inny sposób trafiło tam bez problemu. Czternaście zamówień to za mało, żeby cokolwiek wnioskować o procentach, i wrócę w ostatniej sekcji do tego, dlaczego takie próbki są bezwartościowe przy liczeniu skali dziury. Ale skala jest tu bez znaczenia. Liczy się podział. Zero i komplet po dwóch stronach jednej cechy to nie jest przechył, który da się złożyć na przypadek. To jest ściana, a cała grupa klientów wyodrębniona sposobem płacenia przestaje dla systemu reklamowego istnieć.

Sposób płacenia nie jest przy tym cechą przypadkową. Wiąże się z wartością koszyka, z wiekiem, z zaufaniem do sklepu i z tym, czy ktoś kupuje pierwszy raz. To samo dotyczy pozostałych przeszkód, czyli sprzętu, blokerów i długości namysłu przed zakupem. Mechanikę każdej z nich opisałem osobno w przewodniku po server-side taggingu, tutaj liczy się ich wspólna cecha. Żadna nie losuje. Każda wycina ludzi wybranych według kryterium, które ma znaczenie handlowe.

Te trzy przeszkody różnią się też sposobem naprawy, a rozdzielenie ich przesądza o kosztorysie. Blokery i kasowane ciasteczka wycinają sygnał, który przeglądarka miała szansę wysłać, więc zwykle wystarczy zmienić trasę, którą ten sygnał pokonuje. Zakup, po którym klient nigdy nie wrócił do sklepu, to zupełnie inna klasa straty, bo przy klasycznym pomiarze w przeglądarce nie ma ani jednej chwili, w której skrypt mógłby cokolwiek wysłać. Dlatego liczby z tych dwóch światów nie sumują się i nie wolno ich mylić.

Wszystkie trzy prowadzą jednak do tego samego skutku. Maszyna nie dostaje mniejszej próbki tej samej rzeczywistości, tylko inną rzeczywistość, w której pewne grupy klientów kupują wyraźnie rzadziej, niż kupują naprawdę, a niektóre nie kupują wcale. I zaczyna się zgodnie z tym obrazem zachowywać. Przestaje szukać ludzi podobnych do tych, których nie widzi, i przesuwa budżet w stronę grup lepiej widocznych dla pomiaru, myląc widoczność z jakością.

W sklepach, w których wdrażałem pomiar serwerowy, samo przeniesienie pomiaru na serwer odzyskiwało od kilkunastu do około 40% transakcji, które wcześniej do niego nie trafiały. To jest wynik pierwszej klasy strat, tej wycinanej w przeglądarce, bez ani jednego zakupu odzyskanego spoza niej. Ta liczba mówi zresztą wyłącznie o rozmiarze dziury i nic o jej kształcie. Dwadzieścia procent skupione w jednej grupie klientów przekrzywia optymalizację mocniej niż czterdzieści rozrzucone równo, bo tylko w pierwszym przypadku system wyciąga z braków fałszywy wniosek o tym, kto jest wartościowym klientem.

Algorytm pozbawiony sygnałów konwersji schodzi po tańszy ruch

Skoro obraz jest przekrzywiony, zostaje pytanie, co system z nim robi, i tu intuicja zawodzi po raz drugi. Naturalne wyobrażenie jest takie, że maszyna pozbawiona części sygnałów działa po prostu ostrożniej: wolniej się uczy, mniej wydaje, czeka na więcej informacji. Część tego jest prawdą, bo dopóki system nie zbierze wystarczającej liczby potwierdzonych sukcesów, nie rozwija kampanii. Ten okres nazywa się fazą uczenia. Sklep, którego pomiar gubi znaczną część sprzedaży, potrafi utknąć w niej na stałe.

Na tym jednak ostrożność się kończy, bo zatrzymanie nie jest opcją, którą maszyna w ogóle rozważa. Dostała budżet i cel, a jej zadaniem jest kupić jak najwięcej konwersji za te pieniądze. Każda decyzja o wyświetleniu reklamy jest zakładem, w którym system szacuje prawdopodobieństwo, że dana osoba kupi, i od tej oceny zależy, ile gotów jest zapłacić za dotarcie do niej.

Tu przekrzywiony obraz przestaje być problemem raportowym i zaczyna kosztować. Grupom, których zakupy nie wracają do kampanii, system przypisuje niskie prawdopodobieństwo zakupu, więc licytuje o nie coraz mniej i przegrywa aukcje o tych ludzi z konkurencją, która ich widzi. Zwalnia się w ten sposób miejsce w budżecie. System przesuwa je tam, gdzie przy jego obrazie świata przewidywana skuteczność wypada najkorzystniej w stosunku do ceny, a najkorzystniej wypada zwykle ruch najtańszy.

Efekt bywa mylący, bo raport w tym momencie wygląda lepiej niż wcześniej. Koszt kliknięcia spada, zasięgi rosną, wykresy idą w dobrą stronę. Tylko sprzedaży nie przybywa, a właściciel sklepu stwierdza, że kampania nie chce się skalować.

Zniekształcone dane pogłębiają błąd kampanii z tygodnia na tydzień

Do tej pory opisywałem pojedynczy obrót pętli, na który składa się brak sygnału, fałszywy wniosek i przesunięcie budżetu. Prawdziwy problem polega na tym, że ten obrót się powtarza i za każdym razem pogłębia własną przyczynę.

Grupa klientów, których pomiar gubi, dostaje mniej wyświetleń, bo system uznał ją za nierentowną. Skoro dostaje mniej wyświetleń, kupuje z reklam rzadziej. Skoro kupuje rzadziej, generuje jeszcze mniej sygnałów, w tym tych nielicznych, które pomiar był w stanie zarejestrować. W kolejnym obrocie wygląda więc jeszcze gorzej niż w poprzednim i dostaje jeszcze mniej budżetu.

W ten sposób pierwotna nierówność w pomiarze zamienia się w trwałą nierówność w wydatkach, a różnica między obrazem maszyny a rzeczywistością rośnie z tygodnia na tydzień. System nie ma jak z tego wyjść, bo jedyne dane, którymi mógłby zweryfikować swój błąd, pochodziłyby od grupy, którą właśnie przestał obsługiwać.

Sam upływ czasu tego nie naprawi, a dosypanie budżetu tym bardziej, bo większe pieniądze po prostu szybciej realizują ten sam przekrzywiony plan. Data Blackout przerywa się wyłącznie z zewnątrz, dostarczając systemowi te sygnały, których dotąd nie dostawał.

Jak server-side tagging odzyskuje brakujące konwersje

Z tego, że problemem jest kształt dziury, a nie jej rozmiar, wynika też, jak wygląda naprawa. Sama liczba sygnałów docierających do systemu niczego nie zmienia. Naprawa musi przywrócić te, które przychodzą od grup dotąd wypadających z pomiaru.

Opisane wcześniej straty dzielą się na dwie klasy i naprawia się je inaczej. Pierwsza powstaje w przeglądarce klienta, bo to tam bloker wycina skrypt, a przeglądarka kasuje ślad po wcześniejszej wizycie. Server-side tagging, po polsku tagowanie po stronie serwera, przenosi ten proces w inne miejsce. Zamiast wysyłać informacje o zakupach prosto z przeglądarki do każdej platformy z osobna, sklep wysyła je do własnego serwera pomiarowego, który stoi pod adresem samego sklepu, a ten przekazuje je dalej. Przeszkody z przeglądarki przestają wtedy dotyczyć tej części drogi, na której wcześniej ginęły dane. Jak to działa od środka i czego nie naprawi, opisałem osobno w przewodniku po server-side taggingu.

Brzmi to technicznie, a dla pętli zwrotnej ma konsekwencję, która przesądza o wszystkim. Odzyskane transakcje nie są losową próbką tego, co ginęło. To są dokładnie te konwersje, które przepadały najczęściej, czyli te od klientów, których system zdążył już uznać za nierentownych. Wraz z nimi wraca informacja, że jednak kupują, a wtedy maszyna zaczyna o nich licytować i pętla obraca się w drugą stronę. Jak taki odzysk wygląda na realnym koncie, od pomiaru przed wdrożeniem po wynik po nim, opisałem w case study wdrożenia pomiaru serwerowego w e-commerce.

Ta zmiana zamyka pierwszą klasę strat w całości i to z niej bierze się wspomniany wcześniej odzysk. Druga klasa wymaga czegoś więcej, bo dotyczy konwersji, przy których przeglądarki po prostu nie ma w grze. Klient płacący w bramce i niewracający do sklepu jest tu przypadkiem sztandarowym, bo żadne ulepszenie skryptu nie pomoże, skoro nikt tego skryptu nie uruchomi. Serwer ma jednak drogę, której przeglądarka nie zna, bo o opłaconym zamówieniu może go powiadomić bezpośrednio system sklepu, bez udziału kupującego. Ta jedna zmiana odzyskuje właśnie tę klasę, która wcześniej znikała w całości. Całą drogę takiego wdrożenia, razem z pułapkami, na które trafiłem po drodze, opisałem w case study odzyskiwania transakcji gubionych przez bramki płatności.

Pomiar serwerowy ma jednak dwie granice. Nie omija zgód użytkownika, więc nie odzyska zdarzeń od osób, które odmówiły śledzenia na banerze cookies. Nie naprawi też błędów w samym pomiarze, bo jeśli zdarzenia liczyły się podwójnie albo miały złe wartości, serwer będzie powielał ten błąd równie sprawnie jak przeglądarka, tylko szczelniej.

Jak sprawdzić, ile konwersji gubi pomiar

Zanim jednak ktokolwiek wyda złotówkę na przebudowę pomiaru, warto zamienić przeczucie na liczbę. Wystarczy zestawić listę opłaconych zamówień z panelu sklepu z listą transakcji zarejestrowanych w analityce za ten sam okres, żeby zobaczyć, jaka część realnej sprzedaży w ogóle dociera do pomiaru. Jak to policzyć i na jakie cztery pułapki uważać, opisałem w przewodniku po pomiarze serwerowym.

Sam wynik to jednak dopiero połowa odpowiedzi, bo mówi o rozmiarze dziury, a nie o jej kształcie. Drugie pytanie brzmi, czy brakujące zamówienia mają ze sobą coś wspólnego. Wystarczy pogrupować je według metody płatności, urządzenia i przeglądarki. Jeśli braki układają się w jedną grupę zamiast rozkładać równo, sprawa jest pilniejsza, niż sugeruje sam procent.

Dwie oznaki widać jeszcze przed tym rachunkiem, a sprawdzenie każdej zajmuje minutę. Pierwsza to udział przeglądarek. Jeśli duża część ruchu przychodzi z Safari albo z Firefoksa, pierwsza klasa strat jest na tym koncie z góry poważna, bo to właśnie te przeglądarki najostrzej ograniczają życie ciasteczek.

Druga to proporcja wejść bezpośrednich, tłumaczona zwykle siłą marki. Czasem rzeczywiście tak jest, ale w biznesie, który realnie wydaje na kampanie, nienaturalnie duży udział tego źródła znaczy najczęściej coś innego. To kampanie oddały swoje zasługi, bo ślad po pierwszej wizycie nie dotrwał do akcji konwersji. Zanim więc ktoś potraktuje ten wynik jak komplement, powinien sprawdzić, czy udział tego źródła nie rósł razem z wydatkami na reklamę.

Wynik policzony na kilkunastu zamówieniach jest szumem, a nie pomiarem, więc rachunek potrzebuje sensownej próbki i najlepiej drugiego przebiegu po tygodniu albo dwóch. Część objawów widać zresztą od ręki i bez dostępu do jakichkolwiek raportów, bo wystarczy sprawdzić, jakie narzędzia pomiarowe działają na stronie i jak zbierają dane.

Jeśli dziura utrzymuje się na stabilnym, dwucyfrowym poziomie, warto potraktować ją jako pozycję kosztową, a nie usterkę raportu. Naprawa polega na przeniesieniu pomiaru w miejsce, w którym przeszkody z przeglądarki przestają go dotyczyć.

Zrób ten rachunek u siebie, zanim zaczniesz zmieniać cokolwiek w kampaniach. Jeśli wyjdzie Ci stabilne dwucyfrowe niedoszacowanie, napisz do mnie z tą liczbą i z tym, co łączy brakujące zamówienia. Ustalimy, gdzie dokładnie przecieka pomiar i czy przy Twoim budżecie reklamowym naprawa w ogóle się opłaca.