GEO: co to jest i po co mierzymy odpowiedzi czatów

Co właściwie pokazała praca z Princeton

Autorzy (Pranjal Aggarwal, Vishvak Murahari i współautorzy) zdefiniowali „silnik generatywny” jako system, który zamiast listy linków zwraca jedną, syntetyczną odpowiedź złożoną z wielu źródeł. Praca ukazała się na arXiv 16 listopada 2023 jako wspólne dzieło zespołu z Princeton, IIT Delhi, Allen Institute for AI i Georgia Tech. Badacze zbudowali zestaw testowy GEO-bench z kilkoma tysiącami pytań z różnych dziedzin i sprawdzili, jakie zmiany w treści strony zwiększają jej udział w odpowiedzi.

Najważniejszy wniosek jest prosty: klasyczne SEO nie wystarcza. Upychanie słów kluczowych nie pomagało, a czasem szkodziło. Pomagały za to zabiegi, które podnoszą wiarygodność i „cytowalność” tekstu: dodanie konkretnych liczb, cytatów ze źródeł, odwołań do badań, prostszy i bardziej rzeczowy język. Według autorów najlepsze metody podnosiły widoczność źródła w odpowiedziach o kilkadziesiąt procent (w ich teście do około 40 proc.).

Druga obserwacja, która nas zaskoczyła: te zabiegi najbardziej pomagały stronom o niskiej pozycji w klasycznym rankingu. Silnik generatywny nie przepisuje kolejności z Google. Wybiera fragmenty, które najlepiej odpowiadają na pytanie, niezależnie od tego, czy strona jest pierwsza, czy piętnasta.

Co to znaczy dla firmy w Polsce

Kiedy klient pyta czat „jaki księgowy w Gliwicach obsłuży spółkę z o.o.” albo „który sklep ma najlepsze ceny lamp ogrodowych”, czat wymienia dwie, trzy, czasem pięć firm. Reszta nie istnieje w tej rozmowie. Nie ma drugiej strony wyników. Nie ma pozycji siódmej. Jest odpowiedź i jej brak.

Dlatego pytanie „co czat mówi o mojej firmie” staje się tak samo ważne, jak „na której pozycji jestem w Google”. Różnica polega na tym, że w Google można to sprawdzić w każdej chwili jednym kliknięciem, a w czacie odpowiedź zmienia się zależnie od sformułowania, kontekstu rozmowy i dnia. Trzeba pytać wiele razy, w wielu wariantach, i zapisywać wyniki.

Dlaczego zaczęliśmy mierzyć odpowiedzi czatów

Od początku 2023 roku widzimy w czatach trzy rzeczy, które nas niepokoją i ciekawią jednocześnie. Po pierwsze, ChatGPT zebrał według OpenAI 100 mln tygodniowych użytkowników już w listopadzie 2023. Po drugie, Microsoft od lutego 2023 wyświetla w Bing Chat (od listopada 2023 pod nazwą Copilot) reklamy z istniejących kampanii Microsoft Advertising, a we wrześniu 2023 zapowiedział format „Compare & Decide” stworzony specjalnie pod rozmowę. Po trzecie, nikt w Polsce nie mierzy, które firmy z danej branży czaty w ogóle wymieniają.

Zbudowaliśmy więc prosty proces. Dla każdego klienta układamy listę pytań, które zadają jego klienci (nie słów kluczowych, tylko pełnych zdań). Zadajemy je w ChatGPT, Copilocie i Gemini (do niedawna Bard) w kilku wariantach, po polsku i po angielsku. Notujemy, czy firma się pojawia, w jakim kontekście, co czat o niej mówi i skąd to bierze. Powtarzamy co miesiąc. Z tego powstaje raport, który dziś nazywamy audytem widoczności w AI.

Co zapisujemy przy każdym pytaniu

• Czy firma w ogóle pojawiła się w odpowiedzi i w którym miejscu listy, jeśli czat podał kilka nazw.
• Co dokładnie czat o niej powiedział: zakres usług, miasto, cena, opinia. Błędy zapisujemy osobno, bo to najczęstszy powód, dla którego czat pomija firmę.
• Jakie źródła czat wskazał lub z jakich najprawdopodobniej korzystał (własna strona, katalog, opinie, artykuł).
• Kto został wymieniony zamiast firmy i czym te strony różnią się od strony klienta. Zwykle odpowiedź jest banalna: odpowiadają na pytanie wprost.

Z takiego arkusza po dwóch, trzech miesiącach widać wzorzec. Firmy, które czat wymienia stabilnie, mają jedną cechę wspólną: ich strony i profile mówią to samo, prostym językiem, z konkretami. Opisujemy to szerzej w dziale GEO: widoczność w odpowiedziach AI, a różnice względem klasycznego pozycjonowania w porównaniu GEO vs SEO.