Roboty AI: GPTBot, ClaudeBot i PerplexityBot — wpuszczać czy blokować

Roboty AI to zautomatyzowane programy pobierające strony na potrzeby usług opartych na modelach językowych. Mogą zbierać treści do rozwoju modeli, budować indeks wyszukiwania albo otwierać konkretną stronę na żądanie użytkownika. Dostawcy coraz częściej nadają tym zadaniom osobne tokeny user-agenta, dzięki czemu właściciel witryny może podejmować różne decyzje dla treningu, wyszukiwania i pobrań inicjowanych przez człowieka. Sam wpis „bot AI" w logu nie wystarcza więc do oceny ryzyka ani wartości ruchu.

W skrócie

• Trzy zadania, nie jedno. Crawlery trenujące, crawlery indeksujące i pobieracze uruchamiane przez użytkownika mogą mieć osobne nazwy oraz reguły. Zbiorcza blokada utrudnia świadome zarządzanie widocznością i prawami do treści.
• OpenAI dokumentuje czterech agentów: GPTBot (trenowanie), OAI-SearchBot (wyszukiwanie w ChatGPT), ChatGPT-User (działania inicjowane przez użytkownika) i OAI-AdsBot (kontrola stron docelowych reklam).
• Anthropic dokumentuje trzech (ClaudeBot, Claude-SearchBot, Claude-User), a Perplexity dwóch (PerplexityBot dla własnego indeksu, Perplexity-User dla wizyt inicjowanych przez użytkownika).
• Google-Extended nie jest przełącznikiem wyszukiwarki. Google podaje, że nie wpływa on ani na obecność strony w wyszukiwarce, ani na ranking.
• Microsoft nie dokumentuje osobnego tokenu treningowego dla właścicieli witryn. Wykorzystanie generatywne treści z indeksu Bing kontroluje między innymi znacznikami NOARCHIVE, NOCACHE i data-nosnippet.
• Applebot-Extended nigdy nie pobiera strony. Apple podaje, że ten token nie crawluje, a strony, które go blokują, nadal pojawiają się w wyszukiwaniu Apple.
• Pobieracze uruchamiane przez użytkownika to wyjątek od robots.txt. OpenAI pisze, że dla ChatGPT-User reguły robots.txt „mogą nie obowiązywać", Perplexity — że Perplexity-User zasadniczo je ignoruje, Meta — że Meta-ExternalFetcher może je pominąć. Anthropic jest wyjątkiem: dla Claude-User publikuje działającą regułę.
• robots.txt jest deklaracją dla współpracujących robotów, nie technicznym zabezpieczeniem. Do egzekwowania dostępu wobec nierozpoznanego lub nierespektującego reguł klienta służą WAF, CDN, uwierzytelnienie i limity ruchu.
• Konfigurację trzeba sprawdzić w kilku warstwach. Robots.txt może wpuszczać agenta, którego zatrzymuje reguła antybotowa, hosting albo strona wyzwania CDN.

Dlaczego jeden wpis w logu może znaczyć trzy różne rzeczy

Trafienie od nieznanego user-agenta samo w sobie mówi niewiele. Ta sama firma potrafi wysłać w ciągu godziny trzech różnych agentów, a każdy z nich znaczy dla biznesu coś innego.

Pobranie na potrzeby trenowania dotyczy treści, która może zostać wykorzystana do rozwoju modeli. Nie jest równoznaczne z cytowaniem, sesją ani linkiem zwrotnym. Decyzja o dostępie powinna uwzględniać prawa do materiału, model biznesowy wydawcy, poufność oraz politykę organizacji — nie obietnicę widoczności, której dostawca nie składa.

Pobranie na potrzeby indeksu wyszukiwania pomaga usłudze odnajdywać aktualne strony i prezentować odnośniki w odpowiedziach. Wpuszczenie agenta nie gwarantuje cytowania, ale blokada może wyłączyć witrynę z automatycznego indeksowania danej platformy albo ograniczyć jej widoczność. Nie musi przy tym wpływać na osobnego agenta treningowego.

Pobranie na żądanie użytkownika dzieje się, bo człowiek wklejił adres do asystenta albo zadał pytanie, na które odpowiedź wymagała otwarcia danej strony. To zachowuje się jak ruch, nie jak crawl, i dlatego większość dostawców dokumentuje, że robots.txt może tu nie obowiązywać.

Jedna zbiorcza reguła dla wszystkich nazw związanych z AI może więc dać efekt przeciwny do zamierzonego: ograniczyć wyszukiwanie lub działanie na żądanie użytkownika, nie rozwiązując właściwego problemu z wykorzystaniem treści. Sam mechanizm dobierania źródeł do wygenerowanej odpowiedzi opisuje przewodnik po AI Overviews i GEO — tutaj skupiamy się na warstwie dostępu.

Słowniczek

• Token user-agenta — krótka nazwa, na którą crawler dopasowuje się w robots.txt, na przykład GPTBot, a nie cały łańcuch nagłówka w stylu przeglądarki.
• Crawler trenujący — agent, którego udokumentowanym celem jest zbieranie treści mogącej trenować albo dopracowywać modele.
• Crawler wyszukiwania — agent budujący indeks używany do odpowiadania na bieżące pytania i linkowania do źródeł.
• Pobieracz na żądanie użytkownika — agent pobierający jeden adres, bo człowiek poprosił o to w asystencie, a nie crawlujący według harmonogramu.
• Weryfikacja reverse DNS — potwierdzenie crawlera przez rozwiązanie jego adresu IP do nazwy hosta, a potem rozwiązanie tej nazwy z powrotem do tego samego adresu.
• Sygnał o treści — deklaracja, jak treść może być wykorzystana po uzyskaniu dostępu; osobna od tego, czy dostęp jest dozwolony.
• WAF — warstwa filtrowania ruchu przed serwerem aplikacji, która może odrzucić żądanie, na które robots.txt pozwala.

Mapa agentów: kto pobiera, po co i co traci strona po blokadzie

Każde zadanie w tabeli pochodzi z dokumentacji samego operatora. Każdy wpis w ostatniej kolumnie to konsekwencja mechaniczna, którą dostawca opisuje — nie prognoza ruchu.

Poza główną tabelą występują agenci o węższym zastosowaniu: OAI-AdsBot kontroluje strony zgłaszane jako reklamy w ChatGPT, facebookexternalhit renderuje podglądy linków w aplikacjach Meta, Meta-ExternalAds obsługuje produkty reklamowe Meta, a GoogleOther wykonuje różne pobrania produktowe i badawcze Google. Nie ma jednej poprawnej decyzji dla całej tej grupy — dostęp powinien wynikać z tego, czy organizacja korzysta z danej funkcji i czy wskazane zasoby są publiczne.

Z tabeli wynikają dwa praktyczne wzorce. Agenty wyszukiwania warto oceniać przez wpływ na możliwość odnalezienia i zacytowania publicznych stron, nie przez sam koszt transferu. Agenty treningowe wymagają natomiast decyzji właściciela treści: inna będzie polityka wydawcy sprzedającego dostęp do materiałów, a inna producenta publikującego dokumentację po to, aby klienci mogli z niej korzystać. W żadnym przypadku samo wpuszczenie robota nie gwarantuje ruchu ani poprawnego opisu marki.

Gdzie schemat tabeli się rozjeżdża: Microsoft i Apple

Microsoft nie wpisuje się w ten schemat. W publicznej dokumentacji właścicieli witryn nie wskazuje osobnego odpowiednika GPTBota, lecz opiera wyszukiwanie i doświadczenia Copilot na indeksie Bing oraz kontrolach strony. Treść oznaczona NOARCHIVE nie trafia do odpowiedzi czatu Bing ani nie jest w nich linkowana, a Microsoft deklaruje, że nie wykorzystuje jej do treningu własnych modeli generatywnych. Treść oznaczona NOCACHE może pojawić się w odpowiedziach, ale dostawca ogranicza wyświetlanie i potencjalne użycie treningowe do adresu, tytułu oraz fragmentu. Oba znaczniki pozostawiają stronę w klasycznych wynikach Bing.

Kontrola Microsoftu może więc działać na poziomie strony i być wdrażana w szablonach. Bing udostępnia również w Webmaster Tools raport AI Performance, który pokazuje cytowania adresów w wybranych doświadczeniach Microsoftu; pozwala to sprawdzać efekt polityki bez wyciągania wniosków wyłącznie z ruchu polecającego.

<meta name="robots" content="noarchive">
<meta name="bingbot" content="nocache">

Apple rozjeżdża wzorzec inaczej. Applebot-Extended nigdy niczego nie pobiera, więc nie pojawi się w logach. Istnieje tylko po to, żeby reguła w robots.txt mogła przenieść sygnał wyłączający treść z trenowania modeli podstawowych Apple — a Apple podaje, że użycie tego tokenu nie usuwa stron z własnych powierzchni wyszukiwania.

Google-Extended: osobna kontrola bez wpływu na ranking w Search

Google-Extended kontroluje, czy treść już pobrana przez Google może trenować przyszłe modele Gemini i wspierać funkcje grounding. Nie jest crawlerem, którego da się obserwować w logach, i nie bramkuje niczego w wyszukiwarce. Dokumentacja Google podaje, że Google-Extended nie wpływa na obecność strony w wyszukiwarce Google ani nie jest używany jako sygnał rankingowy.

Jeśli polityka prawna albo redakcyjna wyklucza trening i grounding w objętych kontrolą systemach Google, blokada Google-Extended jest udokumentowanym sposobem zapisania tej preferencji bez wpływu na obecność i ranking w Google Search. Może jednak ograniczyć wykorzystanie treści w innych systemach objętych Google-Extended, dlatego nie jest decyzją „bez kosztu" w każdym kontekście. Nie kontroluje AI Overviews ani AI Mode — te funkcje należą do wyszukiwarki i opierają się na dostępie Googlebota oraz kontrolach podglądu takich jak nosnippet, max-snippet i data-nosnippet. Szerszy obraz tej warstwy porządkuje wpis o tym, jak budować widoczność w AI search.

Które agenty naprawdę respektują robots.txt

Stanowisko Anthropic wyróżnia się tym, że firma deklaruje respektowanie reguł robots.txt również przez Claude-User. OpenAI zastrzega, że w przypadku ChatGPT-User reguły mogą nie mieć zastosowania, a Perplexity pisze, że Perplexity-User zasadniczo je ignoruje. Nie należy jednak rozszerzać tego porównania na każdego dostawcę bez sprawdzenia jego aktualnej dokumentacji.

Jak zweryfikować, czy bot jest tym, za kogo się podaje

Łańcuch user-agenta to tekst deklarowany przez klienta. Każdy może wysłać w nagłówku ClaudeBot, dlatego sama nazwa nie powinna otwierać wyjątku w zabezpieczeniach. Wielu dostawców publikuje zakresy IP lub procedurę weryfikacji DNS; jeśli jej nie ma, nie należy jej dopowiadać na podstawie praktyk innej firmy.

Reverse DNS, potem forward DNS. Google dokumentuje wersję kanoniczną: rozwiązać adres IP, z którego przyszło żądanie, do nazwy hosta, potwierdzić, że kończy się na googlebot.com, google.com albo googleusercontent.com, a potem rozwiązać tę nazwę w drugą stronę i potwierdzić, że zwraca ten sam adres. Krok forward jest tym, który się pomija — a jego pominięcie unieważnia całą weryfikację, bo rekord reverse DNS ustawia ten, kto kontroluje adres IP.

Publikowane pliki z zakresami IP. Dostawcy publikują listy CIDR jako JSON: OpenAI pod openai.com/gptbot.json, openai.com/searchbot.json i openai.com/chatgpt-user.json; Anthropic pod claude.com/crawling/bots.json; Perplexity pod perplexity.com/perplexitybot.json i perplexity.com/perplexity-user.json; Google w swoich statycznych punktach z zakresami crawlerów, podzielonych na crawlery zwykłe, specjalne i uruchamiane przez użytkownika.

Wynika z tego jedna reguła bezpieczeństwa: sama nazwa user-agenta nie wystarcza do utworzenia wyjątku w WAF. Jeżeli dostawca publikuje zakresy IP lub procedurę DNS, wyjątek powinien łączyć nazwę z weryfikacją źródła. Trzeba przy tym odróżnić bezpieczeństwo od deklaracji opt-out: Anthropic ostrzega, że blokowanie jego adresów IP może utrudnić botowi pobranie robots.txt i nie jest trwałym zamiennikiem reguły zapisanej w pliku.

W logach pojawią się też agenty bez żadnej publicznej dokumentacji. Brak strony dostawcy, brak publikowanego zakresu i brak ścieżki weryfikacji oznacza, że świadomej decyzji o wpuszczeniu podjąć się nie da. Takie trafienia warto traktować jako ruch nieweryfikowalny i obsługiwać po zachowaniu: tempie żądań, wzorcach ścieżek i koszcie serwerowym.

robots.txt to prośba, nie mechanizm wymuszający

Protokół wykluczania robotów został sformalizowany jako RFC 9309 w 2022 roku i opisuje konwencję dobrowolną. Klient dobrze wychowany czyta reguły i je stosuje. Nic w protokole nie powstrzymuje klienta niestosującego się od ich zignorowania.

Jeżeli celem jest ochrona poufnego, płatnego albo kosztownego zasobu przed nieautoryzowanym pobraniem, potrzebna jest kontrola techniczna: uwierzytelnienie, autoryzacja, limity żądań, WAF lub system zarządzania botami. Robots.txt nadal pozostaje właściwym miejscem do przekazania preferencji współpracującym crawlerom. Cloudflare opisuje podobne rozróżnienie w Content Signals Policy: sygnały określają oczekiwany sposób wykorzystania treści, ale nie są technicznym zabezpieczeniem przed scrapowaniem.

Ekosystem rozdziela też dwa pytania, które łatwo pomylić. Robots.txt przekazuje współpracującemu crawlerowi preferencję dotyczącą pobierania ścieżek, ale nie opisuje precyzyjnie wszystkich późniejszych sposobów użycia treści. Content Signals Policy proponuje osobne wartości dla trzech zastosowań, a brak sygnału oznacza brak preferencji wyrażonej tym mechanizmem:

Content-Signal: search=yes, ai-input=yes, ai-train=no

IETF prowadzi grupę roboczą AI Preferences, która ma ustandaryzować słownik preferencji i sposoby dołączania ich do treści, między innymi przez HTTP oraz mechanizmy powiązane z robots.txt. To praca w toku, a techniczne egzekwowanie preferencji znajduje się poza zakresem grupy. Do czasu publikacji standardu trzeba więc wyraźnie oznaczać, które sygnały są propozycją konkretnego dostawcy, a które są już respektowane przez wybraną platformę. Warstwę plikową obok tego — co należy do llms.txt i czego ten plik nie potrafi — opisuje osobny wpis o llms.txt i kontroli robotów AI.

Gdzie blokada może działać mimo poprawnego robots.txt

Polityka zapisana w pliku może nie zgadzać się z działaniem warstwy brzegowej. Najczęściej wynika to z trzech niezależnych konfiguracji.

Pierwszy: usługi CDN i pakiety antybotowe mogą mieć osobny przełącznik blokujący roboty AI. Robots.txt mówi wtedy wpuszczaj, a żądanie zatrzymuje się wcześniej na warstwie brzegowej. Standardowy crawler audytowy może tego nie wykryć, jeśli używa innej nazwy, adresu IP i sposobu pobierania.

Drugi: na hostingach współdzielonych domyślne reguły filtrujące bywają agresywne i traktują nieznany user-agent jak zagrożenie. Nieznany to w tym kontekście „nowszy niż reguła" — nazwy agentów AI zmieniają się szybciej niż listy w konfiguracjach.

Trzeci: strona pod ochroną przed nadmiernym ruchem potrafi odpowiadać stroną wyzwania (challenge) zamiast treści. Człowiek w przeglądarce przejdzie ją niezauważalnie, a crawler dostanie stronę bez treści merytorycznej — technicznie odpowiedź 200, faktycznie pustka.

Praktyczny wniosek: sam plik nie jest dowodem, że agent rzeczywiście otrzymuje treść. Trzeba zestawić reguły robots.txt z konfiguracją CDN i WAF, odpowiedziami serwera oraz logami zweryfikowanych agentów. Syntetyczne żądanie z wpisaną nazwą user-agenta pomaga wykryć część blokad, ale nie odtwarza adresu IP i zachowania prawdziwego crawlera, dlatego także nie jest ostatecznym potwierdzeniem.

Jak podchodzimy do tego w Space Ads

W Space Ads zaczynamy od inwentaryzacji: dokumentacji dostawców, robots.txt, konfiguracji CDN i WAF oraz logów serwera. Każdego agenta przypisujemy do celu, a decyzję zapisujemy wraz z uzasadnieniem i właścicielem biznesowym. Dla publicznych treści marketingowych zwykle rekomendujemy pozostawienie dostępu agentom wyszukiwania i pobraniom inicjowanym przez użytkownika, o ile nie ma przeciwwskazań bezpieczeństwa lub prawnych. Politykę treningową ustalamy natomiast z właścicielem praw do treści. Na końcu weryfikujemy, czy warstwy techniczne realizują tę samą intencję, oraz ustawiamy monitoring zmian w nazwach agentów i zakresach IP. Pełny zakres tej pracy opisuje strona usług AI SEO.

Plan działania: osiem kroków ustalania polityki dla robotów

1. Pobrać surowe logi z okresu obejmującego typowy ruch serwisu i pogrupować żądania po tokenie user-agenta. Dwa tygodnie mogą wystarczyć w aktywnie crawlowanym serwisie, ale w mniejszej witrynie potrzebny będzie dłuższy zakres.
2. Zweryfikować najczęstsze agenty przez reverse DNS z krokiem forward albo względem pliku z zakresami IP dostawcy. Agenty, które nie przejdą weryfikacji, to podszywacze, nie problem polityki.
3. Zaklasyfikować każdego zweryfikowanego agenta jako trenującego, indeksującego albo uruchamianego przez użytkownika, opierając się na dokumentacji operatora, nie na liście z trzeciej ręki.
4. Podjąć decyzję o trenowaniu raz, razem z właścicielem treści, i zapisać powód obok reguły. Jeśli nikt nie umie powiedzieć, dlaczego agent trenujący jest zablokowany, reguła została odziedziczona.
5. Zdecydować o agentach wyszukiwania osobno. Dla publicznych stron zwykle warto je dopuścić, jeżeli celem jest możliwość pojawienia się w odpowiedziach, ale nie należy obiecywać cytowania ani wizyt.
6. Uzgodnić robots.txt z warstwą brzegową. Sprawdzić reguły CDN i WAF, wykonać testy syntetyczne oraz obserwować odpowiedzi dla zweryfikowanych agentów w logach. Sam kod z żądania podszywającego się nazwą nie daje pełnego potwierdzenia.
7. Dodawać kontrole na poziomie strony tam, gdzie potrzebny jest niuans. noarchive, nocache i data-nosnippet zostawiają stronę w indeksie, ograniczając to, co trafia do wygenerowanej odpowiedzi.
8. Ustalić cykliczny przegląd i reakcję na zmianę dokumentacji. Częstotliwość dopasować do ryzyka oraz liczby platform; po zmianie nazwy, zakresów IP lub warstwy ochronnej wykonać przegląd poza harmonogramem.

Ten sam mechanizm od strony treści — co robić, żeby model opisywał markę trafnie, gdy dostęp już jest — porządkuje wpis o zwiększaniu szansy, że AI cytuje markę. To, skąd systemy AI biorą pozostałe źródła o firmie, opisuje wpis o źródłach trzecich w odpowiedziach AI.

Częsty błąd i co zrobić zamiast tego

Najczęstsze pytania

Czym są roboty AI?

Roboty AI to zautomatyzowane klienty pobierające strony internetowe na zlecenie firm rozwijających modele językowe. Służą trzem różnym celom: zbieraniu treści mogącej trenować modele podstawowe, budowaniu indeksów wyszukiwania odpytywanych przez asystentów w poszukiwaniu bieżących informacji oraz pobieraniu pojedynczych stron, gdy pytanie użytkownika tego wymaga. Każdy z tych celów ma własny, udokumentowany token user-agenta.

Czym jest ClaudeBot i czy warto go blokować?

ClaudeBot to crawler Anthropic, udokumentowany jako zbierający treść z sieci, żeby poprawiać użyteczność i bezpieczeństwo modeli generatywnych. Blokuje się go regułą User-agent: ClaudeBot / Disallow: / w robots.txt. Blokada nie wpływa na zachowanie wyszukiwania w Claude, które korzysta z osobnego agenta Claude-SearchBot.

Czym różni się GPTBot od OAI-SearchBot?

GPTBot pobiera treść, która może trenować generatywne modele podstawowe OpenAI. OAI-SearchBot pokazuje strony w funkcjach wyszukiwania ChatGPT. To osobne tokeny z osobnymi regułami w robots.txt, więc strona może zablokować trenowanie i jednocześnie pozostać kwalifikowana do wyników wyszukiwania ChatGPT.

Czym jest ChatGPT-User?

ChatGPT-User to agent OpenAI obsługujący działania inicjowane przez użytkownika w ChatGPT i we własnych GPT, na przykład otwarcie strony, o którą ktoś zapytał. OpenAI podaje, że ponieważ działania te inicjuje użytkownik, reguły robots.txt mogą nie obowiązywać, oraz że ten agent nie decyduje o tym, czy treść pojawia się w wyszukiwaniu.

Czy blokada Google-Extended szkodzi pozycjom w Google?

Nie. Dokumentacja crawlerów Google podaje, że Google-Extended nie wpływa na obecność strony w wyszukiwarce Google i nie jest używany jako sygnał rankingowy. Kontroluje wyłącznie to, czy pobrana treść może trenować przyszłe modele Gemini i wspierać funkcje grounding.

Czy warto blokować roboty AI?

Nie ma jednej decyzji dla wszystkich robotów. Agenty treningowe ocenia się przez prawa do treści, model biznesowy, poufność i politykę organizacji. Agenty wyszukiwania oraz pobrania inicjowane przez użytkownika zwykle warto dopuścić do publicznych stron marketingowych, jeżeli firmie zależy na możliwości pojawienia się w odpowiedziach. Wpuszczenie nie gwarantuje jednak cytowania, a blokada może mieć różny skutek u każdego dostawcy.

Jak zweryfikować, że crawler jest prawdziwy?

Należy wykonać zapytanie reverse DNS na adresie IP żądania, potwierdzić, że nazwa hosta należy do udokumentowanej domeny dostawcy, a potem wykonać zapytanie forward na tej nazwie i potwierdzić, że zwraca ten sam adres IP. Alternatywą jest porównanie adresu z zakresami CIDR, które dostawca publikuje w formacie JSON. Sam łańcuch user-agenta łatwo podrobić.

Dlaczego bot jest blokowany, choć robots.txt go wpuszcza?

Ponieważ robots.txt nie jest jedyną bramką. Reguły WAF, ustawienia bot managementu, strony wyzwania CDN-a i limity tempa żądań mogą odrzucić żądanie, na które plik pozwala. Test syntetyczny z nazwą agenta pomaga znaleźć część problemów, ale pełniejszy obraz daje dopiero połączenie konfiguracji warstwy brzegowej z logami zweryfikowanych adresów dostawcy.

Czy plik llms.txt zastępuje robots.txt w kontroli robotów AI?

Nie. Robots.txt jest formatem, który dostawcy modeli deklarują jako respektowany przy sterowaniu dostępem, a llms.txt to propozycja opisania struktury i treści witryny dla systemów AI. To dwa różne zadania — plik opisujący treść nie odmawia dostępu.

Najważniejsze

• Roboty AI wykonują trzy zadania — trenowanie, indeksowanie pod wyszukiwanie i pobranie na żądanie użytkownika — a każde ma osobną nazwę agenta i inny koszt po zablokowaniu.
• Agenty wyszukiwania budują możliwość odnalezienia i zacytowania strony. Wpuszczenie nie gwarantuje linku, a blokada może ograniczyć widoczność niezależnie od decyzji dotyczącej treningu.
• Google-Extended dotyczy trenowania i groundingu, a Google podaje, że nie wpływa ani na obecność, ani na ranking w wyszukiwarce.
• Microsoft i Apple łamią wzorzec: Bing kontroluje wykorzystanie generatywne znacznikami NOARCHIVE i NOCACHE, a Applebot-Extended jest tokenem, który nigdy nie crawluje.
• Dostawcy różnie traktują pobrania na żądanie użytkownika: Anthropic deklaruje respektowanie robots.txt przez Claude-User, OpenAI zastrzega możliwość niestosowania reguł, a Perplexity zasadniczo je ignoruje dla Perplexity-User.
• Przed utworzeniem wyjątku w WAF trzeba zweryfikować źródło agenta; skuteczność dostępu ocenia się łącznie w robots.txt, konfiguracji brzegowej i logach serwera.

Źródła

• OpenAI — Przegląd crawlerów OpenAI
• Anthropic — Czy Anthropic crawluje dane z sieci i jak właściciele stron mogą zablokować crawlera
• Perplexity — Crawlery Perplexity
• Google — Przegląd crawlerów i pobieraczy
• Google Search Central — Weryfikacja Googlebota i innych crawlerów Google
• Apple — Informacje o Applebot
• Meta for Developers — Web crawlers
• Bing Webmaster Blog — Opcje kontroli wykorzystania treści w czacie Bing
• Bing Webmaster Blog — Raport AI Performance w Bing Webmaster Tools
• Bing Webmaster Blog — Obsługa atrybutu data-nosnippet
• Common Crawl — CCBot
• IETF — RFC 9309: protokół wykluczania robotów
• IETF — Grupa robocza AI Preferences
• Cloudflare — Content Signals Policy

Nazwy agentów i opisy ich zachowań odpowiadają dokumentacji dostawców na stan lipiec 2026 — dostawcy dodają, zmieniają i wycofują nazwy agentów bez zapowiedzi, więc przed zmianą działającej konfiguracji warto sprawdzić aktualną dokumentację.

Czytaj dalej

• AI Overviews i GEO: cytowania marki w wyszukiwaniu AI
• Generative Engine Optimization: jak budować widoczność w AI search
• LLM SEO: jak zwiększyć szansę, że AI cytuje markę
• Skąd AI bierze źródła: Reddit, Wikipedia i wzmianki o marce
• Czym jest audyt SEO i jak go poprawnie wykonać
• AI SEO · Audyt marketingowy