Słownik pojęć IT SEO i pozycjonowanie
Robots.txt
Plik tekstowy, który mówi botom wyszukiwarek i AI, do których części Twojej strony mogą wchodzić.
Inne określenia: plik robots, robots
Co to jest plik robots.txt i do czego służy?
Robots.txt to prosty plik tekstowy umieszczony w głównym katalogu strony, który informuje boty wyszukiwarek i crawlery AI, które adresy mogą odwiedzać, a które mają omijać. Nie ukrywa treści przed światem - to zestaw wskazówek dla robotów, a nie zabezpieczenie strony.
Jak działa plik robots.txt
Zanim bot wyszukiwarki zacznie przeglądać Twoją stronę, najpierw sprawdza plik robots.txt dostępny pod adresem twojadomena.pl/robots.txt. Znajdzie tam reguły Allow i Disallow, czyli listę miejsc, do których może wejść, i takich, które ma omijać - na przykład panel administracyjny czy wyniki wyszukiwania wewnętrznego. W tym samym pliku zwykle podaje się też adres mapy strony sitemap.xml, żeby bot od razu wiedział, gdzie znaleźć listę podstron do odwiedzenia.
Co kontroluje, a czego nie kontroluje
Robots.txt steruje tylko tym, po czym boty chodzą, a nie tym, co trafia do wyników wyszukiwania. Zablokowana podstrona nadal może pojawić się w Google, jeśli prowadzą do niej linki z innych stron - tyle że bez opisu. Jeśli chcesz wykluczyć podstronę z wyników, potrzebujesz znacznika noindex, a jeśli chcesz ją naprawdę ukryć, na przykład panel klienta - hasła lub innego zabezpieczenia. Robots.txt to prośba do grzecznych botów, nie zamek w drzwiach.
Na co uważać
- Disallow całej strony - jedna linijka „Disallow: /”, często zapomniana po pracach deweloperskich, potrafi odciąć całą witrynę od Google i mocno obniżyć widoczność.
- Blokowanie plików CSS i JavaScript - Google chce widzieć stronę tak jak użytkownik, więc odcięcie tych zasobów może pogorszyć ocenę witryny.
- Traktowanie robots.txt jak zabezpieczenia - plik jest publiczny i każdy może go podejrzeć, więc wpisywanie tam „ukrytych” adresów wręcz je zdradza.
- Boty AI - w robots.txt możesz wpuścić lub zablokować crawlery AI, takie jak GPTBot czy ClaudeBot; blokada chroni treści przed wykorzystaniem, ale Twoja firma może przestać pojawiać się w odpowiedziach asystentów AI.
Częste pytania o Robots.txt
Czy robots.txt ukrywa stronę przed Google?
Nie do końca. Blokuje botom wejście na podstronę, ale jeśli prowadzą do niej linki, adres i tak może pojawić się w wynikach wyszukiwania. Do wykluczania stron z wyników służy znacznik noindex, a do realnej ochrony treści - hasło.
Czy warto blokować boty AI w robots.txt?
To decyzja biznesowa. Blokada botów takich jak GPTBot ogranicza wykorzystanie Twoich treści przez modele AI, ale jednocześnie zmniejsza szansę, że asystenci AI polecą Twoją firmę w swoich odpowiedziach. Coraz więcej firm świadomie wpuszcza crawlery AI właśnie po to, by być widocznym w tym kanale.
Gdzie znajduje się plik robots.txt i jak go sprawdzić?
Zawsze w głównym katalogu domeny - wystarczy wpisać w przeglądarce adres twojadomena.pl/robots.txt. Warto tam zaglądać po każdej większej zmianie na stronie, a błędy w regułach wychwyci audyt SEO.
Powiązane usługi
Porozmawiajmy o Twoim biznesie.
Przedstaw nam swoje potrzeby - zaproponujemy rozwiązanie i konkretną wycenę. Bez zobowiązań.