Robots.txt

Robots.txt jest plikiem tekstowym, dzięki któremu możemy poinformować robota wyszukiwarki o tym, jakie strony (i podstrony) może, a jakich nie powinien przechodzić. Plik ten umieszcza się w katalogu głównym witryn, a następnie pojawia się na stronach www.wasza-domena.pl/robots.txt. Plik ten jest wykorzystywany przez roboty wyszukiwarek jako podstawowy zapis zasad przeglądania stron WWW. Jeśli chcecie zabronić przeglądania i indeksowania konkretnej witryny, należy, oprócz zasady pliku robots.txt, użyć także zakazu przeglądania w meta tagu robots, w kodzie źródłowym HTML, bezpośrednio na konkretnej stronie.