Plik robots.txt zarządza dostępem robotów indeksujących do strony. Wykorzystuje protokół Robots Exclusion Protocol, powstały już w 1994 roku, który jest standardowo interpretowany przez większość botów. Podstawowy cel zastosowania robots.txt to ograniczenie zużycia zasobów po stronie serwera oraz po stronie robota, dzięki wskazaniu sekcji, których odpytywanie nie jest wartościowe – przykładowo sekcji z wynikami wewnętrznej wyszukiwarki.
