Robot.txt

Robots.txt to plik tekstowy, który umożliwia witrynie dostarczanie instrukcji robotom indeksującym sieć.

Wyszukiwarki takie jak Google używają robotów internetowych do archiwizowania i kategoryzowania witryn internetowych. Większość botów jest skonfigurowana do wyszukiwania pliku robots.txt na serwerze, zanim odczyta jakikolwiek inny plik ze strony internetowej.
Ma to na celu sprawdzenie, czy właściciel witryny ma jakieś specjalne instrukcje dotyczące pobierania i indeksowania witryny.

Plik robots.txt zawiera zestaw instrukcji, które nakazują botowi ignorowanie określonych plików lub katalogów.
Może to mieć na celu ochronę prywatności lub właściciel witryny uważa, że ​​zawartość tych plików i katalogów nie ma znaczenia dla kategoryzacji witryny w wyszukiwarkach.

Jeśli witryna ma więcej niż jedną subdomenę, każda subdomena musi mieć własny plik robots.txt.
Należy pamiętać, że nie wszystkie roboty będą honorować plik robots.txt. Niektóre złośliwe boty przeczytają nawet plik robots.txt, aby znaleźć pliki i katalogi, które powinny je najpierw zaatakować. Ponadto, nawet jeśli plik robots.txt instruuje roboty, aby ignorowały określone strony w witrynie, strony te mogą nadal pojawiać się w wynikach wyszukiwania, jeśli są połączone z innymi stronami, które są indeksowane.

Plik Robot.txt zawsze znajdziesz w lokalizacji instalacji Joomla i katalogu public_html.

/home/nazwa_użytkownika/public_html/robot.txt

Dla instalacji subdomenowych.

/home/nazwa_użytkownika/public_html/subdomena/robot.txt