Robots pozwala na zastosowanie precyzyjnego i zależnego od strony podejścia do kontrolowania sposobu, w jaki dana strona ma być indeksowana i wyświetlana użytkownikom w wynikach wyszukiwania Google. Wyróżniamy kilka dyrektyw, do których boty się dostosowywują i indeksują stroną lub też pomija daną podstronę. 
Dyrektywy:

• All
• noindex
• nofollow
• noarchive
• nosnippet
• max-snippet:
• max-image-
• max-video-preview:[number]
• notranslate
• noimageindex
• data-text="unavailable_after: [data/godzina]