Ajouter une ligne de rejeter pour chaque répertoire que vous ne voulez pas rampé:
Disallow: / administrateur
Cette ligne de rejeter dit au robot vous ne voulez pas entrer dans le répertoire qui suit, ne comprennent pas l'ensemble de votre URL dans cette ligne. Par exemple, pour interdire "mysite.com/dontcrawl," vous auriez tapez "Disallow: / dontcrawl" dans le fichier robots.txt.