Les sujets:

Les partenaires publicitaires:

Réponses populaires

Questions connexes

Les partenaires publicitaires:

Comment créer un fichier robots.txt pour votre site web

Le fichier robots.txt fournit des lignes directrices à tous les robots Web balayant votre site. Les moteurs de recherche tels que Google et Bing robots utilisation Web pour indexer automatiquement le Web. Par défaut, les robots rampent l'ensemble de votre site web. Cependant, la plupart des sites Web d'inclure des fichiers qui ne sont pas destinés à être explorées car ils ne sont pas conçus dans le cadre de la partie d'affichage du site ou pour des raisons administratives. Le fichier robots.txt indique les répertoires qui ne doivent pas être analysés. Gardez à l'esprit que les logiciels malveillants robots et autres programmes conçus pour analyser les systèmes vulnérables va ignorer le fichier, il ne faut pas l'utiliser comme une mesure de sécurité.

Choses que vous devez

  • Un éditeur de texte de base.
  • Hypothèse: vous avez déjà un site sur un serveur d'hébergement Web.

Instructions

  • 1

    Ouvrez un programme de traitement de texte de texte tel que Notepad. Tapez la ligne suivante au début du fichier:

    User-agent: *



    Cette applique toutes les règles qui suivent pour tous les robots.

  • 2

    Ajouter une ligne de rejeter pour chaque répertoire que vous ne voulez pas rampé:




    Disallow: / administrateur

    Cette ligne de rejeter dit au robot vous ne voulez pas entrer dans le répertoire qui suit, ne comprennent pas l'ensemble de votre URL dans cette ligne. Par exemple, pour interdire "mysite.com/dontcrawl," vous auriez tapez "Disallow: / dontcrawl" dans le fichier robots.txt.

  • 3

    Ajouter une ligne de rejeter supplémentaire pour chaque répertoire que vous ne voulez pas analysé. Ne mettez pas plus d'un répertoire par ligne. Vous pouvez également refuser un fichier ou une page spécifique en plaçant le nom exact du fichier.

  • 4

    Enregistrez le fichier robots.txt comme sur votre ordinateur. Le nom du fichier doit être tout en minuscules. Téléchargez le fichier dans le répertoire racine de votre site Web en utilisant FTP ou les outils de votre hébergeur.

Conseils Avertissements

  • Si votre fournisseur d'hébergement ne vous permet pas de modifier ou d'avoir votre propre fichier robots.txt, vous devez entrer une requête avec eux de placer un fichier personnalisé pour votre site sur leurs serveurs.
  • Techniquement, vous dites les moteurs de recherche ce qu'ils peuvent voir et index, en leur disant ce que de ne pas regarder.
  • De ne pas avoir un fichier robots.txt sur votre site, les moteurs de recherche supposent que tout est OK à l'index.
  • Vérifiez le fichier robots.txt sur d'autres sites pour voir ce qu'ils bloquent (y compris les moteurs de recherche)
  • Pour informer les araignées de ne pas indexer un répertoire entier, assurez-vous de suivre le nom du répertoire avec un slash. ie: / répertoire /. Le slash indique le robot que ce répertoire est.
  • Bien que la plupart des robots sont en cours d'exécution à partir de serveurs UNIX, il est une bonne idée pour vous assurer que tout répertoire ou les fichiers nommés dans le fichier robots.txt sont exactement le même cas que le nom du fichier sur le serveur. (Serveurs Windows serveur jusqu'à des noms de fichiers de cas mixte), les serveurs UNIX serviront également des noms de fichiers de cas mixte tant qu'ils sont configurés pour le faire.
  • meilleure pratique consiste à nommer tous les fichiers avec les régimes de minuscules lettres Peu importe quelle plate-forme serveur que vous êtes sur.
  • Auto généré fichier robots.txt qui envoient autre chose que le texte pourrait faire un moteur de recherche de PAS indexer votre site.
  • Si l'auto généré envoi de fichier robots.txt et page HTML de retour sur demande, les moteurs de recherche ne peuvent pas indexer votre site.

Questions connexes

» » » » Comment créer un fichier robots.txt pour votre site web