Le fichier robots.txt est un fichier texte placé à la racine d'un site et contenant des ordres pour les robots d'indexation des moteurs de recherche afin de leur indiquer les pages qui peuvent ou ne peuvent pas être indexées. Le fichier robots.txt est le premier fichier analysé par les crawlers des moteurs de recherche.
Autoriser tous les robots à accéder à tout le site :
User-agent: *
Disallow:
Empêcher tous les robots d'accéder au site :
User-agent: *
Disallow: /
Pour empêcher tous les robots sauf Googlebot d'accéder à un dossier en particulier, par exemple http://example.org/forum/
User-agent: *
Disallow: /forum
User-agent: googlebot
Disallow:

Société spécialisée en référencement web pour les TPE / PME françaises, achat de mots-clés, webdesign, création de site seo, traduction seo, rédaction de contenu seo
Str. Foisorului, Nr.2, Bl. D, Et. 5, Ap 12, Sector 3, Bucarest - RoumanieCIF: RO18191183, Tel RO : 021/3158885 - Tel FR 0811 030 491* (*Prix d'un appel local) contact@iseom.com - SEO / Webdesign Romania - referencement professionnel TPE / PME - Brioude Internet Référencement
SEO Google / Referencement naturel / Referencement web / Optimisation google / Referencement professionnel / Referencement internet / Optimisation de site
Clients : Brady Skoda, Apprenez à gagner de l'argent sur Internet, pompe chaleur, Diagnostic immobilier puy en velay, hotel A75, Actimat : Tapis logo, Stage Pilotage ACC : Stage Porsche, Autoescape : Location de voiture