Retirer un fichier robot.txt

[carlo24]

Bonjour

A cause d'un fichier robot.txt certaines pages de mon site ne sont pas référencé.. J'ai regardé dans mon code sources mais je ne retrouve pas ce code..
Savez vous comment le retirer?

Bien cordialement.

[Arlacais]

Bonjour,

A cause d'un fichier robot.txt certaines pages de mon site ne sont pas référencé.

Qu'est-ce qui vous fait dire cela ?

J'ai regardé dans mon code sources mais je ne retrouve pas ce code..

Le contenu du fichier robot.txt n'a aucune raison de se
retrouver dans le code source de la page.
Il s'agit simplement d'un fichier qui sera lu par les moteurs
de recherche et qui permet aux webmasters de renseigner
ces robots sur quelles parties de leur site il peuvent/doivent
passer
Ce fichier doit se trouver à la racine du site.
Que mettre dans ce fichier ?
Voir par exemple sur :
http://www.commentcamarche.net/conte...obots-txt.php3

Cordialement

[Jeanluc]

Bonjour,

Le nom exact du fichier est robots.txt. Ce fichier est lu par les robots des moteurs de recherche (mais "robot.txt" sans le s n'est lu par personne).

Ce fichier sert à exclure volontairement des pages de l'indexation. S'il existe, il doit se trouver à la racine de votre site. Vous pouvez le lire en tapant l'URL http://www.votre_domaine.com/robots.txt.

Jean-Luc

[carlo24]

Merci pour vos réponses rapide.

Je le sais car je le vois dans le webmaster tool de google il ressemble a ca
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://comparatif-ejaculation-precoc...rderby=updated

Ou est ce que je peu retirer celui ci et surtout comment en remettre un autre.

[Arlacais]

Un début de réponse ici :
https://groups.google.com/a/googlepr...re/UKSPZ5PyhBQ

où là :

http://www.viensmelire.com/2011/05/r...ndexation.html

[carlo24]

Merci de ses infos esperons que cela soit vrai car je me demande comment un vieux blog que j'avais crée il y a 2 ans sur centerblog soit devant sur google alors que celui ci est un blogspot crée il y a 10 mois tout de même et qui a le double d'article.

[Jeanluc]

Il n'y a aucune raison d'enlever ce robots.txt. Il n'interdit rien à Mediapartners (le robot d'AdSense) et il n'interdit que les pages /search aux autres robots, ce qui est normal.

Jean-Luc

[carlo24]

Ce qui signifie que je ne peu pas être référencer sur bing et cie?

[Jeanluc]

Non, ce robots.txt ne pose aucun problème. Il n'y a aucune raison d'y toucher. S'il y a des problèmes d'indexation avec votre site, ils sont ailleurs.

Jean-Luc

[carlo24]

Ok Merci à tous pour vos réponses je pense que j'ai juste pris peur trop vite je crois.

Amicalement