Vous laissez google crawler vos ajax vous ?

3 réponses

Auteur	Message
krucial \| Administrateur Inscrit le : 09/03/2005	# Le 11/01/2019 à 10:28 Salut Je vois que google perd pas mal de temps à crawler des fichiers ajax. Un exemple : https://www.forumconstruire.com/construire/topic-3... Une fois la page afichée, j'ai un script qui scanne toutes les images des messages et qui fait un appel ajax pour chopper des infos supplementaires sur ces images (dans cet exemple, ca affiche les petites icones shopping). Cette page ajax est : https://www.forumconstruire.com/photos/ajax.php?co... Le probleme c'est que google parse ce fichier. J'ai plein d'appels dans les logs, alors que ça sert à rien ! Donc, de façon générale, vous faites quoi de votre coté ? Bloqué dans robots.txt ? Ou il faut laisser google libre d'aller ou il veut ? JC - Mes sites \| Affiliation devis travaux \| Cotes voitures anciennes
tonguide \| Jeremy Modérateur Inscrit le : 09/05/2005	# Le 11/01/2019 à 10:38 Personnelement, robots.txt Mais dans ton cas, vu que GG les a déjà en base, j'ai tendance à changer le nom des fichiers/routes et laisser GG passé en 404 les anciennes routes (pour qu'il les vire de sa base) et mettre le robots.txt sur les nouvelles routes, dès le début cette fois, pour qu'il ne puisse pas y avoir accès et donc ne les ajoute pas à sa base. Si tu mets juste un robots.txt sans changer de nom, à priori, GG n'y a plus accès, MAIS elles existaient bien pour lui quand il y avait accès. Donc il a aucune raison de les supprimer, il sait qu'elles existent mais ne peut plus les mettre à jour donc continue d'exister pour lui.
krucial \| Jean Christophe Administrateur Inscrit le : 09/03/2005	# Le 11/01/2019 à 12:08 Tu vires tous tes ajax ou certains qui publient du contenu restent accessibles ? Merci pour ta reponse. JC - Mes sites \| Affiliation devis travaux \| Cotes voitures anciennes
tonguide \| Jeremy Modérateur Inscrit le : 09/05/2005	# Le 11/01/2019 à 12:31 Tout dépend, si l'ajax en question est nécessaire à la production de la page que tu veux ref (genre différé le chargement d'une partie), là je pense qu'il faut le laisser. Maintenant, si il apporte un confort fonctionnel aux visiteurs mais ne génère pas un contenu indispensable pour la page/le ref, ça n'a pas trop d'intérêt de laisser GG y aller. Dans l'absolu, dans ton cas d'un site "traditionnel", sans vue/angular/react, théoriquement 100% du contenu est directement accessible, et donc je ne vois pas de cas ou il serait intéressant de laisser GG y aller.

Auteur

Message

krucial |
Administrateur

Inscrit le : 09/03/2005

# Le 11/01/2019 à 10:28

Salut

Je vois que google perd pas mal de temps à crawler des fichiers ajax.

Un exemple : https://www.forumconstruire.com/construire/topic-3...

Une fois la page afichée, j'ai un script qui scanne toutes les images des messages et qui fait un appel ajax pour chopper des infos supplementaires sur ces images (dans cet exemple, ca affiche les petites icones shopping).

Cette page ajax est : https://www.forumconstruire.com/photos/ajax.php?co...

Le probleme c'est que google parse ce fichier. J'ai plein d'appels dans les logs, alors que ça sert à rien !

Donc, de façon générale, vous faites quoi de votre coté ? Bloqué dans robots.txt ? Ou il faut laisser google libre d'aller ou il veut ?

JC - Mes sites | Affiliation devis travaux | Cotes voitures anciennes

tonguide | Jeremy
Modérateur

Inscrit le : 09/05/2005

# Le 11/01/2019 à 10:38

Personnelement, robots.txt

Mais dans ton cas, vu que GG les a déjà en base, j'ai tendance à changer le nom des fichiers/routes et laisser GG passé en 404 les anciennes routes (pour qu'il les vire de sa base) et mettre le robots.txt sur les nouvelles routes, dès le début cette fois, pour qu'il ne puisse pas y avoir accès et donc ne les ajoute pas à sa base.

Si tu mets juste un robots.txt sans changer de nom, à priori, GG n'y a plus accès, MAIS elles existaient bien pour lui quand il y avait accès. Donc il a aucune raison de les supprimer, il sait qu'elles existent mais ne peut plus les mettre à jour donc continue d'exister pour lui.

krucial | Jean Christophe
Administrateur

Inscrit le : 09/03/2005

# Le 11/01/2019 à 12:08

Tu vires tous tes ajax ou certains qui publient du contenu restent accessibles ?

Merci pour ta reponse.

JC - Mes sites | Affiliation devis travaux | Cotes voitures anciennes

tonguide | Jeremy
Modérateur

Inscrit le : 09/05/2005

# Le 11/01/2019 à 12:31

Tout dépend, si l'ajax en question est nécessaire à la production de la page que tu veux ref (genre différé le chargement d'une partie), là je pense qu'il faut le laisser.

Maintenant, si il apporte un confort fonctionnel aux visiteurs mais ne génère pas un contenu indispensable pour la page/le ref, ça n'a pas trop d'intérêt de laisser GG y aller.

Dans l'absolu, dans ton cas d'un site "traditionnel", sans vue/angular/react, théoriquement 100% du contenu est directement accessible, et donc je ne vois pas de cas ou il serait intéressant de laisser GG y aller.

Répondre

Vous ne pouvez pas participer au forum, car votre inscription n'a pas été validée. Pour vous faire valider en tant que Membre, cliquez ici.