Identifiez-vous Devenir membre

Rechercher

Ne pas compter les bots

37 réponses

Page 1 2

Auteur	Message
krucial Administrateur Inscrit le : 09/03/2005	# Le 02/07/2007 à 18:59 Salut Je voudrais savoir si certains d'entres vous on mis en place une technique pour ne pas compter les clics des crawlers et autres bots. Je ne sais pas sur quoi partir. Filtrer les USER_AGENT ? Filtrer les utilisateurs refusants les cookies, via une double redir ? Qu'en pensez vous ? JC - Mes sites \| Affiliation devis travaux
toutgagner Modérateur Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:02 c'est sûr que ça trompe... cet après midi je regardais mes stats "location vacances" sur webmastravel (+5000%), je me suis dit, qu'est-ce qui se passe, ça déchire... je suis retombé en jetant un oeil aux stats des plateformes... merde, les robots achètent pas Jeux-concours La Bible du voyageur malin
devtribu Modérateur Inscrit le : 16/06/2005	# Le 02/07/2007 à 19:05 Dans le robots.txt je disallow les user_agent des principaux bots sur les pages de comptages de clics. Dans les stats de requetes, je vire aussi par ip ou par user_agent. L'essentiel des hits se font par les gros moteurs (google, msn, yahoo, ...) qui ont des user_agent précis Application Beauté-test mobile iPhone iPad Application Beauté-test mobile Android
LePhasme Membre Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:24 Vous retirez tout ce qui comporte %bot% dans le user agent et la vous en filtrer comme meme un bon 90% je pense ! Paris Apartments Rentals Avertisseur Autonome de Fumee Viadeo
Zalex14 Modérateur Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:28 User_agent aussi. Un truc comme ça : http://danzcontrib2.free.fr/activiterobots.php (détection des bots) au moment du clic filtre pas mal Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.
bhamp0 Membre Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:31 Suffit de créer un piège à bot (comme les souris) ! Par exemple : un premier lien, caché des visiteurs, tout en haut du code, qui mène vers une page dont le seul but est d'enregistrer l'IP/User-Agent du bot ... comme seuls les bots iront visiter ce lien, tu remplis progressivement une liste des bots Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
tonguide Modérateur Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:54 Comment tu le caches ? oublie pas les mal voyants
bhamp0 Membre Inscrit le : 09/05/2005	# Le 02/07/2007 à 20:16 tonguide> en même temps, sur un site Ajax, les mal-voyants sont pas mal dans la merde ... enfin bref, un lien avec un title "Ne pas cliquer, ça sert à rien, c'est pour faire chier les bots", je crois que les mal voyants vont pas cliquer ;) Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
SquawK Modérateur Inscrit le : 09/05/2005	# Le 02/07/2007 à 20:17 les bots intelligents non plus Comparatif pc portable
Bool Modérateur Inscrit le : 09/05/2005	# Le 03/07/2007 à 09:29 bhamp0 : tu sous estimes la curiosité des gens Google is watching you.
bhamp0 Membre Inscrit le : 09/05/2005	# Le 03/07/2007 à 09:38 Bool> non mais y'aura 99.9% des gens qui verront jamais ce lien (on fait un lien caché avec un display:none ou un truc du genre), seuls ceux qui regardent le code pourront avoir la curiosité de faire un copier-coller du lien En outre, pour tonguide qui me parlait des mal-voyants, la plupart des logiciels pour mal-voyants enlèvent le contenu placé en display:none (et donc ce lien ne leur sera pas présenté non plus). Jusqu'à ce que vous trouviez un bot qui regarde également le css pour choisir ses liens, on a gagné (surtout que il suffit de piéger une fois le bot pour le répertorier à tout jamais dans la base de données et ne plus compter ses clics ) Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
Zalex14 Modérateur Inscrit le : 09/05/2005	# Le 03/07/2007 à 12:41 Les moteurs suivent les liens dans un bloc en display:none ? J'avais compris le contraire. Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.
bhamp0 Membre Inscrit le : 09/05/2005	# Le 03/07/2007 à 12:49 Bah euh ... y'a aussi d'autres techniques que le display:none On peut faire un top:-5000px, un left:-5000px, ... en tout cas, les bots "cons" se feront avoir par ce genre de techniques. Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
Bool Modérateur Inscrit le : 09/05/2005	# Le 03/07/2007 à 13:17 Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même. Google is watching you.
bhamp0 Membre Inscrit le : 09/05/2005	# Le 03/07/2007 à 13:40 Bool> en effet. En outre, je donne une solution pour cacher un div, mais il en existe des dizaines ... Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
Zalex14 Modérateur Inscrit le : 09/05/2005	# Le 03/07/2007 à 15:11 Bool a dit : Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même. Ha bah oui, je viens de tester avec un lien dans un div display:none et j'ai choppé un bot yahoo Je les pensais plus malins les bots des gros moteurs de recherche. Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.
zimounet Membre Inscrit le : 22/03/2006	# Le 03/07/2007 à 20:39 Zalex14 a dit : Bool a dit : Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même. Ha bah oui, je viens de tester avec un lien dans un div display:none et j'ai choppé un bot yahoo Je les pensais plus malins les bots des gros moteurs de recherche. Et si j'ai un menu en arborescence qui s'ouvre avec un changement du display en javascript? tu voudrais que le bot ne suivent pas mon menu? Bon si c'est l'mien p'tet que oui je sais pas... ^^ Ah, c'est balot madame Chombier!
Zalex14 Modérateur Inscrit le : 09/05/2005	# Le 04/07/2007 à 15:52 zimounet a dit : Et si j'ai un menu en arborescence qui s'ouvre avec un changement du display en javascript? tu voudrais que le bot ne suivent pas mon menu? Bon si c'est l'mien p'tet que oui je sais pas... ^^ En fait il me semblait que pour éviter le spamdexing, les gros bots dont google, commencaient à interpréter certains éléments css pour éviter que les pages soient remplis de liens visibles que pour les moteurs et pas pour les internautes. Edit , c'est ce type d'infos que j'avais lu à plusieures reprises il y a déjà pas mal de temps : http://www.webrankinfo.com/actualites/200606-googl... Pour revenir au bots, y'en a un qui s'acharne sur partoch depuis deux jours et je ne vois pas réellement pourquoi : http://www.shopwiki.com Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.
Geo 113 Modérateur Inscrit le : 04/05/2005	# Le 04/07/2007 à 18:11 pour se constituer une base de données de titre de chanson ou album surment Eldael Interactive Ouvert ! Rendez imprévisible l'Economie; Mentez aux sondages
Zalex14 Modérateur Inscrit le : 09/05/2005	# Le 04/07/2007 à 20:38 certainement. je bannis Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

Auteur

Message

krucial
Administrateur

Inscrit le : 09/03/2005

# Le 02/07/2007 à 18:59

Salut

Je voudrais savoir si certains d'entres vous on mis en place une technique pour ne pas compter les clics des crawlers et autres bots. Je ne sais pas sur quoi partir. Filtrer les USER_AGENT ? Filtrer les utilisateurs refusants les cookies, via une double redir ?

Qu'en pensez vous ?

JC - Mes sites | Affiliation devis travaux

toutgagner
Modérateur

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:02

c'est sûr que ça trompe... cet après midi je regardais mes stats "location vacances" sur webmastravel (+5000%), je me suis dit, qu'est-ce qui se passe, ça déchire... je suis retombé en jetant un oeil aux stats des plateformes... merde, les robots achètent pas

Jeux-concours
La Bible du voyageur malin

devtribu
Modérateur

Inscrit le : 16/06/2005

# Le 02/07/2007 à 19:05

Dans le robots.txt je disallow les user_agent des principaux bots sur les pages de comptages de clics.

Dans les stats de requetes, je vire aussi par ip ou par user_agent.
L'essentiel des hits se font par les gros moteurs (google, msn, yahoo, ...) qui ont des user_agent précis

Application Beauté-test mobile iPhone iPad
Application Beauté-test mobile Android

LePhasme
Membre

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:24

Vous retirez tout ce qui comporte %bot% dans le user agent et la vous en filtrer comme meme un bon 90% je pense !

Paris Apartments Rentals Avertisseur Autonome de Fumee Viadeo

Zalex14
Modérateur

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:28

User_agent aussi.
Un truc comme ça : http://danzcontrib2.free.fr/activiterobots.php
(détection des bots) au moment du clic filtre pas mal

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

bhamp0
Membre

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:31

Suffit de créer un piège à bot (comme les souris) !
Par exemple : un premier lien, caché des visiteurs, tout en haut du code, qui mène vers une page dont le seul but est d'enregistrer l'IP/User-Agent du bot ... comme seuls les bots iront visiter ce lien, tu remplis progressivement une liste des bots

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

tonguide
Modérateur

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:54

Comment tu le caches ? oublie pas les mal voyants

bhamp0
Membre

Inscrit le : 09/05/2005

# Le 02/07/2007 à 20:16

tonguide> en même temps, sur un site Ajax, les mal-voyants sont pas mal dans la merde ... enfin bref, un lien avec un title "Ne pas cliquer, ça sert à rien, c'est pour faire chier les bots", je crois que les mal voyants vont pas cliquer ;)

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

SquawK
Modérateur

Inscrit le : 09/05/2005

# Le 02/07/2007 à 20:17

les bots intelligents non plus

Comparatif pc portable

Bool
Modérateur

Inscrit le : 09/05/2005

# Le 03/07/2007 à 09:29

bhamp0 : tu sous estimes la curiosité des gens

Google is watching you.

bhamp0
Membre

Inscrit le : 09/05/2005

# Le 03/07/2007 à 09:38

Bool> non mais y'aura 99.9% des gens qui verront jamais ce lien (on fait un lien caché avec un display:none ou un truc du genre), seuls ceux qui regardent le code pourront avoir la curiosité de faire un copier-coller du lien
En outre, pour tonguide qui me parlait des mal-voyants, la plupart des logiciels pour mal-voyants enlèvent le contenu placé en display:none (et donc ce lien ne leur sera pas présenté non plus).
Jusqu'à ce que vous trouviez un bot qui regarde également le css pour choisir ses liens, on a gagné (surtout que il suffit de piéger une fois le bot pour le répertorier à tout jamais dans la base de données et ne plus compter ses clics )

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

Zalex14
Modérateur

Inscrit le : 09/05/2005

# Le 03/07/2007 à 12:41

Les moteurs suivent les liens dans un bloc en display:none ?
J'avais compris le contraire.

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

bhamp0
Membre

Inscrit le : 09/05/2005

# Le 03/07/2007 à 12:49

Bah euh ... y'a aussi d'autres techniques que le display:none On peut faire un top:-5000px, un left:-5000px, ... en tout cas, les bots "cons" se feront avoir par ce genre de techniques.

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

Bool
Modérateur

Inscrit le : 09/05/2005

# Le 03/07/2007 à 13:17

Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même.

Google is watching you.

bhamp0
Membre

Inscrit le : 09/05/2005

# Le 03/07/2007 à 13:40

Bool> en effet.
En outre, je donne une solution pour cacher un div, mais il en existe des dizaines ...

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

Zalex14
Modérateur

Inscrit le : 09/05/2005

# Le 03/07/2007 à 15:11

Bool a dit :
Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même.

Ha bah oui, je viens de tester avec un lien dans un div display:none et j'ai choppé un bot yahoo

Je les pensais plus malins les bots des gros moteurs de recherche.

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

zimounet
Membre

Inscrit le : 22/03/2006

# Le 03/07/2007 à 20:39

Zalex14 a dit :

Bool a dit :
Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même.

Ha bah oui, je viens de tester avec un lien dans un div display:none et j'ai choppé un bot yahoo

Je les pensais plus malins les bots des gros moteurs de recherche.

Et si j'ai un menu en arborescence qui s'ouvre avec un changement du display en javascript? tu voudrais que le bot ne suivent pas mon menu?

Bon si c'est l'mien p'tet que oui je sais pas... ^^

Ah, c'est balot madame Chombier!

Zalex14
Modérateur

Inscrit le : 09/05/2005

# Le 04/07/2007 à 15:52

zimounet a dit :
Et si j'ai un menu en arborescence qui s'ouvre avec un changement du display en javascript? tu voudrais que le bot ne suivent pas mon menu?

Bon si c'est l'mien p'tet que oui je sais pas... ^^

En fait il me semblait que pour éviter le spamdexing, les gros bots dont google, commencaient à interpréter certains éléments css pour éviter que les pages soient remplis de liens visibles que pour les moteurs et pas pour les internautes.

Edit , c'est ce type d'infos que j'avais lu à plusieures reprises il y a déjà pas mal de temps :
http://www.webrankinfo.com/actualites/200606-googl...

Pour revenir au bots, y'en a un qui s'acharne sur partoch depuis deux jours et je ne vois pas réellement pourquoi :
http://www.shopwiki.com

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

Geo 113
Modérateur

Inscrit le : 04/05/2005

# Le 04/07/2007 à 18:11

pour se constituer une base de données de titre de chanson ou album surment

Eldael Interactive Ouvert !
Rendez imprévisible l'Economie; Mentez aux sondages

Zalex14
Modérateur

Inscrit le : 09/05/2005

# Le 04/07/2007 à 20:38

certainement. je bannis

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

Page 1 2

Répondre

Vous ne pouvez pas participer au forum, car votre inscription n'a pas été validée. Pour vous faire valider en tant que Membre, cliquez ici.