Awstats - Erreur de traitement

9 réponses

Auteur	Message
MultiNetWorks \| Membre Inscrit le : 13/05/2005	# Le 04/02/2006 à 18:26 Salut à tous ! J'ai un problème récurrent depuis un moment avec Awstats sur un site web. Lors de l'analyse des logs de celui-ci, il me retourne ceci : Parsed lines in file: 201251 Found 0 dropped records, Found 140034 corrupted records, Found 0 old records, Found 61217 new qualified records. C'est dont les 3/4 des stats qui ne sont pas comptés... C'est assez embetant et malgré de multiples réglages dans le fichier de config, rien à y faire. J'ai pensé que cela pouvait venir du grand nombres de pages vu ou alors des url trop longues compte tenu du forum mais je n'est pas la solution. Une idée ? Damien...
MathieuC \| Mathieu Modérateur Inscrit le : 15/07/2005	# Le 04/02/2006 à 18:52 tu dois surement pouvoir lui demander d'etre plus explicite (plus "verbose") dans la description des "corrupted records", pour savoir ce qui le gene dans ces enregistrements. Une fois que tu sais d'ou vient le probleme, ce sera plus facile de le resoudre
MathieuC \| Mathieu Modérateur Inscrit le : 15/07/2005	# Le 04/02/2006 à 19:01 tiré de la : http://awstats.sourceforge.net/docs/awstats_config... ------------------------------------------ WarningMessages Version : 1.0+ # AWStats can detect setup problems or show you important informations to have # a better use. Keep this to 1, except if AWStats says you can change it. # Possible values: 0 or 1 # Default: 1 # WarningMessages=1 -------------------------------------------------------------------------------- ErrorMessages Version : 5.2+ # When an error occurs, AWStats output a message related to errors. If you # want (in most cases for security reasons) to have no error messages, you # can set this parameter to your personalized generic message. # Example: "An error occured. Contact your Administrator" # Default: "" # ErrorMessages="" -------------------------------------------------------------------------------- DebugMessages Version : 5.2+ # AWStat can be run with debug=x parameter to output various informations # to help in debugging or solving troubles. If you want to allow this (not # enabled by default for security reasons), set this parameter to 0. # Change : Effective immediatly # Possible values: 0 or 1 # Default: 0 # DebugMessages=0
MultiNetWorks \| Damien Membre Inscrit le : 13/05/2005	# Le 04/02/2006 à 19:14 Ca m'en dit pas plus... Jumped lines in file: 0 Parsed lines in file: 238717 Found 0 dropped records Found 181788 corrupted records Found 7963 old records Found 48966 new qualified records. (Message édité le 04-02-2006 à 19h19 par MultiNetWorks) Damien...
MathieuC \| Mathieu Modérateur Inscrit le : 15/07/2005	# Le 05/02/2006 à 01:33 bah je sais pas trop comment t'aider plus :'(
MultiNetWorks \| Damien Membre Inscrit le : 13/05/2005	# Le 05/02/2006 à 12:15 Comme je le disait, cela vient peut-etre du fait des url trop longues, auriez vous un moyen de tronquer l'url lors de l'éntrée dans le logs ? Damien...
MultiNetWorks \| Damien Membre Inscrit le : 13/05/2005	# Le 05/02/2006 à 17:28 Après investigations, j'ai réussi à lui faire cracher des morceaux, donc il bloque sur ce genre de ligne où il me dit que la date est mauvaise. Exemple de ligne : Corrupted record (date 20060205050722 lower than 20060205170701-20000): 84.5.148.210 - - [05/Feb/2006:05:07:22 +0100] "GET /mkportal/templates/default/images/atb_urlo.gif HTTP/1.1" 200 1035 "http://www.jbmm.fr/index.php?ind=downloads&op=search" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 0 www.jbmm.fr Awstats me dit : If this is because the date of a record is said to be lower than date of previous, this means that you ran update processes on different log files without keeping the chronological order of log files. Mais je comprend pas très bien le sens du truc et ou est le remède... Damien...
MathieuC \| Mathieu Modérateur Inscrit le : 15/07/2005	# Le 05/02/2006 à 18:09 Ce qui le gene est que tes enregistrements de logs ne sont pas dans l'ordre chronologique appaerement Exemple de logs qui le gene : - hit a 12:00 - hit a 12:02 - hit a 12:01 Apres, apache est cense enregistrer les hits dans l'ordre, c'est bizarre qu'ils ne soient pas dans l'ordre dans ton cas Ce que tu peux faire, c'est passer un coup de logresolvemerge.pl sur ton fichier log, il est fourni avec awstats (http://awstats.sourceforge.net/docs/awstats_tools.... ).
devtribu \| Olivier Modérateur Inscrit le : 16/06/2005	# Le 05/02/2006 à 18:15 L'ordre chronologique peut etre inversé sur un cluster dont les horloges machines ne sont pas bien synchronisées... Je me suis deja arraché les cheveux la dessus quand j'etais encore chez online.net Février 2019, mon futur livre Tout JavaScript chez Dunod https://amzn.to/2PoLd0f
MultiNetWorks \| Damien Membre Inscrit le : 13/05/2005	# Le 05/02/2006 à 18:21 Le problème vient du faite que je découpe les logs par domaine, si un site a plusieurs domaines, exemple Site.com : access_log -> logs_site.com Site.net : access_log -> logs_site.com (en rajout) D'ou un problème de date pour les logs de site.net qui ne sont pas dans l'ordre... Damien...

Auteur

Message

Inscrit le : 13/05/2005

# Le 04/02/2006 à 18:26

Salut à tous !
J'ai un problème récurrent depuis un moment avec Awstats sur un site web. Lors de l'analyse des logs de celui-ci, il me retourne ceci :
Parsed lines in file: 201251
Found 0 dropped records,
Found 140034 corrupted records,
Found 0 old records,
Found 61217 new qualified records.

C'est dont les 3/4 des stats qui ne sont pas comptés... C'est assez embetant et malgré de multiples réglages dans le fichier de config, rien à y faire.

J'ai pensé que cela pouvait venir du grand nombres de pages vu ou alors des url trop longues compte tenu du forum mais je n'est pas la solution.

Une idée ?

Damien...

MathieuC | Mathieu
Modérateur

Inscrit le : 15/07/2005

# Le 04/02/2006 à 18:52

tu dois surement pouvoir lui demander d'etre plus explicite (plus "verbose") dans la description des "corrupted records", pour savoir ce qui le gene dans ces enregistrements.

Une fois que tu sais d'ou vient le probleme, ce sera plus facile de le resoudre

MathieuC | Mathieu
Modérateur

Inscrit le : 15/07/2005

# Le 04/02/2006 à 19:01

tiré de la : http://awstats.sourceforge.net/docs/awstats_config...

------------------------------------------
WarningMessages
Version : 1.0+

# AWStats can detect setup problems or show you important informations to have
# a better use. Keep this to 1, except if AWStats says you can change it.
# Possible values: 0 or 1
# Default: 1
#
WarningMessages=1

--------------------------------------------------------------------------------
ErrorMessages
Version : 5.2+

# When an error occurs, AWStats output a message related to errors. If you
# want (in most cases for security reasons) to have no error messages, you
# can set this parameter to your personalized generic message.
# Example: "An error occured. Contact your Administrator"
# Default: ""
#
ErrorMessages=""

--------------------------------------------------------------------------------
DebugMessages
Version : 5.2+

# AWStat can be run with debug=x parameter to output various informations
# to help in debugging or solving troubles. If you want to allow this (not
# enabled by default for security reasons), set this parameter to 0.
# Change : Effective immediatly
# Possible values: 0 or 1
# Default: 0
#
DebugMessages=0

MultiNetWorks | Damien
Membre

Inscrit le : 13/05/2005

# Le 04/02/2006 à 19:14

Ca m'en dit pas plus...

Jumped lines in file: 0
Parsed lines in file: 238717
Found 0 dropped records
Found 181788 corrupted records
Found 7963 old records
Found 48966 new qualified records.

(Message édité le 04-02-2006 à 19h19 par MultiNetWorks)

Damien...

MathieuC | Mathieu
Modérateur

Inscrit le : 15/07/2005

# Le 05/02/2006 à 01:33

bah je sais pas trop comment t'aider plus :'(

MultiNetWorks | Damien
Membre

Inscrit le : 13/05/2005

# Le 05/02/2006 à 12:15

Comme je le disait, cela vient peut-etre du fait des url trop longues, auriez vous un moyen de tronquer l'url lors de l'éntrée dans le logs ?

Damien...

MultiNetWorks | Damien
Membre

Inscrit le : 13/05/2005

# Le 05/02/2006 à 17:28

Après investigations, j'ai réussi à lui faire cracher des morceaux, donc il bloque sur ce genre de ligne où il me dit que la date est mauvaise.

Exemple de ligne : Corrupted record (date 20060205050722 lower than 20060205170701-20000): 84.5.148.210 - - [05/Feb/2006:05:07:22 +0100] "GET /mkportal/templates/default/images/atb_urlo.gif HTTP/1.1" 200 1035 "http://www.jbmm.fr/index.php?ind=downloads&op=search" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 0 www.jbmm.fr

Awstats me dit : If this is because the date of a record is said to be lower than date of previous, this means that you ran update processes on different log files without keeping the chronological order of log files.

Mais je comprend pas très bien le sens du truc et ou est le remède...

Damien...

MathieuC | Mathieu
Modérateur

Inscrit le : 15/07/2005

# Le 05/02/2006 à 18:09

Ce qui le gene est que tes enregistrements de logs ne sont pas dans l'ordre chronologique appaerement

Exemple de logs qui le gene :

- hit a 12:00
- hit a 12:02
- hit a 12:01

Apres, apache est cense enregistrer les hits dans l'ordre, c'est bizarre qu'ils ne soient pas dans l'ordre dans ton cas

Ce que tu peux faire, c'est passer un coup de logresolvemerge.pl sur ton fichier log, il est fourni avec awstats (http://awstats.sourceforge.net/docs/awstats_tools.... ).

devtribu | Olivier
Modérateur

Inscrit le : 16/06/2005

# Le 05/02/2006 à 18:15

L'ordre chronologique peut etre inversé sur un cluster dont les horloges machines ne sont pas bien synchronisées...
Je me suis deja arraché les cheveux la dessus quand j'etais encore chez online.net

Février 2019, mon futur livre Tout JavaScript chez Dunod https://amzn.to/2PoLd0f

MultiNetWorks | Damien
Membre

Inscrit le : 13/05/2005

# Le 05/02/2006 à 18:21

Le problème vient du faite que je découpe les logs par domaine, si un site a plusieurs domaines, exemple

Site.com : access_log -> logs_site.com
Site.net : access_log -> logs_site.com (en rajout)

D'ou un problème de date pour les logs de site.net qui ne sont pas dans l'ordre...

Damien...

Répondre

Vous ne pouvez pas participer au forum, car votre inscription n'a pas été validée. Pour vous faire valider en tant que Membre, cliquez ici.