diff --git a/ChangeLog b/ChangeLog index e7ce9eb1..28284983 100644 --- a/ChangeLog +++ b/ChangeLog @@ -48,6 +48,11 @@ Type: feature Changed: linkchecker, linkcheck/configuration.py, doc/{de,en,fr}/*.1 + * The new blacklist output file is now stored in + ~/.linkchecker/blacklist. + Type: feature + Changed: linkchecker, linkcheck/configuration.py, doc/{de,en,fr}/*.1 + * Start the log output before appending new urls to the consumer since this can trigger logger.new_url(). Type: bugfix diff --git a/TODO b/TODO index c472390f..04f9d41f 100644 --- a/TODO +++ b/TODO @@ -1,12 +1,5 @@ Possible improvements people could work on: -- [OPTIMIZATION] HTTP connection pooling. Right now we open for every - HTTP link a new connection. - Must be thread-safe, must handle timeouts and connection expiration - (HTTP: only pool persistent (ie. HTTP/1.1) connections; Keepalive - header parsing). - Note: FTP connection pooling is already there. - - [USAGE] rethink intern/extern stuff - [BUGFIX] when an URL is found in the cache and it has a broken anchor, diff --git a/doc/de/linkchecker.1 b/doc/de/linkchecker.1 index 46b2b045..f933521c 100644 --- a/doc/de/linkchecker.1 +++ b/doc/de/linkchecker.1 @@ -110,7 +110,7 @@ G .TP \fB-F\fP\fITyp\fP[\fB/\fP\fIEnkodierung\fP][\fB/\fP\fIDateiname\fP], \fB--file-output=\fP\fITyp\fP[\fB/\fP\fIEnkodierung\fP][\fB/\fP\fIDateiname\fP] Ausgabe in eine Datei namens \fBlinkchecker-out.\fP\fITyp\fP, -\fB$HOME/.linkchecker_blacklist\fP +\fB$HOME/.linkchecker/blacklist\fP bei \fBblacklist\fP Ausgabe, oder \fIDateiname\fP falls angegeben. Der \fIDateiname\fP Teil wird beim Ausgabetyp \fBnone\fP ignoriert, ansonsten wird die Datei überschreiben falls sie existiert. @@ -255,8 +255,8 @@ um die initiale SQL Tabelle zu erstellen ist unter create.sql zu finden. .TP \fBblacklist\fP Für Cronjobs geeignet. Gibt das Prüfergebnis in eine Datei -\fB~/.blacklist\fP aus welche nur Einträge mit fehlerhaften URLs und die -Anzahl der Fehlversuche enthält. +\fB~/.linkchecker/blacklist\fP aus welche nur Einträge mit fehlerhaften +URLs und die Anzahl der Fehlversuche enthält. .TP \fBnone\fP Gibt nichts aus. Für Skripte geeignet. @@ -311,7 +311,8 @@ ein Programmfehler aufgetreten ist. \fB/etc/linkchecker/linkcheckerrc\fP, \fB~/.linkchecker/linkcheckerrc\fP - Standardkonfigurationsdateien -\fB~/.blacklist\fP - Standard Dateiname der blacklist Logger Ausgabe +\fB~/.linkchecker/blacklist\fP - +Standard Dateiname der blacklist Logger Ausgabe \fBlinkchecker-out.\fP\fITyp\fP - Standard Dateiname der Logger Ausgabe diff --git a/doc/en/linkchecker.1 b/doc/en/linkchecker.1 index 86dab102..d8080cd0 100644 --- a/doc/en/linkchecker.1 +++ b/doc/en/linkchecker.1 @@ -114,7 +114,7 @@ Valid encodings are listed at .TP \fB-F\fP\fItype\fP[\fB/\fP\fIencoding\fP][\fB/\fP\fIfilename\fP], \fB--file-output=\fP\fItype\fP[\fB/\fP\fIencoding\fP][\fB/\fP\fIfilename\fP] Output to a file \fBlinkchecker-out.\fP\fItype\fP, -\fB$HOME/.linkchecker_blacklist\fP for +\fB$HOME/.linkchecker/blacklist\fP for \fBblacklist\fP output, or \fIfilename\fP if specified. \fIencoding\fP specifies the output encoding, the default is \fBiso-8859-15\fP. @@ -253,8 +253,8 @@ script to create the initial SQL table is included as create.sql. .TP \fBblacklist\fP Suitable for cron jobs. Logs the check result into a file -\fB~/.blacklist\fP which only contains entries with invalid urls and -the number of times they have failed. +\fB~/.linkchecker/blacklist\fP which only contains entries with invalid +urls and the number of times they have failed. .TP \fBnone\fP Logs nothing. Suitable for scripts. @@ -307,7 +307,7 @@ a program error occurred. \fB/etc/linkchecker/linkcheckerrc\fP, \fB~/.linkchecker/linkcheckerrc\fP - default configuration files -\fB~/.blacklist\fP - default blacklist logger output filename +\fB~/.linkchecker/blacklist\fP - default blacklist logger output filename \fBlinkchecker-out.\fP\fItype\fP - default logger file output name diff --git a/doc/fr/linkchecker.1 b/doc/fr/linkchecker.1 index aaf275f4..ec115645 100644 --- a/doc/fr/linkchecker.1 +++ b/doc/fr/linkchecker.1 @@ -104,7 +104,7 @@ Les encodages valides sont disponibles sur \fBhttp://docs.python.org/lib/node127 .TP \fB\-F\fP\fItype\fP[\fB/\fP\fIencodage\fP][\fB/\fP\fInom_fichier\fP], \fB\-\-file\-output=\fP\fItype\fP[\fB/\fP\fIencodage\fP][\fB/\fP\fInom_fichier\fP] Enregistrer la sortie dans un fichier \fBlinkchecker\-out.\fP\fItype\fP, -\fB$HOME/.linkchecker_blacklist\fP pour la sortie \fBblacklist\fP, ou dans \fInom_fichier\fP si spécifié. +\fB$HOME/.linkchecker/blacklist\fP pour la sortie \fBblacklist\fP, ou dans \fInom_fichier\fP si spécifié. \fIencodage\fP permet de spécifier l'encodage de sortie, la valeur par défaut étant \fBiso\-8859\-15\fP. Les encodages valides sont disponibles sur \fBhttp://docs.python.org/lib/node127.html\fP. La partie \fInom_fichier\fP du type de sortie \fBnone\fP est ignorée, sinon, si le fichier existe déjà, il sera écrasé. @@ -205,7 +205,8 @@ Journaliser le r Journaliser le résultat dans un script SQL avec des commandes INSERT. Un script d'exemple montrant la création de la table SQL initiale est inclus : create.sql. .TP \fBblacklist\fP -Approprié pour les tâches cron. Journaliser le résultat de la vérification dans un fichier \fB~/.blacklist\fP qui ne contient que les entrées avec des URL invalides et le nombre de fois qu'elles ont échoué. +Approprié pour les tâches cron. Journaliser le résultat de la vérification +dans un fichier \fB~/.linkchecker/blacklist\fP qui ne contient que les entrées avec des URL invalides et le nombre de fois qu'elles ont échoué. .TP \fBnone\fP Ne rien journaliser du tout. Approprié pour les scripts. @@ -251,7 +252,7 @@ a program error occurred. .SH "FICHIERS" \fB/etc/linkchecker/linkcheckerrc\fP, \fB~/.linkchecker/linkcheckerrc\fP \- fichiers de configuration par défaut -\fB~/.blacklist\fP \- fichier par défaut des blacklists pour la journalisation +\fB~/.linkchecker/blacklist\fP \- fichier par défaut des blacklists pour la journalisation \fBlinkchecker\-out.\fP\fItype\fP \- fichier par défaut pour la journalisation diff --git a/doc/upgrading.html b/doc/upgrading.html index ac1f4c56..332efe9c 100644 --- a/doc/upgrading.html +++ b/doc/upgrading.html @@ -35,8 +35,10 @@ window.onload = function() {

Upgrading

Migrating from 2.2 to 2.3

-

The old config file ~/.linkcheckerrc should be moved to -~/.linkchecker/linkcheckerrc.

+

The per-user config file is now ~/.linkchecker/linkcheckerrc +(previous location was ~/.linkcheckerrc ).

+

The default blacklist output file is now ~/.linkchecker/blacklist +(previous location was ~/.blacklist).

Python >= 2.4 is now required.

@@ -75,7 +77,7 @@ you can append a || diff --git a/doc/upgrading.txt b/doc/upgrading.txt index e12bd639..68d79b7b 100644 --- a/doc/upgrading.txt +++ b/doc/upgrading.txt @@ -8,8 +8,11 @@ Upgrading Migrating from 2.2 to 2.3 ------------------------- -The old config file ``~/.linkcheckerrc`` should be moved to -``~/.linkchecker/linkcheckerrc``. +The per-user config file is now ``~/.linkchecker/linkcheckerrc`` +(previous location was ``~/.linkcheckerrc`` ). + +The default blacklist output file is now ``~/.linkchecker/blacklist`` +(previous location was ``~/.blacklist``). Python >= 2.4 is now required. diff --git a/linkchecker b/linkchecker index 25e837fc..de410494 100755 --- a/linkchecker +++ b/linkchecker @@ -125,8 +125,8 @@ sql Log check result as SQL script with INSERT commands. An example script to create the initial SQL table is included as create.sql. blacklist Suitable for cron jobs. Logs the check result into a file - ~/.blacklist which only contains entries with invalid urls and - the number of times they have failed. + ~/.linkchecker/blacklist which only contains entries with invalid + urls and the number of times they have failed. none Logs nothing. Suitable for scripts. """) @@ -294,7 +294,7 @@ Valid encodings are listed at http://docs.python.org/lib/node127.html.""") % \ group.add_option("-F", "--file-output", type="string", action="append", dest="fileoutput", metavar="TYPE[/ENCODING][/FILENAME]", help=_( -"""Output to a file linkchecker-out.TYPE, $HOME/.linkchecker_blacklist for +"""Output to a file linkchecker-out.TYPE, $HOME/.linkchecker/blacklist for 'blacklist' output, or FILENAME if specified. ENCODING specifies the output encoding, the default is "iso-8859-15". Valid encodings are listed at http://docs.python.org/lib/node127.html.