Loading ...
Sorry, an error occurred while loading the content.
 

1&1 / puretec logs

Expand Messages
  • Günther Eisele
    Hi, the log files from 1&1 and puretec (German provider) add the domain name after the file size. This is contrary to the log file standard and confuses
    Message 1 of 6 , Oct 16, 2000
      Hi,

      the log files from 1&1 and puretec (German provider) add the domain name
      after the file size. This is contrary to the log file standard and
      confuses webalizer. I have created a very simple solution to that using
      sed.exe, which is a free software (normally found on unix systems) that
      makes use of regular expressions to make changes in files.

      At the moment, I append every new (weekly) log file to one big file, and
      sed works on this one -> no usage of the incremental functionality of
      webalizer and no usage of the 'online' decompressing of zipped files.

      Question: Does someone also need this functionality? sed (and it's script
      file) can be easily added to the batch file which runs webalizer. When
      required, I can make a little package with the software and the
      batch/script files I made.

      Bye
      Günther
    • Sebastian Talmon
      ... I am interested! Does this program run under Win95? Greetings Sebastian Ich wäre interessiert! Läuft das Programm unter Win95? Gruß Sebastian
      Message 2 of 6 , Oct 17, 2000
        > Question: Does someone also need this functionality?
        > sed (and it's script file) can be easily added to the
        > batch file which runs webalizer. When required, I can
        > make a little package with the software and the
        > batch/script files I made.

        I am interested!
        Does this program run under Win95?

        Greetings
        Sebastian


        Ich wäre interessiert!
        Läuft das Programm unter Win95?

        Gruß
        Sebastian
      • Robert Müller
        Hallo Günther, ich bin auch interessiert. Ich stehe vor dem gleichen Problem.
        Message 3 of 6 , Oct 17, 2000
          Hallo Günther,
          ich bin auch interessiert. Ich stehe vor dem gleichen Problem.
          | Robert Müller | html@... |
        • Günther Eisele
          If someone is interested in an English description, please feel free to mail me. As I think the topic is just related to a German provider (and just Germans
          Message 4 of 6 , Oct 17, 2000
            If someone is interested in an English description, please feel free to
            mail me. As I think the topic is just related to a German provider (and
            just Germans are interested) it should be ok when the following is in
            German.

            Hallo Robert, hallo Sebastian,

            sed gibt es für praktisch jede Plattform. Ich lasse es unter Win98 laufen.

            Ich tippe hier mal eine kurze Beschreibung, eigentlich ist es ganz
            einfach:

            An Software braucht man nur die sed.exe. Die gibt's hier zum Download
            (oder per Mail von mir):

            ftp://ftp.simtel.net/pub/simtelnet/gnu/djgpp/v2gnu/sed302b.zip

            Alle Files außer sed.exe könnt ihr löschen. Am sinnvollsten steht das
            Verzeichnis von sed im Path (überall aufrufbar).

            Sed öffnet eine Datei und führt darauf verschiedene Operationen durch,
            z.B. löschen oder in meinem Anwendungsfall, suchen und ersetzen (und zwar
            richtig fix). Dazu braucht man einen regulären Ausdruck, der in einem
            Scriptfile steht:

            <domweg.sed>:
            +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
            # sed-Skript zum Entfernen des Domainnamnes in 1&1/Puretec-Logfiles
            s/[ ]www\.guenther-eisele\.de[ ]/ /
            +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

            Übersetzt: Suche " www.guenther-eisele.de " und ersetze durch " ".

            Aufgerufen wird sed in folgender Batchdatei:

            <1u1.bat>:
            +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
            c:
            cd \daten\www\logs
            sed -f domweg.sed alle.log > alle_mod.log
            c:\progra~1\webaliz\webalizer -c c:\daten\www\1u1.conf
            del alle_mod.log
            +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

            Natürlich muss der Eintrag in der webalizer-conf auf die _modifizierte_
            log-Datei zeigen (alle_mod.log). Voraussetzung für die obige Lösung: Das
            Logfile liegt als komplettes einzelnes File vor (ich kopiere neue logfiles
            jeweils an das Ende der alle.log). Wird die inkrementell-Funktion des
            webalizers genutzt, muss sed dann halt jeweils nur das neue Logfile
            bearbeiten - das ist für große Logfiles natürlich deutlich effizienter.

            Mich würde interessieren, wie Ihr die puretec/1&1-Files derzeit
            bearbeitet? Inkrementell, mit der webalizer-Dekomprimierfunktion,
            automatisiert in einer Batch (die die Logfile-Nummer hochzählt zum
            Beispiel)?

            Auf einem Pentium-500 mit 128 MB dauert der zusätzliche sed-Aufruf etwa 1
            Sekunde bei einer allerdings nicht allzugroßen Datei.

            Viele Grüße
            Günther

            PS: Hat schon jemand die Logfiles in Access geladen? Ich komm mit dem
            Datumsformat nicht klar. Wäre auch ein Job für sed, der das Datum gleich
            mitkonvertiert.
          • Robert Müller
            Hallo Günther, ich muß mal etwas weiter ausholen: Ich teste gerade für eine kleine Gruppe diverse LogFile Interpreter. Für meine Puretec Log´s setze ich
            Message 5 of 6 , Oct 18, 2000
              Hallo Günther,
              ich muß mal etwas weiter ausholen:
              Ich teste gerade für eine kleine Gruppe diverse LogFile Interpreter. Für
              meine Puretec Log´s setze ich zur Zeit die Trial Version vom Webtrend
              Enterprice Server ein. Die Reports sind von der Ausführlichkeit einfach
              Spitze aber ich halte den Preis, die Dauer der Erstellung und den Umfang der
              Reports (~40 MB pro Monat) für überzogen.
              Für die LogFiles des lokalen Apache Test und Entwicklungs - Webservers setze
              ich Webalizer ein. Daher kann ich also zu den Bearbeiten von LogFiles von
              Puretec mit Webalizer (noch) nichts sagen.

              Damit die Gruppe hier mal einen Puretec Log Eintrag sieht:
              62.144.222.254 - - [22/May/2000:00:00:11 +0200] "GET
              /2000/treiber/drucker2.htm HTTP/1.1" 200 1188 www.betaos.de
              "http://www.betaos.de/2000/treiber/treiber.htm" "Mozilla/4.0 (compatible;
              MSIE 5.01; Windows NT 5.0)"
              Der Grund für die Angabe der Domain ist, das hier für alle Domains des
              Puretec Paketes ein LogFile angelegt wird. So ist es also möglich die
              Einträge einer von x Domain´s zuzuordnen.

              Daher würde ich eher eine andere Lösung bevorzugen:
              Trennung der Logfiles nach DomainName
              Löschen der Domain ( wenn nicht anders möglich - noch lieber wäre mir eine
              Erkennung durch Webalizer ;-)
              Auswertung

              Viele Grüße
              | Robert Müller | html@... |
            • Günther Eisele
              Hi, ... Achso. Da frag ich mich allerdings, warum man den Domainnamen nicht nach hinten hängen könnte. Ich hab nur eine Domain, das Problem betrifft mich
              Message 6 of 6 , Oct 18, 2000
                Hi,

                > Der Grund für die Angabe der Domain ist, das hier für alle Domains des
                > Puretec Paketes ein LogFile angelegt wird. So ist es also möglich die
                > Einträge einer von x Domain´s zuzuordnen.

                Achso. Da frag ich mich allerdings, warum man den Domainnamen nicht nach
                hinten hängen könnte. Ich hab nur eine Domain, das Problem betrifft mich
                insofern nicht.

                > Daher würde ich eher eine andere Lösung bevorzugen:
                > Trennung der Logfiles nach DomainName
                > Löschen der Domain ( wenn nicht anders möglich - noch lieber wäre mir eine
                > Erkennung durch Webalizer ;-)

                Hm, der müsste dann ja X verschiedene Reports für X Domains anlegen, hm,
                hm. Da wäre eine vorherige Trennung (und dreimaliger Aufruf des
                webalizers) wohl die zunächst naheliegendste Lösung. Nun, nichts, was mit
                den Unix-Tools nicht geht, aber das ist aber sich einiges aufwendiger als
                meine Einfachlösung.

                Wenn ich mal auf etwas stoße, melde ich mich wieder.

                Viele Grüße
                Günther
              Your message has been successfully submitted and would be delivered to recipients shortly.