Doppelte Einträge mit grep oder awk oder sed suchen oder Suchanfragen ausschließen

**hardwarerosti** · 17.07.02, 09:38

Hi Leute,

ich möchte die Squidlogdateien mit einem Script auslesen. Nun sind da aber auch doppelte www Einträge drinne. Weiß jemand wie man die doppelten Einträge auschließen kann bzw wie man mit grep Suchkriterien ausschließen kann???

less /var/.../ | grep 'http:' | awk '{print $7} lautet mein Befehl

Welche Tools sind dafür besser geeignet grep, sed oder awk????

Gruß Hardwarerosti

**phoen][x** · 17.07.02, 10:02

doppelte www eintrage? also ein und dieselbe zeile zwei mal? dann "cat logdatei | sort | uniq"

-phoen][x-

**hardwarerosti** · 17.07.02, 10:15

Aha, habs gerade mal ausgetestet. Was macht denn eigentlich der Befehl genau, wie ich jetzt gesehen habe werden mir die doppelten Einträge nun alle aufgelistet, oder???
Wie kann ich nun aber sagen, das, wenn er mir eine neue logdatei generiert aus einer alten ..... > neuelogdatei das er die doppelten Eniträge nicht berücksichtigen soll???
Berücksichtigt er auch Einträge wie z.B www.heise.de/news
www.heise.de/gif11.gif
als Beispiel???? Weil das sind in meinen Augen auch "gleiche" EInträge. Anstelle von diesen vielen www.heise.de/... möchte ich nur einen Eintrag mit www.heise.de

Gruß Hardwarerosti

**phoen][x** · 17.07.02, 10:20

das |sort|uniq entfernt nur komplett identische, doppelte zeilen.
also macht es nicht aus www.heise.de und www.heise.de/news einen eintrag, sondern laesst zwei stehen.

poste doch einfach mal ein stueck von der logdatei, ich kann mit da so nichts drunter vorstellen (hab noch nie squid gebraucht).

-phoen][x-

**hardwarerosti** · 17.07.02, 10:30

**phoen][x** · 17.07.02, 10:53

und du willst immer nur den ersten server?
also www.heise.de, heise.ivwbox.de, img.web.de, etc?

-phoen][x-

**phoen][x** · 17.07.02, 10:55

falls ja, dann probiers mal hiermit:
`cat logdatei | gawk -F "/" '{printf("%s\n",$3)}' | sort | uniq`

**hardwarerosti** · 17.07.02, 11:21

Super, funktioniert sehr gut.
Aber kannst mir vielleicht ganz gut noch schreiben was dieser Befehl genau macht, damit ich ihn verstehe und damit auch selber arbeiten kann??

Wäre echt super, danke schonmal

Gruß Hardwarerosti

**phoen][x** · 17.07.02, 11:42

Okay hier hast du eine Beschreibung:

"cat logdatei" - gibt die Logdatei auf dem Bildschirm aus. Mit dem "|" lenke ich die Ausgabe in das gawk

"gawk -F "/" '{printf("%s\n",$3)}'".
gawk arbeitet die Ausgabe von cat jetzt Zeile um Zeile ab. das -F "/" ist der field seperator. Lass mich kurz anhand eines Beispiels erklaeren wozu der gut ist:

Die ganze Zeile die awk bekommt, wird in $0 gespeichert. Dann faengt awk am anfang der Zeile an und sucht bis es einen field seperator findet. es packt alles was es bis zum ersten field seperator gefunden hat in $1. Danach faengt es ein neues Feld an (naemlich $2) und packt wieder alles was es bis zum naechsten field seperator findet in das neue Feld. Und so weiter und so weiter, bis die Zeile abgearbeitet ist.

Beispiel:
"http://www.heise.de/tp/pict/eck3_h.gif"

Bei dieser Zeile wurden wir folgende Variablen erhalten:
$0 = "http://www.heise.de/tp/pict/eck3_h.gif"
$1 = "http:"
$2 = ""
$3 = "www.heise.de"
$4 = "tp"
$5 = "pict"
$6 = "eck3_h.gif"

**Btw, "cut -d '/' -f 3" wuerde genau das gleiche tun (aber mit awk kann man noch viel mehr anstellen)

Nachdem awk fertig ist, also nur noch die Adressen der Server uebrig sind, schicke ich das ganze zu "sort" - dieses Programm sortiert den gesamten output, dass ist noetig damit "uniq" funktioniert (denn uniq kann nur mit sortierten quellen umgehen). "uniq" kommt vom englischen unique (heisst "einzigartig") und macht auch genau das: es entfernt alle Zeilen die doppelt vorkommen.

Hoffe dir geholfen zu haben,
-phoen][x-

**hardwarerosti** · 17.07.02, 11:56

Aaaaaaaaahhhhhhhhhhha
Sehr gut, danke Dir
Jetzt kann ich die anderen logs auch bearbeiten.

Merci

Gruß Hardwarerosti

**phoen][x** · 17.07.02, 12:07

War das jetzt eher das ironische "na klar, da haett ich auch selber drauf kommen koennen

" aha oder war es ein ernstgemeintes?

-phoen][x-

**hardwarerosti** · 17.07.02, 12:21

Weißt du zufällig auch, wenn ich in eine separate Datei ich sage mal 2 EInträge aus eine Datei raussuchen und in die neue reinschreiben.

Beispiel:

1026709973.670 300 192.168.10.26 TCP_MISS/200 286 GET http://www.heise.de/Rea
lMedia/ads/adstream_lx.ads/www.heise.de/Homepage/1050545142/Middle/1x1-bei-he-za
ehler-hp/zaehler.html/3231332e32332e36342e3938? - DIRECT/193.99.144.71 image/gif
1026709973.702 434 192.168.10.26 TCP_MISS/200 8425 GET http://www.heise.de/qc
/heise/telepolis/02_29/tp0207_468_29.gif - DIRECT/193.99.144.71 image/gif
1026709973.727 262 192.168.10.26 TCP_REFRESH_HIT/304 176 GET http://www.heise
.de/icons/ho/1pix.gif - DIRECT/193.99.144.71 -
1026709973.775 103 192.168.10.26 TCP_IMS_HIT/304 208 GET http://www.heise.de/
RealMedia/ads/Creatives/137-eigen-he-emedia-buecher/6966_anonym2_137.gif - NONE/
- image/gif

Ich möchte hier jetzt noch in eine neue Datei die IP adresse ebenfalls mit reinschreiben. Habe dazu folgenden Befehl genutzt.

less /var/log/squid/access.log | grep 'http://' | awk '{print $7}' | gawk -F "/" '{printf("%s\n",$3)}' | sort | uniq > /var/log/squid/url_liste

hier müsste ich jetzt awk '{print $3}' reinschreiben, denke ich mal, aber weiß nicht wie ich es verknüpfen soll.

Mein Ziel: die IP (steht an der 3. Stelle im Listing) und die von eben schon erwähnte urls.

Gruß Hardwarerosti

**hardwarerosti** · 17.07.02, 12:24

zu vorhin.

Das war ein erstgemeintes "Aha", so wie "ach so geht das, gut zu wissen, und wieder etwas schlauer geworden", selber wäre ich da nicht drauf gekommen, da mir die mans etwas zu umständlich sind und mir hier einfach die Zeit fehlt seitenweise mans zu lesen, da ich derzeit an Firewallstrategien arbeite

Thema: Doppelte Einträge mit grep oder awk oder sed suchen oder Suchanfragen ausschließen

Themen-Optionen

Thema bewerten

Anzeige

Doppelte Einträge mit grep oder awk oder sed suchen oder Suchanfragen ausschließen

Lesezeichen

Lesezeichen

Berechtigungen