Der Reportgenerator awk

Der Name AWK steht für die drei Autoren dieses Programms, Aho, Weinberger und Kernighan. Das Ziel dieses Tools war die Generation von einfachen Reports über textbasierte Datenbankdateien. Schnell wurde das Programm dann aber weiterentwickelt, so dass es heute eins der universellsten Hilfsmittel bei der Bearbeitung von Textdatenströmen ist.

Einfache Beispiele

Wie bei sed, so wird auch bei awk der eigentliche Programmtext (oder einfacher - die Befehle) entweder direkt auf der Kommandozeile mitgegeben, oder über eine separate Befehlsdatei. Aber was macht denn nun awk eigentlich? Beginnen wir mit einem simplen Beispiel.

Nehmen wir an, die Datei test.txt hat den folgenden Inhalt:

  Hans Maier       35     1234.56
  Peter Müller     27      987.65
  Herbert Schmidt  34     1111.99
  Leopold Lehrling 17      234.99
  Günter Geschäftsführer 56 12345.89

Diese Datei ist also eine einfache textbasierte Datenbank, die die Felder Vorname, Name, Alter, Gehalt enthält. Mit awk können wir diese Datei wunderbar bearbeiten. Schreiben wir doch einmal

  awk 'peter {print}' test.txt

Dann bekommen wir die Ausgabe der Zeile von Peter Müller. Natürlich hätte das auch grep so erreichen können, aber awk kann wesentlich mehr. Aber betrachten wir einmal den Aufbau der awk Befehlszeile (die innerhalb der Hochkommas steht) genauer.

Jeder einfache awk-Befehl hat die Struktur

  Muster { Aktion }

In unserem Beispiel war also das Muster Peter und die Aktion in geschweiften Klammern hieß print. Das bedeutet, alle Zeilen der Datei, in denen das Wort Peter steckt sollen ausgegeben werden. Die Aktion wird grundsätzlich in geschweiften Klammern geschrieben, das Muster grundsätzlich ohne Klammern. So kann - falls eines der beiden weggelassen wurde - unterschieden werden, was was ist.

Es können entweder das Muster oder die Aktion auch weggelassen werden. Wird das Muster weggelassen, so wird jede Zeile bearbeitet, wird die Aktion weggelassen, so wird print angenommen. Wir hätten also auch einfach schreiben können

  awk 'peter' test.txt

OK, das war einfach. Es geht aber auch wesentlich mehr. Sehen wir uns die Struktur der Datei noch einmal genauer an. Jede Zeile besteht aus Feldern, die durch ein oder mehrere Leerzeichen voneinander getrennt sind. Aus der Sicht von awk bekommt jedes Feld in dieser Zeile eine Nummer, bzw. ist über den Variablennamen $Nummer im Programm ansprechbar. Aus der Sicht von awk gilt also

   Hans Maier       35     1234.56
    $1   $2         $3        $4

Wollten wir also etwa nur die Ausgabe der Nachnamen und des Gehaltes, so würden wir schreiben:

  awk '{print $2,$4}' test.txt

Das Muster haben wir weggelassen, die Anweisung gilt also für alle Zeilen. Der Befehl hätte also folgende Ausgabe gebracht:

  Maier 1234.56
  Müller 987.65
  Schmidt 1111.99
  Lehrling 234.99
  Geschäftsführer 12345.89

Der Befehl print gibt uns also auf Wunsch nur bestimmte Felder aus. Somit können wir beliebige Ausgaben erzeugen, die aus beliebigen Dateiformaten das jeweils gewünschte Ergebnis hervorbringen. Eingefleischte C-Programmierer werden sich freuen, dass auch die printf-Funktion existiert, wir hätten also auch schreiben können:

  awk '{printf("Herr %s ist %d Jahre alt und verdient %.2f Euro\n",$2,$3,$4)}'

Neben der print-Anweisung gibt es natürlich noch viele weitere, die hier nicht alle beschrieben werden können. Zumindest angemerkt sei, dass es alle gängigen Rechenoperatoren und Vergleichstechniken gibt, auch die zusammengesetzten, die von C her bekannt sind. Sie können sowohl im Muster, als auch in der Aktion stehen.

Wenn wir z.B. nur diejenigen Zeilen sehen wollen, in denen Menschen beschrieben sind, die noch nicht volljährig sind, so könnten wir schreiben:

  awk '$3<18 {print}'

Das Muster besteht also aus der Bedingungsüberprüfung "Feld 3 ist kleiner als 18", nur die Zeilen werden ausgegeben, deren drittes Feld diese Bedingung erfüllt.

BEGIN und END

awk bietet zwei spezielle Muster an, die eine Sonderbedeutung haben. Normalerweise können Muster entweder Bedingungen (wie im letzten Beispiel), einfache Suchbegriffe (wie im ersten Beispiel) oder komplexe reguläre Ausdrücke (in Slashs geklammert - /Ausdruck/ ) enthalten. Jeder dieser Muster wird auf jede Zeile angewendet. Der spezielle Musterausdruck BEGIN wird nur einmal ausgeführt, bevor die eigentlichen Zeilen der Eingabe abgearbeitet werden, das spezielle Muster END wird analog dazu abgearbeitet, nachdem alle Zeilen durchlaufen sind. Beide benötigen zwingend eine Aktion.

Machen wir ein Beispiel. Diesmal werden wir keine Datei bearbeiten, sondern awk in einer Pipe verwenden. Wir lassen also einfach den Dateinamen weg.

Das Programm df gibt uns eine Liste aller gemounteten Dateisysteme aus, inklusive der Angabe, wieviel Platz insgesamt verfügbar ist, wieviel belegt ist und wieviel noch frei. Eine typische Ausgabe von df sieht also etwa so aus:

Dateisystem          1k-Blöcke    Benutzt Verfügbar Ben% montiert auf
/dev/hdc1              4032092   2735308   1091960  72% /
/dev/hdd1              6346136   1394708   4951428  22% /usr
/dev/hda2             15472800   5422804   9264016  37% /opt
/dev/hdc3              1028124    260720    767404  26% /home
/dev/vol0/volume1       806288    154352    610976  21% /tmp
/dev/vol0/volume2       806288     16428    748900   3% /usr/local

Na das riecht doch schon nach awk. Die Ausgabe besteht ja wieder eindeutig aus Feldern, die durch ein oder mehrere Leerzeichen voneinander getrennt sind. Nur die erste Zeile stört etwas, sie enthält Überschriften, keine Werte. Wie bekommen wir sie weg?

Alle Zeilen außer der ersten Zeile beginnen mit einem Slash (/). Also benötigen wir einen regulären Ausdruck, der den Slash am Zeilenanfang(^) sucht. Schreiben wir

  df | awk '/^\// {print}' 

so bekommen wir nur die Zeilen, deren erstes Zeichen der Slash ist. Wir mussten den Slash hier mit einem Backslash maskieren, damit awk ihn nicht als Ende des regulären Ausdrucks wertet.

Wenn wir jetzt z.B. für ein Backup wissen wollen, wieviele Blöcke insgesamt benutzt sind, so können wir mit awk und den BEGIN und END Anweisungen einfach die entsprechenden Felder zusammenzuzählen:

  df | awk 'BEGIN {zahl=0}; /^\// {zahl+=$3}; \
       END {printf("Insgesamt %d KByte belegt \n",zahl)}' 

Was passiert hier? Nun im ersten Muster {Aktion} Paar ist das Muster BEGIN. Diese Anweisung wird nicht für jede Zeile ausgeführt, sondern nur einmal, vor der Abarbeitung der Zeilen. Die Aktion ist zahl=0. Wir setzen eine Variable zahl auf den Wert 0. Das zweite Anweisungspaar ist ein normales Paar, das auf alle Zeilen angewand wird, die auf das Muster passen. Das Muster ist das oben schon besprochene, also "Alle Zeilen, die mit einem Slash beginnen". Nur geben wir diesmal die Zeilen nicht aus, sondern wir addieren das Feld 3 auf die Variable zahl. zahl+=$3 bedeutet soviel wie "zahl=zahl+$3". Ganz zum Schluß, im END-Block geben wir dann die Zahl mit einer printf-Anweisung aus.

Mehrere awk-Anweisungen werden durch Strichpunkte voneinander getrennt. Ich habe das hier in zwei Zeilen geschrieben, um es leichter lesbar zu machen. Durch den Backslash vor dem Zeilentrenner wird der Trenner nicht gewertet. Der Befehl wäre also tatsächlich auch genau so einzugeben.

Feldtrennzeichen

Wir haben bisher immer mit den Leerzeichen als Feldtrenner gearbeitet. Das ist sicher auch die häufigste Methode, manchmal - wie etwa in /etc/passwd - benötigen wir aber auch andere Zeichen als Feldtrenner. Wir können das awk über eine Kommandooption mitteilen. Die Option -F Zeichen ermöglicht die Angabe eines alternativen Trennzeichens. Wollen wir also einfach nur wissen, wer der User mit der UserID 501 ist, geben wir ein:

  awk -F: '$3==501 {print $5}' /etc/passwd

Das ruft awk jetzt mit dem Feldtrenner Doppelpunkt auf. Wenn das dritte Feld 501 ist, geben wir das fünfte Feld (Klarname) aus.

Natürlich kann awk noch viel mehr, inklusive Schleifenbildung, if-Anweisung und vieles andere. Diese ganzen Dinge zu beschreiben würde aber den Rahmen dieser Darstellung deutlich sprengen, ein kleiner Überblick ist aber doch gegeben.

 

 

---

[ Zurück ] [ Zurück zur Startseite LPI 201 ] [ Zurück zur LPI-Seite ] [ Zurück zur Hauptseite von Linux-Praxis ] [ Guestbook ] [ Kontakt ]

---

Diese und die darunterliegenden Seiten wurden erstellt von F. Kalhammer

© 2001 by F.Kalhammer -
Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free Documentation License..

---