cURL mit 6 praktischen Beispielen erklärt

Thomas Falkner — Tue, 25 Jan 2011 09:32:13 +0000

cURL ist ein Open Source Kommandozeilentool, mit dem sich aus Shell- oder Batchskripten heraus Dateien über Protokolle wie http, https, ftp, gopher, sftp, ftps oder scp übertragen lassen. cURL leistet mir gute Dienste bei der Entwicklung von Websites. Mit cURL lassen sich Websites fernsteuern und testen. Anhand einiger Beispiele möchte ich den großen Vorteil von cURL demonstrieren.

1. Websites auslesen

curl http://example.com/index.html
Mit diesem Kommando wird die Datei index.html ausgelesen und auf der Standardausgabe ausgegeben.
Möchten wir die Datei unter dem Namen savedpage.html abspeichern, benutzen wir dazu folgenden Befehl:

curl -o savedpage.html http://www.example.com/

Erfordert eine Website die Anmeldung über den HTTP-Authentifizierungsmechanismus, lassen sich über cURL auch Benutzername und Passwort übergeben.

curl -u username:password http://www.example.com/

Wenn sich eine URL geändert hat, machen viele Webmaster von der Möglichkeit gebrauch auf die neue Adresse umzuleiten. Da in der Standardkonfiguration cURL Weiterleitungen nicht folgt, müssen wir in diesem Fall den Parameter -L übergeben.

curl -L http://www.example.com/

2. URL mit variablen GET-Parameter auslesen

cURL ermöglicht die Übergabe eines regulären Ausdrucks als GET-Parameter. Nehmen wir an ein Website wäre über ein CMS betrieben und böte die einzelnen Dokumente über URLs nach folgenden Schema an.


http://example.com/pages.php?id=1
http://example.com/pages.php?id=17
http://example.com/pages.php?id=99

An cURL lässt sich der Parameter id als regulärer Ausdruck übergeben, um alle ids und damit Dokumente in einen bestimmten Bereich zu erfassen.

curl -o pages#1.html http://example.com/pages.php?id=[1-99]

Damit weisen wir cURL an alle Dokumente mit den ids 1-99 aufzurufen und in den Dateien page01.html bis page99.html in das Verzeichnis aus dem cURL aufgerufen wurde zu schreiben. Doch was passiert, wenn zum Beispiel die Datei http://example.com/pages.php?id=42 nicht existieren sollte? Hier hebt cURL sich in der Standardkonfiguration durch ein besonders intelligentes Verhalten hervor: Liefert die aufgerufene URL den Fehler 404 – Dokument nicht gefunden – zurück, fährt cURL mit der nächsten id fort, ohne dabei die Datei page42.html anzulegen.

3. HTTP-Header auslesen

curl --head http://www.google.com/
Mit dem Parameter –head weisen wir cURL an den HTTP-Header auf die Standardausgabe zu schreiben.
Möchten wir den Header in die Datei header.txt schreiben, ließe sich das zum einen durch Umleitungsoperatoren der Shell erreichen oder ganz ohne Unterstützung der Shell durch den Parameter –dump-header.

curl --dump-header headers.txt http://www.google.com/

4. cURL und FTP

Neben vielen weiteren Protokollen kann cURL auch mit FTP-Servern sprechen.

curl ftp://username:password@example.com

Damit weisen wir cURL an den Index des Hauptverzeichnisses auszugeben. Benutzername und Passwort werden direkt in der URL kodiert.
Möchten wir das Unterverzeichnis images auf dem FTP-Server auflisten, genügt es das Verzeichnis an die URL zu hängen:

curl ftp://username:password@example.com/images/

Mit cURL ist auch ein Upload auf einen FTP-Server möglich, dazu übergeben wir den Parameter -T gefolgt vom Dateinamen bzw. vollständigen Dateipfad.

curl -T uploadfile.txt -u username:password ftp://example.com/files/myfile.txt
Mit diesem Kommando kopiert cURL die Datei uploadfile.txt auf den FTP-Server in das Verzeichnis files unter den Dateinamen myfile.txt.

5. Formulare mit cURL ausfüllen

Nehmen wir an ein Formular auf einer Website hätte folgenden Aufbau:

Der Parameter -d weist cURL an die Daten als application/x-www-form-urlencoded formatierte Zeichenkette an den Server zu übergeben.

curl -d "item=Book&category=SiFi&submit=speichern" http://www.example.com/add.php

Die einzelnen Input-Felder des Formulars werden in der URL mit dem Namen angesprochen, ihr Wert wird über den Operator = zugewiesen. Die Verknüpfung der einzelnen Felder erfolgt mit dem &-Operator. Wir befüllen im Beispiel das Formularfeld item also mit “Book” und das Feld category mit “SiFi”.

6. Referer & User Agent

HTTP-Request können das Attribut referer tragen, das dem Webserver Aufschluss darüber gibt, über welche URL die aktuelle Ressource aufgerufen wurde. Mit cURL lässt sich das referer-Attribut nach belieben setzen, indem wir den Parameter -e gefolgt von der augenscheinlich verweisenden URL setzen.

curl -e http://refferingsite.com http://www.example.com/

Alle HTTP-Anfragen sollten das Attribut User-Agent aufweisen, das dem Server mitteilt über welchen Client der Zugriff erfolgt. Das Attribut User-Agent ermöglicht es zum Beispiel eine spezielle Version einer Website für das iPhone oder andere Geräte auszuliefern.

Um einen bestimmten User-Agent zu simulieren, können wir den Parameter -A gefolgt vom angeblichen User-Agent setzen. Um uns zum Beispiel als iPhone auszugeben, benutzen wir folgenden Befehl:

curl -A "Mozilla/5.0 (iPhone; U; CPU like Mac OS X; en) AppleWebKit/420+ (KHTML, like Gecko) Version/3.0 Mobile/1A543a Safari/419.3" http://www.example.com

Bei entsprechenden Feedback zum Artikel, werde ich gerne weitere Anwendungen für cURL aufzeigen.

Elegant viele Dateien mit curl laden

Thomas Falkner — Thu, 09 Dec 2010 13:00:45 +0000

Curl bietet die interessante Möglichkeit Dateien durch Muster zu spezifizieren. Liegen zum Beispiel im Verzeichnis Bilder, die von 00.jpg bis 100.jpg benannt sind, lassen sich diese mit nur einer Zeile curl downloaden:

curl http://host.tld/images/[00-100].jpg -o "img#1.jpg"

Der Parameter -o weist an, dass curl die Dateien nicht auf der Standardausgabe ausgeben, sondern in eine Datei schreiben soll. Der Dateiname wird im Beispiel durch den Ausdruck “img#2.jpg” angegeben. Die Bilder werden dann mit dem Namen img00.jpg bis img100.jpg gespeichert. Das wäre zwar auch mit wget und eine Schleife gegangen, doch curl bietet hier einen m.E. eleganteren Weg.

Thomas Falkner » Tools