# robots.txt fuer http://www.beispiel.de/
User-agent: *
Disallow: /assets/       # Hier werden nur Unwichtige Daten für Robots gelagert
Disallow: /downloadx/   # Hier werden Downloads gespeichert die nicht in eine Indexierung gehören
Disallow: /images/     # Bilder nicht downloaden
Disallow: /stat/     # Statistik nicht downloaden