# robots.txt für die Domain www.tsv-adler-handorf.de
# URL:http://www.tsv-adler-handorf.de
#erzeugt am 12.11.2009

# Alle Roboter spidern die Domain
User-agent: *
Disallow: /carousel
Disallow: /bilder
Disallow: /vordruck

# Verzeichnis /carousel soll nicht von ia_archiver gespidert werden
User-agent: ia_archiver
Disallow: /carousel

# Verzeichnis soll nicht von Slurp/2.0 gespidert werden
User-agent: Slurp/2.0
Disallow:

# Verzeichnis soll nicht von FAST-WebCrawler/2.2-pre41 (crawler@fast.no; http://www.fast.no/faq/ faqfastwebsearch/faqfastwebcrawler.html) gespidert werden
User-agent: FAST-WebCrawler/2.2-pre41 (crawler@fast.no; http://www.fast.no/faq/ faqfastwebsearch/faqfastwebcrawler.html)
Disallow: