User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/


# Alle Roboter ausschließen # 
# 
# User-agent: *
# Disallow: /
# 
# Alle Roboter einladen # 
# Eine leere Datei erfüllt den gleichen Zweck
# 
# User-agent: *
# Disallow:
# 
# Alle Roboter von bestimmten Verzeichnissen fernhalten #
# 
# User-agent: *
# Disallow: /unwichtig/
# Disallow: /cgi-local/
# 
# Einen bestimmten Robot ausschließen #
# 
# User-agent: Sidewinder
# Disallow: /
# 
# Einen bestimmten Robot einladen #
# 
# User-agent: WebCrawler
# Disallow:
# 
# Mehrere Dateien ausschließen #
# 
# Meine Roboter Info
# User-agent: *
# Disallow: /diesunddas.html
# Disallow: /unddiesehier.html
# Disallow: /verbotenr.html
# 
# Kommentare fügen Sie so ein: #
# # Mein Kommentar