robots.txt für Website-Ersteller
Diese Seite richtet sich an Website-Ersteller, die den Crawlern der Suchmaschinen sagen, was sie auslassen sollen. Eine
neue Installation liefert im Web-Root eine robots.txt mit sinnvollen Regeln aus
(Eine nützliche robots.txt ab Werk).
Warnung
.htaccessbremst jede Anfrage. Sind.htaccess-Dateien erlaubt (AllowOverridealles außerNone), geschweige denn genutzt, sucht Apache sie bei jeder Anfrage in jedem Verzeichnis des Pfads und liest und wertet sie aus, und die Ladezeiten der Seiten steigen drastisch (gemessen). Die einzige wirkliche Abhilfe ist, die Funktion für den virtuellen Host abzuschalten:AllowOverride Noneim virtuellen HTTPS-Host, und die Regeln in der Konfiguration des virtuellen Hosts selbst als mod_rewrite-Regeln. Das ist in Geschwindigkeitstests im Produktivbetrieb weit schneller und die Zeit für die Optimierung einer Produktivkonfiguration unbedingt wert. Stellen Sie sofort um: Übernehmen Sie die Regeln des Beispiels für einen virtuellen HTTPS-Host in Ihren virtuellen Host (mit dem statischen Cache auchstaticcache_offload.conf), setzen SieAllowOverride None, führen Sieapachectl configtestaus, laden Sie Apache neu und testen Sie die Website. Dieselben Regeln für andere Server: nginx, LiteSpeed, Caddy, IIS, Velocity (eingebaut); wohin Regeln für virtuelle Hosts in einem Control Panel gehören: Plesk, cPanel, DirectAdmin, ISPConfig. Unter LiteSpeed oder OpenLiteSpeed kann zusätzlich der Seiten-Cache des Servers anonyme Besucher und Crawler ohne PHP bedienen: Seiten-Caching mit LiteSpeed und OpenLiteSpeed.
Inhalt
- Was mitgeliefert wird
- Passen Sie sie an
- Wie sie ausgeliefert wird
- Mehrere Websites
- Was robots.txt nicht ist
Was mitgeliefert wird
User-agent: *
Allow: /
Disallow: /content/search/
Disallow: /content/advancedsearch/
Disallow: /content/tipafriend/
Disallow: /layout/set/print/
Disallow: /media/
Disallow: /test-area/
Crawl-delay: 1Jeder gesperrte Pfad ist zusätzlich in großgeschriebener Form aufgeführt, weil ein Crawler beiden Schreibweisen begegnet sein kann. Die Datei beginnt mit einem Kommentarblock, den Sie entfernen dürfen, und enthält auskommentierte Sitemap-Zeilen.
Passen Sie sie an
- Entfernen Sie
/media/und/test-area/, wenn sie nicht zu Ihrem Baum passen; ergänzen Sie Ihre eigenen Bereiche mit den Adressen, die Besucher sehen (URL-Aliasse). - Ergänzen Sie Ihre Sitemap:
Sitemap: https://www.example.com/sitemap.xml(Sitemaps). - Prüfen Sie:
curl -s https://www.example.com/robots.txt.
Halten Sie die Datei mit Ihrem Deployment in der Versionsverwaltung, statt sie auf dem Server zu bearbeiten.
Wie sie ausgeliefert wird
.htaccess_root enthält RewriteRule ^robots\.txt - [L], sodass Apache die Datei direkt ausliefert. Die eingebauten
Rewrite-Regeln von Velocity sind dieselbe Liste
(8.1 Die Wahl in einer Tabelle). Stellen Sie unter
nginx sicher, dass /robots.txt die Datei erreicht.
Mehrere Websites
Eine Datei bedient jeden Host der Installation. Wenn Websites unterschiedliche Regeln brauchen, lassen Sie den Webserver
eine Datei je Host ausliefern (zum Beispiel robots-site-b.txt für www.site-b.example), oder halten Sie die Regeln
allgemein genug für alle.
Was robots.txt nicht ist
- Sie ist keine Zugriffskontrolle: Jeder kann lesen, was Sie sperren. Schützen Sie private Inhalte mit Rechten (Sektionen und Objektzustände für Website-Ersteller).
- Eine gesperrte Seite kann trotzdem mit ihrer Adresse gelistet werden, wenn andere Websites auf sie verlinken;
verwenden Sie ein
noindex-Meta-Tag in ihrem Template, um sie aus den Ergebnissen herauszuhalten. - Staging- und Test-Websites sollten eine Anmeldung verlangen, statt sich auf
robots.txtzu verlassen.
Verwandte Seiten
- SEO-Grundlagen
- Sitemaps
- Die Website ausliefern
- Freie Dokumentation: Diese Seite darf unter der GNU FDL 1.3 frei kopiert, übersetzt und verbessert werden.
Werden Sie Exponential-Partner
Partner teilen ihre Informationen, stellen Mittel bereit, geben Beiträge zurück und entwickeln die Produkte mit uns, und so wächst Exponential. Eine Partner-Website und ein Dashboard sind für Mitte 2027 geplant: Werden Sie noch heute Partner, damit wir schneller wachsen und neue Funktionen früher liefern.