Was sind NoIndex-Tags?
„NoIndex“-Direktiven weisen Suchmaschinen an, eine Seite aus dem Index auszuschließen, sodass sie nicht in den Suchergebnissen erscheinen kann.
„Noindex“ Meta Robots Tags
Die gängigste Art, Suchmaschinen anzuweisen, eine Seite nicht zu indizieren, ist das Einfügen eines Meta Robots Tags innerhalb des <head> Tags einer HTML-Seite mit einer „noindex“ Direktive wie unten:
<meta name=“robots“ content=“noindex“ />
Um das Jahr 2007 herum begannen die großen Suchmaschinen, Unterstützung für „noindex“-Direktiven in Meta-Robots-Tags zu implementieren. Meta-Robots-Tags können auch andere Direktiven enthalten, wie z. B. die „follow“- oder „nofollow“-Direktive, die Suchmaschinen anweist, die auf der aktuellen Seite gefundenen Links zu crawlen oder nicht zu crawlen.
Typischerweise verwenden Webmaster die „noindex“-Direktive, um zu verhindern, dass Inhalte indiziert werden, die nicht für Suchmaschinen bestimmt sind.
Ein paar häufige Anwendungsfälle für „noindex“-Direktiven:
- Seiten, die sensible Informationen enthalten
- Einkaufswagen- oder Checkout-Seiten auf einer eCommerce-Website
- Alternative Versionen von Seiten für aktive A/B- oder Split-Tests
- „Staging“- (oder in Arbeit befindliche) Seitenversionen, die noch nicht für die öffentliche Nutzung bereit sind
„Noindex“-Antwort-Header
Zusätzlich, unterstützen Suchmaschinen eine „noindex“-Direktive, die über die HTTP-Antwort-Header für eine bestimmte Seite ausgeliefert wird. Dieser Ansatz ist zwar weniger verbreitet und kann mit gängigen SEO-Tools schwieriger zu identifizieren sein, aber manchmal ist es für Techniker oder Webmaster einfacher, ihn aufgrund ihrer Serverkonfiguration einzubauen.
Der Name und der Wert für einen „noindex“-Antwort-Header lauten wie folgt:
X-Robots-Tag: noindex
SEO Best Practices für „noindex“-Direktiven
Vermeiden Sie die Verwendung von „noindex“ auf wertvollen Seiten
Das versehentliche Einfügen eines „noindex“-Tags oder einer Direktive auf einer wertvollen Seite kann dazu führen, dass diese Seite aus den Indizes der Suchmaschinen entfernt wird und keinen organischen Traffic mehr erhält.
Wenn zum Beispiel eine neue Website-Version gestartet wird, aber „noindex“-Tags, die eingefügt wurden, um zu verhindern, dass Suchmaschinen die neuen Seitenversionen indizieren, bevor sie fertig sind, an Ort und Stelle gelassen werden, kann die neue Website-Version sofort aufhören, Traffic von der Suche zu erhalten
Verstehen Sie, dass „noindex“ letztendlich als „nofollow“
Webmaster haben oft Meta-Robots-Tags oder Antwort-Header verwendet, um den Suchmaschinen zu signalisieren, dass die aktuelle Seite nicht indiziert werden soll, aber die Links auf der Seite trotzdem gecrawlt werden sollen, wie mit dem folgenden Meta-Robots-Tag:
<meta name=“robots“ content=“noindex,follow“ />
Dies wird üblicherweise für paginierte Listenseiten verwendet. Zum Beispiel kann „noindex,follow“ auf die Archivseiten eines Blogs angewandt werden, um zu verhindern, dass die Archivseiten selbst in den Suchergebnissen erscheinen, aber den Suchmaschinen zu erlauben, die Blogbeiträge selbst zu crawlen, zu indizieren und zu ranken.
Dieser Ansatz kann jedoch nicht wie beabsichtigt funktionieren, da Google erklärt hat, dass ihre Systeme eine „noindex,follow“-Direktive schließlich als „noindex,nofollow“ behandeln – mit anderen Worten, sie werden schließlich aufhören, die Links auf jeder Seite mit einer „noindex“-Direktive zu crawlen. Dies kann verhindern, dass die Zielseiten überhaupt indiziert werden oder ihren PageRank oder ihre Autorität reduzieren, was ihren Rang für relevante Keywords senkt.
Vermeiden Sie die Verwendung von „noindex“-Regeln in Robots.txt-Dateien
Obwohl nie offiziell unterstützt, respektierten Suchmaschinen eine Zeit lang „noindex“-Direktiven in robots.txt-Regeln. Da robots.txt-Regeln mit Platzhaltern für viele Seiten auf einmal gelten können, ohne dass Änderungen an den Seiten selbst erforderlich sind, wurde diese Methode von vielen Webmastern bevorzugt. Google empfiehlt diese Verwendung von robots.txt-Dateien zum Setzen von „noindex“-Direktiven nicht und hat den Code, der diese Regeln unterstützte, im September 2019 eingestellt.