Wat zijn No Index Tags?
“No index” richtlijnen instrueren zoekmachines om een pagina uit te sluiten van de index, waardoor deze niet in aanmerking komt om te verschijnen in de zoekresultaten.
“Noindex” Meta Robots Tags
De meest gebruikelijke manier om zoekmachines te instrueren een pagina niet te indexeren is door een Meta Robots tag op te nemen in de <head> tag van een HTML pagina met een “noindex” directive zoals hieronder:
<meta name=”robots” content=”noindex” />
Omstreeks 2007 zijn de belangrijkste zoekmachines begonnen met het implementeren van ondersteuning voor “noindex”-richtlijnen in Meta Robots-tags. Meta Robots tags kunnen ook andere richtlijnen bevatten, zoals de “follow” of “nofollow” richtlijn, die zoekmachines instrueert om links op de huidige pagina wel of niet te crawlen.
Typisch gebruiken webmasters de “noindex”-richtlijn om te voorkomen dat inhoud wordt geïndexeerd die niet voor zoekmachines is bedoeld.
Een aantal veel voorkomende gevallen waarin de “noindex”-richtlijn wordt gebruikt:
- Pagina’s die gevoelige informatie bevatten
- Pagina’s met winkelwagentjes of kassa’s op een eCommerce website
- Alternatieve versies van pagina’s voor actieve A/B of split tests
- “Staging” (of in-progress) pagina versies die nog niet klaar zijn voor publiek gebruik
“Noindex” Response Headers
Aanvullend, zoekmachines ondersteunen een “noindex” richtlijn die via de HTTP response headers voor een bepaalde pagina wordt afgeleverd. Hoewel deze aanpak minder gebruikelijk is en moeilijker te identificeren met gewone SEO-tools, is het soms gemakkelijker voor technici of webmasters om deze op te nemen op basis van hun serverconfiguratie.
De naam en waarde voor een “noindex” response header zijn als volgt:
X-Robots-Tag: noindex
SEO Best Practices voor “noindex” directives
Vermijd het gebruik van “noindex” op waardevolle pagina’s
Het per ongeluk opnemen van een “noindex” tag of directive op een waardevolle pagina kan ervoor zorgen dat die pagina uit de indexen van zoekmachines wordt verwijderd en niet langer al het organische verkeer ontvangt.
Bijv. als een nieuwe websiteversie wordt gelanceerd, maar “noindex”-tags, die waren opgenomen om te voorkomen dat zoekmachines de nieuwe paginaversies indexeren voordat ze klaar zijn, zijn blijven staan, kan de nieuwe websiteversie onmiddellijk geen verkeer meer ontvangen van zoekmachines
Begrijp dat “noindex” uiteindelijk wordt behandeld als “nofollow”
Webmasters hebben vaak Meta Robots-tags of responsheaders gebruikt om zoekmachines te laten weten dat de huidige pagina niet moet worden geïndexeerd, maar dat de links op de pagina nog wel moeten worden gecrawld, zoals met de volgende Meta Robots-tag:
<meta name=”robots” content=”noindex,follow” />
Dit wordt vaak gebruikt voor gepagineerde listingpagina’s. Zo kan bijvoorbeeld “noindex,follow” worden toegepast op de archieflijsten van een blog, om te voorkomen dat de archiefpagina’s zelf in de zoekresultaten verschijnen, maar zoekmachines wel in staat te stellen de blogberichten zelf te crawlen, te indexeren en te ranken.
Hoewel deze aanpak niet werkt zoals bedoeld, omdat Google heeft uitgelegd dat hun systemen een “noindex,follow” richtlijn uiteindelijk behandelen als een “noindex,nofollow” – met andere woorden, ze zullen uiteindelijk stoppen met het crawlen van de links op elke pagina met een “noindex” richtlijn. Dit kan ervoor zorgen dat pagina’s met links helemaal niet meer geïndexeerd worden of dat hun PageRank of autoriteit afneemt, waardoor ze lager scoren voor relevante zoekwoorden.
Vermijd het gebruik van “noindex” regels in Robots.txt bestanden
Hoewel het nooit officieel is ondersteund, hebben zoekmachines “noindex” directives in robots.txt regels een tijd lang gerespecteerd. Omdat robots.txt regels met wildcards van toepassing kunnen zijn op veel pagina’s tegelijk zonder dat er wijzigingen nodig zijn in de pagina’s zelf, had deze methode de voorkeur van veel webmasters. Google raadt dit gebruik van robots.txt-bestanden om “noindex”-richtlijnen in te stellen niet aan en heeft code die deze regels ondersteunde in september van 2019 met pensioen gestuurd.