Cosa sono i tag No Index?
Le direttive “No index” istruiscono i motori di ricerca ad escludere una pagina dall’indice, rendendola ineleggibile per apparire nei risultati di ricerca.
Tag “Noindex” Meta Robots
Il modo più comune per istruire i motori di ricerca a non indicizzare una pagina è quello di includere un tag Meta Robots all’interno del tag <head> di una pagina HTML con una direttiva “noindex” come segue:
<meta name=”robots” content=”noindex” />
Intorno al 2007, i principali motori di ricerca hanno iniziato a supportare le direttive “noindex” nei tag Meta Robots. I tag Meta Robots possono anche includere altre direttive, come la direttiva “follow” o “nofollow”, che indirizza i motori di ricerca a scansionare o meno i link trovati sulla pagina corrente.
Tipo i webmaster useranno la direttiva “noindex” per evitare che il contenuto non destinato ai motori di ricerca venga indicizzato.
Alcuni casi d’uso comune per le direttive “noindex”:
- Pagine contenenti informazioni sensibili
- Pagine di carrello o di checkout su un sito di eCommerce
- Versioni alternative di pagine per A/B o split test attivi
- Versioni di pagina “Staging” (o in-progress) non ancora pronte per l’uso pubblico
Intestazioni di risposta “Noindex”
Inoltre, i motori di ricerca supportano una direttiva “noindex” fornita attraverso le intestazioni di risposta HTTP per una data pagina. Mentre questo approccio è meno comune e può essere più difficile da identificare utilizzando i comuni strumenti SEO, a volte è più facile per gli ingegneri o i webmaster includere in base alla loro configurazione del server.
Il nome e il valore di un’intestazione di risposta “noindex” sono i seguenti:
X-Robots-Tag: noindex
Buone pratiche SEO per le direttive “noindex”
Evitare di usare “noindex” su pagine importanti
L’inclusione accidentale di un tag o di una direttiva “noindex” su una pagina importante può causare la rimozione della pagina dagli indici dei motori di ricerca e smettere di ricevere traffico organico.
Per esempio, se viene lanciata una nuova versione del sito web, ma i tag “noindex”, che sono stati inclusi per impedire ai motori di ricerca di indicizzare le nuove versioni delle pagine prima che fossero pronte, vengono lasciati in posizione, la nuova versione del sito web può immediatamente smettere di ricevere traffico dalla ricerca
Capire che “noindex” è eventualmente trattato come “nofollow”
I webmaster hanno spesso usato i tag Meta Robots o le intestazioni di risposta per segnalare ai motori di ricerca che la pagina corrente non dovrebbe essere indicizzata, ma i link sulla pagina dovrebbero ancora essere scansionati come con il seguente tag Meta Robots:
<meta name=”robots” content=”noindex,follow” />
Questo è comunemente usato per pagine paginate. Per esempio, “noindex,follow” può essere applicato agli elenchi dell’archivio di un blog, per evitare che le pagine dell’archivio stesso appaiano nei risultati di ricerca, ma permettere ai motori di ricerca di scansionare, indicizzare e classificare i post del blog stesso.
Tuttavia, questo approccio potrebbe non funzionare come previsto, poiché Google ha spiegato che i loro sistemi alla fine trattano una direttiva “noindex,follow” come una “noindex,nofollow” – in altre parole, alla fine smetteranno di scansionare i link su qualsiasi pagina con una direttiva “noindex”. Questo può impedire alle pagine di destinazione dei link di essere indicizzate del tutto o ridurre il loro PageRank o la loro autorità, abbassando il loro rango per le parole chiave pertinenti.
Evitare l’uso di regole “noindex” nei file Robots.txt
Anche se non è mai stato ufficialmente supportato, i motori di ricerca hanno rispettato le direttive “noindex” nelle regole robots.txt per qualche tempo. Poiché le regole robots.txt con i caratteri jolly possono essere applicate a molte pagine in una volta sola senza che sia necessario apportare modifiche alle pagine stesse, questo metodo è stato preferito da molti webmaster. Google non raccomanda questo uso dei file robots.txt per impostare le direttive “noindex” e ha ritirato il codice che supportava queste regole nel settembre del 2019.