What Are NoIndex Tags?
“No index” directivas instruem os motores de busca a excluir uma página do índice, tornando-a inelegível para aparecer nos resultados da pesquisa.
“Noindex” Meta Robots Tags
A forma mais comum de instruir os motores de busca a não indexar uma página é incluir uma tag Meta Robots dentro da diretiva <head> tag de uma página HTML com uma diretiva “noindex” como abaixo:
<meta name=”robots” content=”noindex” />
Tudo o ano de 2007, os principais motores de busca começaram a implementar suporte para directivas “noindex” nas etiquetas dos Meta Robots. As etiquetas dos Meta Robots também podem incluir outras directivas, tais como a directiva “follow” ou “nofollow”, que orienta os motores de busca para rastejar ou não rastejar as ligações encontradas na página actual.
Tipicamente os webmasters utilizarão a directiva “noindex” para evitar que o conteúdo seja indexado que não se destina aos motores de busca.
Alguns casos de uso comum para directivas “noindex”:
- Páginas contendo informação sensível
- Carrinho de compras ou páginas de checkout num website de comércio electrónico
- Versões alternativas de páginas para testes activos A/B ou divididos
- Versões de páginas “noindex” (ou em progresso) ainda não prontas para uso público
Cabeçalhos de resposta “noindex”
Adicionalmente, Os motores de busca suportam uma directiva “noindex” entregue através dos cabeçalhos de resposta HTTP para uma determinada página. Embora esta abordagem seja menos comum e possa ser mais difícil de identificar utilizando ferramentas SEO comuns, por vezes é mais fácil para engenheiros ou webmasters incluir com base na configuração do seu servidor.
O nome e o valor para um cabeçalho de resposta “noindex” são os seguintes:
X-Robots-Tag: noindex
SEO Best Practices for “noindex” directives
Evite o uso de “noindex” em páginas valiosas
A inclusão acidental de uma etiqueta ou directiva “noindex” numa página valiosa pode fazer com que essa página seja removida dos índices dos motores de busca e deixe de receber todo o tráfego orgânico.
Por exemplo, se uma nova versão do site for lançada, mas as etiquetas “noindex”, que foram incluídas para impedir os motores de busca de indexar as novas versões das páginas antes de estarem prontas, são deixadas no lugar, a nova versão do website pode imediatamente deixar de receber tráfego de pesquisa
Entender Que “noindex” é Eventualmente Tratado como “nofollow”
Webmasters têm frequentemente utilizado etiquetas Meta Robots ou cabeçalhos de resposta para sinalizar aos motores de busca que a página actual não deve ser indexada, mas que as ligações na página devem continuar a ser rastreadas como com a seguinte etiqueta Meta Robots:
<meta name=”robots” content=”noindex,follow” />
Isto é normalmente usado para páginas de listagem paginadas. Por exemplo, “noindex,follow” pode ser aplicado às listagens de arquivo de um blog, para evitar que as próprias páginas de arquivo apareçam nos resultados de pesquisa mas permitir que os motores de busca rastejem, indexem e classifiquem os próprios posts do blog.
No entanto, esta abordagem pode não funcionar como pretendido, uma vez que o Google explicou que os seus sistemas eventualmente tratam uma directiva “noindex,follow” como uma directiva “noindex,nofollow” – por outras palavras, eventualmente deixarão de rastejar as ligações em qualquer página com uma directiva “noindex”. Isto pode impedir que as páginas de destino das ligações sejam indexadas ou reduzir o seu PageRank ou autoridade, baixando a sua classificação para palavras-chave relevantes.
Anular Usar regras “noindex” em Robots.txt Files
Embora nunca tenham suporte oficial, os motores de busca respeitaram durante algum tempo as directivas “noindex” nas regras robots.txt. Como as regras robots.txt com wildcards podem aplicar-se a muitas páginas ao mesmo tempo sem qualquer alteração necessária nas próprias páginas, este método foi preferido por muitos webmasters. O Google não recomenda este uso de ficheiros robots.txt para definir directivas “noindex” e código reformado que suportava estas regras em Setembro de 2019.