¿Qué son las etiquetas No Index?
Las directivas «No index» instruyen a los motores de búsqueda para que excluyan una página del índice, haciéndola inelegible para aparecer en los resultados de búsqueda.
Etiquetas Meta Robots «Noindex»
La forma más común de indicar a los motores de búsqueda que no indexen una página es incluir una etiqueta Meta Robots dentro de la etiqueta <head> de una página HTML con una directiva «noindex» como la que se muestra a continuación:
<meta name=»robots» content=»noindex» />
Alrededor de 2007, los principales motores de búsqueda comenzaron a implementar el soporte para las directivas «noindex» en las etiquetas Meta Robots. Las etiquetas Meta Robots también pueden incluir otras directivas, como la directiva «follow» o «nofollow», que dirige a los motores de búsqueda para rastrear o no rastrear los enlaces que se encuentran en la página actual.
Típicamente los webmasters utilizarán la directiva «noindex» para evitar que se indexe el contenido que no está destinado a los motores de búsqueda.
Algunos casos de uso comunes para las directivas «noindex»:
- Páginas que contienen información sensible
- Páginas de carrito de la compra o de pago en un sitio web de comercio electrónico
- Versiones alternativas de páginas para pruebas A/B o de división activas
- Versiones de páginas «en fase» (o en proceso) que aún no están listas para su uso público
Cabeceras de respuesta «Noindex»
Además, los motores de búsqueda admiten una directiva «noindex» entregada a través de las cabeceras de respuesta HTTP para una página determinada. Si bien este enfoque es menos común y puede ser más difícil de identificar utilizando herramientas comunes de SEO, a veces es más fácil para los ingenieros o webmasters para incluir en base a su configuración del servidor.
El nombre y el valor de una cabecera de respuesta «noindex» son los siguientes:
X-Robots-Tag: noindex
Mejores prácticas de SEO para las directivas «noindex»
Evitar el uso de «noindex» en páginas valiosas
La inclusión accidental de una etiqueta o directiva «noindex» en una página valiosa puede hacer que esa página sea eliminada de los índices de los motores de búsqueda y deje de recibir todo el tráfico orgánico.
Por ejemplo, si se lanza una nueva versión del sitio web, pero se dejan las etiquetas «noindex», que se incluyeron para evitar que los motores de búsqueda indexaran las nuevas versiones de la página antes de que estuvieran listas, la nueva versión del sitio web puede dejar inmediatamente de recibir tráfico de búsqueda
Entender que «noindex» es eventualmente tratado como «nofollow»
Los webmasters han utilizado a menudo etiquetas Meta Robots o cabeceras de respuesta para señalar a los motores de búsqueda que la página actual no debe ser indexada, pero los enlaces de la página deben seguir siendo rastreados como con la siguiente etiqueta Meta Robots:
<meta name=»robots» content=»noindex,follow» />
Esto se suele utilizar para las páginas de listados paginados. Por ejemplo, «noindex,follow» puede aplicarse a los listados de archivo de un blog, para evitar que las propias páginas de archivo aparezcan en los resultados de búsqueda, pero permitir que los motores de búsqueda rastreen, indexen y clasifiquen las propias publicaciones del blog.
Sin embargo, este enfoque puede no funcionar como se pretende, ya que Google ha explicado que sus sistemas acaban tratando una directiva «noindex,follow» como una «noindex,nofollow», es decir, que acaban dejando de rastrear los enlaces de cualquier página con una directiva «noindex». Esto puede impedir que las páginas de destino de los enlaces se indexen en absoluto o reducir su PageRank o autoridad, disminuyendo su clasificación para las palabras clave relevantes.
Evite el uso de reglas «noindex» en los archivos Robots.txt
Aunque nunca se ha apoyado oficialmente, los motores de búsqueda respetaron las directivas «noindex» en las reglas robots.txt durante algún tiempo. Como las reglas de robots.txt con comodines pueden aplicarse a muchas páginas a la vez sin necesidad de realizar cambios en las propias páginas, este método era el preferido por muchos webmasters. Google no recomienda este uso de los archivos robots.txt para establecer directivas «noindex» y retiró el código que admitía estas reglas en septiembre de 2019.