WordPress 5.3 cambiará el modo para evitar el indexado de los buscadores

Hace mucho que WordPress dispone de una funcionalidad para indicar a los buscadores que no indexen su contenido, por ejemplo mientras el sitio está aún en fase de desarrollo o creación de contenidos.

Es tán sencillo activarlo como ir a los

Ajustes > Lectura

  y activar la casilla que dice eso de «Disuade a los motores de búsqueda de indexar este sitio».

Cuando marcas esa casilla y guardas los cambios, WordPress crea un archivo robots.txt virtual con lo siguiente:

User-agent: *
Disallow: /

Que, según la sintaxis del propio Google, indica a todos los bots de los buscadores (

User-agent: *

) que no indexen todo el contenido (

Disallow: /

 )

Pues bien, ese no es el mejor modo de no indexar contenidos de una web, y por ese motivo WordPress, en la versión 5.3, cambiará su modo de indicarle a los motores de búsqueda que no quieres que indexen tu web.

¿Por qué es mala idea usar el ‘disallow’ de robots.txt?

Pues para que se entienda bien vamos a ponernos un poco gramáticos, que no dramáticos

Porque una cosa es que te indexe un buscador y otra que te liste, en sus páginas de resultados, las famosas SERP.

Te lo resumo:

  • Indexado / Indexar
    El proceso de descargar el contenido de un sitio o una página al servidor del motor de búsqueda, añadiéndolo así a su «índice».
  • Catalogar / Listar / Mostrar
    Mostrar un sitio en las páginas de resultados de búsqueda (las SERPs).

Por lo tanto, aunque el proceso más habitual es que se pase de la indexación a la catalogación, un sitio no tiene que ser indexado para ser catalogado/listado en las SERP.

Si un enlace apunta a una página, a un dominio o a cualquier otro lugar, Google lo sigue, y si el archivo robots.txt de ese dominio impide la indexación de esa página por parte de un motor de búsqueda, seguirá mostrando la URL en los resultados si puede recopilar de otras variables que valga la pena examinar.

Si tienes motivos para evitar la indexación de tu web, añadir esa petición a la página específica que quieres bloquear, sigue siendo la forma correcta de hacerlo. Pero tendrás que informar a Google sobre esa etiqueta de meta robot.

Por lo tanto, si quieres ocultar eficazmente las páginas de los motores de búsqueda, necesitas indexar esas páginas, aunque pueda parecer contradictorio. Hay dos maneras de hacerlo…

Añade una etiqueta meta robots

La primera opción para evitar que tu página aparezca en la lista es utilizar las etiquetas meta para robots. Básicamente se reduce a añadir esta etiqueta a tu página:

Y no hace falta que andes modificando el código de cada página que no quieras indexar, con plugins SEO como Yoast es super fácil.

Si es una entrada o página completa lo tienes en la caja del plugin del editor, en la pestaña «Avanzado»:

Y si lo que quieres es no indexar un tipo de contenido completo, lo tienes en los ajustes de Yoast, en

SEO > Apariencia en el buscador > Tipos de contenido

:

En el ejemplo de la captura anterior hemos indicado que el tipo de contenido «Respuestas» no se indexe. Y puedes hacer lo mismo con las taxonomías.

El único «problema» con esta etiqueta meta es que tienes que añadirla a cada entrada/página/taxonomía que no quieras indexar, o a todo el tipo de contenido completo.

Añade una cabecera HTTP X-Robots-Tag

Para que el proceso de añadir la etiqueta meta robots en todas las páginas sea de un modo mucho más sencillo, los motores de búsqueda contemplan la posibilidad de que añadas una cabecera HTTP X-Robots-Tag.

Esto te permite especificar una cabecera HTTP llamada

X-Robots-Tag

  y establecer el valor de cómo te gustaría que se aplique la etiqueta meta robots.

Lo mejor de todo es que puedes hacerlo para todo el sitio. El único requisito es usar el servidor Apache y que su módulo

mod_headers

  esté activo (y casi siempre lo está).

Si cumples con esto simplemente añade lo siguiente a tu archivo .htaccess:

Header set X-Robots-Tag "noindex, nofollow"

Y esto conseguirá que todo tu sitio pueda indexarse, pero que no se muestre en los resultados de búsqueda.

¿Qué va a hacer WordPress entonces?

Pues sencillo, a partir de la versión 5.3, cuando marques la casilla para disuadir a los motores de búsqueda, en vez de crear ese robots.txt virtual con el

Disallow: /

 , añadirá la cabecera HTTP X-Robots-Tag que te he comentado antes.

Y lo hará añadiendo a tu archivo .htaccess algo así:

### START WordPress Robots

    Header set X-Robots-Tag "no-index, no-follow"

### END WordPress Robots

Nota final

Un pequeño pero importante recordatorio.

Al igual que con el robots.txt, acuérdate de que cuando tu sitio esté listo para su indexado y catalogación en las SERP, quitar la casilla de disuadir a los motores de búsqueda, que me lo encuentro más de lo razonable en webs de clientes y amigos.

 

La entrada WordPress 5.3 cambiará el modo para evitar el indexado de los buscadores la publicó primero Fernando Tellado en Ayuda WordPress. No copies contenido, no dice nada bueno de ti a tus lectores.

Laura D´Cuero

Copywriter, Redactora de Content SEO.
Laura D´Cuero
0 comentarios

Dejar un comentario

¿Quieres unirte a la conversación?
Siéntete libre de contribuir!

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *