Evitar que su sitio se indexe de la manera correcta • Yoast


Lo dijimos hace mucho tiempo, pero lo repetiremos: nos sigue sorprendiendo que todavía haya personas que usan solo un robots.txt archivos para evitar la indexación de su sitio en Google o Bing. Como resultado, su sitio aparece en los motores de búsqueda de todos modos. ¿Sabes por qué sigue sorprendiéndonos? Porque robots.txt en realidad no hace lo último, a pesar de que evita la indexación de su sitio. Déjame explicarte cómo funciona esto en esta publicación.

Para obtener más información sobre robots.txt, lea robots.txt: la guía definitiva. O encuentra el mejores prácticas para manejar robots.txt en WordPress.

Existe una diferencia entre estar indexado y aparecer en Google

Antes de explicar más las cosas, primero debemos repasar algunos términos aquí:

  • Indexado / Indexado
    El proceso de descargar un sitio o el contenido de una página al servidor del motor de búsqueda y, por lo tanto, agregarlo a su “índice”.
  • Clasificación / Listado / Mostrando
    Mostrar un sitio en las páginas de resultados de búsqueda (también conocido como SERPs).

Entonces, mientras que el proceso más común va de la indexación al listado, un sitio no tiene que estar indexado Encontrarse dentro de la lista. Si un enlace apunta a una página, dominio o cualquier lugar, Google sigue ese enlace. Si el archivo robots.txt en ese dominio impide que un motor de búsqueda indexe esa página, aún mostrará la URL en los resultados si puede recopilar otras variables que valga la pena ver.

En los viejos tiempos, eso podría haber sido DMOZ o el directorio de Yahoo, pero puedo imaginarme a Google usando, por ejemplo, sus detalles de Mi Negocio en estos días o los datos antiguos de estos proyectos. Más sitios resumen su sitio web, ¿verdad?

Ahora, si la explicación anterior no tiene sentido, eche un vistazo a esta explicación en video del ex Googler Matt Cutts de 2009:

Si tiene razones para evitar la indexación de su sitio web, agregar esa solicitud a la página específica que desea bloquear como Matt está hablando, sigue siendo el camino correcto a seguir.

Pero deberá informar a Google sobre esa metaetiqueta de robots. Por lo tanto, si desea ocultar las páginas de los motores de búsqueda de manera efectiva, necesitar a ellos índice esas páginas. Aunque eso pueda parecer contradictorio. Hay dos formas de hacerlo.

Evite la inclusión de su página agregando una metaetiqueta de robots

La primera opción para evitar la inclusión de su página en la lista es mediante el uso de metaetiquetas robots. Tenemos una guía definitiva sobre metaetiquetas de robots que es más extenso, pero básicamente se reduce a agregar esta etiqueta a su página:

<meta name="robots" content="noindex,nofollow">

Si usa Yoast SEO, ¡esto es muy fácil! No es necesario que agregue el código usted mismo. Aprender cómo agregar una etiqueta noindex con Yoast SEO aquí.

Sin embargo, el problema con una etiqueta como esa es que debe agregarla a todas y cada una de las páginas.

Pestaña avanzada en Yoast SEO para configurar la página en noindex o nofollow
Gestión de metaetiquetas de robots simplificada en Yoast SEO

Para facilitar un poco el proceso de agregar la etiqueta meta robots a cada página de su sitio, los motores de búsqueda crearon el Encabezado HTTP X-Robots-Tag. Esto le permite especificar un encabezado HTTP llamado X-Robots-Tag y establezca el valor como lo haría con el valor de las metaetiquetas de robots. Lo bueno de esto es que puedes hacerlo para todo un sitio. Si su sitio se ejecuta en Apache y mod_headers está habilitado (generalmente lo está), puede agregar la siguiente línea única a su .htaccess expediente:

Header set X-Robots-Tag "noindex, nofollow"

Y esto tendría el efecto de que todo el sitio lata ser indexado. Pero nunca se mostraría en los resultados de búsqueda.

Entonces, deshazte de ese archivo robots.txt con Disallow: / en eso. ¡Utilice la etiqueta X-Robots-Tag o esa metaetiqueta de robots en su lugar!

Leer más: La guía definitiva para la etiqueta meta robots »



Source link

0 comentarios

Dejar un comentario

¿Quieres unirte a la conversación?
Siéntete libre de contribuir!

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *