Errores frecuentes en el Robots.txt
Realizar un archivo robots.txt impecable es importante en SEO. La complejidad radica en incluir las órdenes correctamente para indicar qué deseamos qué sea rastreado y qué no y por quién (qué robots pueden rastrearnos). Un fallo en la creación de este archivo puede suponernos grandes pérdidas de tráfico, pues podríamos limitar el acceso a grandes buscadores como Google. A continuación, te explicamos algunos de los errores más comunes:
- Uno de los errores más populares que se producen al lanzar un site es que no se edita este archivo. En ocasiones, se trabaja con una versión en preproducción que lleva incluido el archivo con indicaciones para que no sea rastreada. Es común lanzar el site a producción sin eliminar dicha restricción.
- Dejarlo vacío o alojarlo en un lugar diferente del que debería estar (www.ejemplorepublica.com/robots.txt).
- Bloquear el acceso a archivos CSS e imágenes. Aquí tienes un vídeo de Matt Cutts explicando que no debe hacerse.
- Uso incorrecto de las funciones para bloquear o permitir varias URLs a la vez. Aquí te mostramos un listado con los más comunes para que empieces a utilizarlos correctamente o revises los que ya tienes.
- Google indica que el archivo solo es necesario crearlo si hay partes de tu sitio web que no deseas que sean indexadas. No obstante, considero esencial crearlo siempre, porque como mínimo, deberíamos incluir un listado de robots a los que no queremos dar acceso. Estos bots son aquellos que pueden ser dañinos, como aquellos que ralentizan el rendimiento de nuestra página o que copian el contenido de forma automática.
- Utilizar disalow para que una URL desaparezca de los resultados. Con esto lo único que hacemos es indicar que no sea rastreada. Para que no sea indexada, debemos permitir acceder al bot e incluir la etiqueta noindex, redireccionarla u ofrecer otra opción dependiendo de la situación en la que nos encontremos.
- Otro de los errores más comunes en este archivo es indicar una cosa que luego se contradice en el sitemap. Por ejemplo, si bloqueamos el acceso a una carpeta, pero a la vez, incluimos URLs dentro de esta carpeta en el sitemap. Recordad, ¡el sitemap y el robots deben estar siempre alineados!
Recuerda que puedes validar tu archivo robots.txt a través de la herramienta de Google Search Console (a la que seguiremos llamando Webmaster Tools de por vida). Puedes hacerlo desde el manú lateral: rastreo / robots.txt
¿Alguna vez has pensado en inluir un mensaje oculto en tu archivo? Aquí tienes una selección de archivos robots.txt curiosos y originales.
