{"id":9807,"date":"2016-05-30T16:15:28","date_gmt":"2016-05-30T14:15:28","guid":{"rendered":"https:\/\/internetrepublica.com\/?p=9807"},"modified":"2016-08-16T13:06:31","modified_gmt":"2016-08-16T11:06:31","slug":"errores-frecuentes-robots-txt","status":"publish","type":"post","link":"https:\/\/internetrepublica.com\/blog\/errores-frecuentes-robots-txt\/","title":{"rendered":"Errores frecuentes en el Robots.txt"},"content":{"rendered":"

\"Errores<\/p>\n

Realizar un archivo robots.txt impecable es importante en SEO. La complejidad radica en incluir las \u00f3rdenes correctamente para indicar qu\u00e9 deseamos qu\u00e9 sea rastreado y qu\u00e9 no y por qui\u00e9n (qu\u00e9 robots pueden rastrearnos). Un fallo en la creaci\u00f3n de este archivo puede suponernos grandes p\u00e9rdidas de tr\u00e1fico, pues podr\u00edamos limitar el acceso a grandes buscadores como Google. A continuaci\u00f3n, te explicamos algunos de los errores m\u00e1s comunes:<\/p>\n

    \n
  1. Uno de los errores m\u00e1s populares\u00a0que se producen al lanzar un site<\/em> es que no se edita este archivo. En ocasiones, se trabaja con una versi\u00f3n en preproducci\u00f3n que lleva incluido el archivo con indicaciones para que no sea rastreada. Es com\u00fan lanzar el site<\/em> a producci\u00f3n sin\u00a0eliminar dicha restricci\u00f3n.<\/li>\n
  2. Dejarlo vac\u00edo o alojarlo en un lugar diferente del que deber\u00eda estar (www.ejemplorepublica.com\/robots.txt).<\/li>\n
  3. Bloquear el acceso a archivos CSS e im\u00e1genes. Aqu\u00ed tienes un v\u00eddeo<\/a> de Matt Cutts explicando que no debe hacerse.<\/li>\n
  4. Uso incorrecto de las funciones para bloquear o permitir varias URLs a la vez. Aqu\u00ed te mostramos un listado con los m\u00e1s comunes<\/a> para que empieces a utilizarlos correctamente o revises los que ya tienes.<\/li>\n
  5. Google indica <\/a>que el archivo solo es necesario crearlo si hay partes de tu sitio web que no deseas que sean indexadas. No obstante, considero esencial crearlo siempre, porque como m\u00ednimo, deber\u00edamos incluir un listado de robots a los que no queremos dar acceso. Estos bots son aquellos que pueden ser da\u00f1inos, como aquellos que ralentizan el rendimiento de nuestra p\u00e1gina o que copian el contenido de forma autom\u00e1tica.<\/li>\n
  6. Utilizar disalow<\/em> para que una URL desaparezca de los resultados. Con esto lo \u00fanico que hacemos es indicar que no sea rastreada. Para que no sea indexada, debemos permitir acceder al bot e incluir la etiqueta noindex, redireccionarla u ofrecer otra opci\u00f3n\u00a0dependiendo de la situaci\u00f3n en la que nos encontremos.<\/li>\n
  7. Otro de los errores m\u00e1s comunes en este archivo es indicar una cosa que luego se contradice en el sitemap<\/em>. Por ejemplo, si bloqueamos el acceso a una carpeta, pero a la vez, incluimos URLs dentro de esta carpeta en el sitemap<\/em>. Recordad, \u00a1el sitemap<\/em> y el robots deben estar siempre alineados!<\/li>\n<\/ol>\n

    Recuerda que puedes validar tu archivo robots.txt a trav\u00e9s de la herramienta de Google Search Console (a la que seguiremos llamando\u00a0Webmaster Tools de por vida). Puedes hacerlo desde el man\u00fa lateral: rastreo \/ robots.txt<\/p>\n

    \u00bfAlguna vez has pensado en inluir un mensaje oculto en tu archivo? Aqu\u00ed tienes una selecci\u00f3n de archivos robots.txt curiosos y originales<\/a>.
    \n