{"id":4133,"date":"2014-11-05T09:30:39","date_gmt":"2014-11-05T08:30:39","guid":{"rendered":"https:\/\/internetrepublica.com\/?p=4133"},"modified":"2014-11-05T09:30:39","modified_gmt":"2014-11-05T08:30:39","slug":"configuracion-avanzada-y-regex-para-screaming-frog","status":"publish","type":"post","link":"https:\/\/internetrepublica.com\/blog\/configuracion-avanzada-y-regex-para-screaming-frog\/","title":{"rendered":"Configuraci\u00f3n avanzada y RegEx para Screaming Frog"},"content":{"rendered":"

El uso de un rastreador o crawler<\/em> de p\u00e1ginas webs es imprescindible a la hora de realizar SEO Onpage y, actualmente, Screaming Frog se ha convertido en la herramienta de rastreo favorita para la mayor\u00eda de profesionales SEO, ya que permite en su versi\u00f3n gratuita el rastreo completo de webs peque\u00f1as hasta 500 URLs y en su versi\u00f3n de pago es capaz de rastrear los sitios m\u00e1s grandes de Internet (si la memoria de tu ordenador te aguanta, eso s\u00ed).<\/p>\n

En este segundo caso es vital configurar adecuadamente el rastreo, para lo que Screaming Frog nos ofrece varias posibilidades de configuraci\u00f3n para adaptarse a nuestras necesidades, teniendo en cuenta que todo lo que se indica a continuaci\u00f3n es para el uso en modo spider<\/em>.<\/p>\n

\"998989_609598522406751_261118887_n\"<\/a><\/p>\n

Configuraci\u00f3n<\/b><\/h2>\n

Antes de comenzar el rastreo es necesario ajustar el rastreador para obtener las URLs que queremos y, aunque no es muy complicada la configuraci\u00f3n, no siempre est\u00e1 claro cu\u00e1ndo marcar cada opci\u00f3n disponible, por lo que a continuaci\u00f3n detallamos las principales:<\/p>\n

Check external links<\/i>: Indica si el programa debe comprobar los enlaces externos (hacia otro dominio) que encuentre en su rastreo. Esto no har\u00e1 que se rastreen tambi\u00e9n los enlaces que se encuentren en estas p\u00e1ginas y es especialmente \u00fatil a la hora de detectar enlaces externos rotos.<\/p>\n

    \n
  • Check links outside folder<\/i>: Si quieres comprobar s\u00f3lo las URLs dentro de un directorio, aseg\u00farate que est\u00e1 desmarcada esta opci\u00f3n.<\/li>\n
  • Crawl all subdomains<\/i>: Si el sitio web que debes rastrear tiene varios subdominios y necesitas rastrearlos todos, debes tener marcada esta opci\u00f3n.<\/li>\n
  • Crawl canonicals<\/i>: Esta opci\u00f3n es muy \u00fatil si las URLs can\u00f3nicas de la web no est\u00e1n enlazadas directamente, ya que nos aseguramos que Screaming Frog rastrear\u00e1 tambi\u00e9n las URLs can\u00f3nicas y podremos verificar si tienen alg\u00fan problema SEO.<\/li>\n
  • Ignore robots.txt<\/i>: Con esta opci\u00f3n podemos elegir rastrear la web siguiendo las reglas del archivo robots.txt para hacerlo igual que lo har\u00edan los buscadores o rastrear todas las URLs, incluso las que no rastrear\u00edan los buscadores.<\/li>\n
  • Allow cookies<\/i>: Si la web necesita que el navegador del usuario admita cookies<\/em>, tendr\u00e1s que activar esta opci\u00f3n para realizar un rastreo.<\/li>\n
  • Request Authentication<\/i>. Esta opci\u00f3n es necesaria s\u00f3lo cuando vamos a rastrear una web que pide en alguna de sus p\u00e1ginas autentificaci\u00f3n de usuarios por http. Si marcamos esta opci\u00f3n y la web solicita dicha autentificaci\u00f3n, Screaming Frog nos mostrar\u00e1 un pop-up<\/em> para que pongamos el usuario y clave necesarios para continuar con el rastreo.<\/li>\n
  • Always follow redirects<\/i>. En mi opini\u00f3n deber\u00eda estar siempre marcada, ya que en el caso de que no lo est\u00e9, Screaming se parar\u00e1 al llegar a una redirecci\u00f3n y continuar\u00e1 analizando el resto de p\u00e1ginas. Para m\u00ed, es vital conocer ad\u00f3nde apunta una redirecci\u00f3n, por lo que no veo por qu\u00e9 habr\u00eda que desactivar esta funci\u00f3n.<\/li>\n
  • Respect noindex<\/i>. Para realizar un rastreo s\u00f3lo por las p\u00e1ginas que indexar\u00e1n los buscadores se debe activar esta funci\u00f3n, que har\u00e1 que Screaming Frog no incluya en su rastreo las p\u00e1ginas que contengan la meta etiqueta robots con valor \u201cnoindex\u201d.<\/li>\n
  • Respect Canonical<\/i>. De igual modo que ocurre con la opci\u00f3n anterior, esta hace que Screaming se comporte como lo har\u00eda un buscador en lo que a etiquetas canonical<\/em> se refiere, por lo que s\u00f3lo mostrar\u00eda en su rastreo las urls canonical<\/em> de las urls que contengan dicha etiqueta.<\/li>\n<\/ul>\n

    \"post-screaming-include\"<\/p>\n

    Uso de expresiones regulares<\/b><\/h2>\n

    Quiz\u00e1 la funcionalidad de la herramienta m\u00e1s \u00fatil a la hora de rastrear webs con millones de URLs, pero la m\u00e1s complicada de utilizar si no te manejas con expresiones regulares. Los apartados donde podemos introducir nuestras expresiones regulares son en los men\u00fas \u201cInclude\u201d y \u201cExclude\u201d dentro de \u201cConfiguration\u201d.<\/p>\n

    Ah\u00ed podemos separar de forma sencilla las expresiones regulares para incluir URLs en el rastreo o excluirlas, que ser\u00eda como decir \u201cIncluye\/excluye todas las URLs que cumplan\u2026\u201d.<\/p>\n

    Consejo: para que Screaming Frog rastree una web cuando se utiliza esta funcionalidad, la p\u00e1gina de inicio del rastreo debe contener al menos un enlace (href) que cumpla la expresi\u00f3n regular introducida.<\/p>\n

    Es necesario tener en cuenta que Screaming Frog trata cada l\u00ednea que introduzcamos como una expresi\u00f3n regular independiente y buscar\u00e1 URLs que cumplan al menos una de las expresiones indicadas, de tal forma que si incluimos la expresi\u00f3n regular “.*” en cualquier l\u00ednea de la opci\u00f3n \u201cInclude\u201d, Screaming Frog rastrear\u00e1 todas las URLs que encuentre al cumplir \u00e9stas siempre una condici\u00f3n de las indicadas.<\/p>\n

    Las expresiones regulares m\u00e1s utilizadas son las que seleccionan URLs dentro de un subdirectorio concreto o URLs que contienen un par\u00e1metro:<\/p>\n

    Regex para seleccionar todas las URLs dentro de un directorio:<\/b><\/p>\n

    http:\/\/nombre-de-dominio.com\/directorio\/.*<\/p>\n

    Por ejemplo:<\/p>\n

    \n

    404<\/a><\/p><\/blockquote>\n