Hoy vengo
a traerles una herramienta para auditar el famoso protocolo que utilizan las webs para no dejarse ver por el buscador.
Este
script desarrollado en Python, toma el archivo robots.txt que impide a los buscadores indexar ciertos
path de la página y lo analiza, retornando cuáles son el estado de cada una de las entradas.
Herramienta fácil de utilizar y con la opción de buscar también los Disallow por el buscador de Microsoft, Bing.
Ya que
muchos administradores creen que simplemente denegando el indexado
desde aquí ya están seguros, es una buena herramienta para
testearlos.
Mírenlo en funcionamiento:
Así que si no quieren tener problemas con Parsero, mejor que administren y bloqueen correctamente los controles de acceso.
El link a la descarga es: Parsero
