Programas por lionheart

Esta ferramenta de análise .txt robôs pode facilmente verificar o conteúdo de "robots.txt" de um servidor web arbitrário (ficheiro que especifica o comportamento no servidor para o robô do motor de busca, etc.) a pa