Parsero
Это скрипт на языке python, который используется для чтения файла Robots.txt на живом веб-сервере на предмет запрещенных записей.
Пример использования parsero
Поиск результатов с веб-сайта (-u www.bing.com) с использованием индексируемых Bing (-sb):
Пакеты и бинарные файлы:
parsero
Parsero - это бесплатный скрипт, написанный на языке Python, который читает файл Robots.txt веб-сервера и просматривает записи Disallow. Записи Disallow указывают поисковым системам, какие каталоги или файлы, размещенные на веб-сервере, не должны быть проиндексированы. Например, "Disallow: /portal/login" означает, что содержимое сайта www.example.com/portal/login не должно индексироваться такими поисковыми системами, как Google, Bing, Yahoo... Таким образом администраторы запрещают передавать поисковым системам конфиденциальную или частную информацию.
Команда для установки: sudo apt install parsero
parsero
Last updated