Parsero

Это скрипт на языке python, который используется для чтения файла Robots.txt на живом веб-сервере на предмет запрещенных записей.

Пример использования parsero

Поиск результатов с веб-сайта (-u www.bing.com) с использованием индексируемых Bing (-sb):

root@kali:~# parsero -u www.bing.com -sb

      ____                                                                             
     |  _ \ __ _ _ __ ___  ___ _ __ ___                                                
     | |_) / _` | '__/ __|/ _ \ '__/ _ \                                               
     |  __/ (_| | |  \__ \  __/ | | (_) |                                              
     |_|   \__,_|_|  |___/\___|_|  \___/                                               
                                                                                       
Starting Parsero v0.81 (https://github.com/behindthefirewalls/Parsero) at 12/27/23 05:12:20
Parsero scan report for www.bing.com
http://www.bing.com/ 200 OK
http://www.bing.com/cr$ 404 Not Found
http://www.bing.com/notifications/ 404 Not Found
http://www.bing.com/entities/search 302 Moved Temporarily
http://www.bing.com/images/searchbyimage 302 Moved Temporarily
http://www.bing.com/th$ 404 Not Found
http://www.bing.com/videos/feedcontent 200 OK
http://www.bing.com/profile/history? 200 OK
http://www.bing.com/travel/scripts 302 Moved Temporarily
http://www.bing.com/widget/snapshot 404 Not Found
http://www.bing.com/images/search? 302 Moved Temporarily
http://www.bing.com/widget/entity/search/? 200 OK
http://www.bing.com/results 404 Not Found
http://www.bing.com/search 302 Moved Temporarily
http://www.bing.com/videos/favorites 200 OK
http://www.bing.com/hotels/search 301 Moved Permanently
http://www.bing.com/social/search? 301 Moved Permanently
http://www.bing.com/academic/profile 404 Not Found
http://www.bing.com/entityexplore? 302 Moved Temporarily
http://www.bing.com/images/async? 302 Moved Temporarily

---

Пакеты и бинарные файлы:

parsero

Parsero - это бесплатный скрипт, написанный на языке Python, который читает файл Robots.txt веб-сервера и просматривает записи Disallow. Записи Disallow указывают поисковым системам, какие каталоги или файлы, размещенные на веб-сервере, не должны быть проиндексированы. Например, "Disallow: /portal/login" означает, что содержимое сайта www.example.com/portal/login не должно индексироваться такими поисковыми системами, как Google, Bing, Yahoo... Таким образом администраторы запрещают передавать поисковым системам конфиденциальную или частную информацию.

Команда для установки: sudo apt install parsero

parsero

root@kali:~# parsero -h
usage: parsero [-h] [-u URL] [-o] [-sb] [-f FILE]

options:
  -h, --help  show this help message and exit
  -u URL      Type the URL which will be analyzed
  -o          Show only the "HTTP 200" status code
  -sb         Search in Bing indexed Disallows
  -f FILE     Scan a list of domains from a list