Новая тема   Ответить

 S_Flash
Подскажите скрипт-бот, чтоб обойти все страницы сайта рекурсивно? Интересует только открывание страниц эмулируя браузер (можно без дотошной эмуляции, не обязательно быть похожим на десктопный) без каких либо действий над оными страницами.
wget вроде умеет рекурсивно, но он закачивать будет, а это лишнее..

 Axel
wget можно в /dev/null направить, и пусть выкачивает...

 localhost
wget -r --header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" --delete-after урл

 IgorZ
Для краулинга мне httrack больше нравится.

httrack -p0 http://domain.com

Цитата:

и еще много интересных опций.