Удивительно, но скачать все доступные страницы какого-либо сайта можно обычной командой wget:

wget --wait=10 --limit-rate=100K -r -p -U Mozilla http://www.site.ru

В данном примере параметр wait позволяет делать паузу в 10 секунд между каждым запросом, limit-rate ограничивает скорость. Это не помешает, так как на многих хостингах частые запросы с одного IP будут блокироваться.

Вот так, не торопясь, можно получить все доступные страницы сайта.