Люди выручайте
 

Надо было сделать зеркало сайта. Не своего естественно.
Хотел все это сделать через Teleport Pro. Но оказалось что там есть вот такие строки в robots.txt:
User-agent: *
Disallow: /cgi-bin/conf2/
Disallow: /cgi-bin/go.cgi
Disallow: /conf2/
Disallow: /books/
Disallow: /microwave/
Host: www.gotovim.ru

User-Agent: DISCo Pump, Wget, WebZIP, Teleport Pro, WebSnake, Offline Explorer, Web-By-Mail, HTTrack, Yeti, MJ12bot
Disallow: /

Ecтественно вопрос: как все это обойти и сделать зеркало. Очень нужно. Заранее спасибо.

Re: Люди выручайте
 

вроде в офлаин эксплорер есть настроика:идентифицировать себя как ...-поставь IE6

Re: Люди выручайте
 

В HTTrack закладка "Качалка" "Spider:"
выставить "Не подчиняться правилам robots.txt"

Re: Люди выручайте
 

Всем спасибо выручили. Уже качаю. Тему можно закрывать.