wget - это просто
Если в кратце Wget это консольная качалка, поддерживающая HTTP, FTP и HTTPS протоколы, а также поддерживает работу через HTTP-прокси.
Загрузка всех URL, указанных в файле FILE:
wget -i FILE
Скачивание файла в указанный каталог (-P)[4]:
wget -P ~/Downloads ftp://ftp.site.net/file.zip
Использование имя пользователя и пароля на FTP/HTTP (вариант 1):
wget ftp://login:pass@ftp.site.net/file.zip
Использование имя пользователя и пароля на FTP/HTTP (вариант 2):
wget --user=login --pass=pass ftp://ftp.site.net/file.zip
Скачивание в фоновом режиме (-b):
wget -b ftp://ftp.site.net/file.zip
Продолжить (-c continue) загрузку ранее не полностью загруженного файла:
wget -c http://site.net/file.zip
Скачать страницу с глубиной следования 10, записывая протокол в файл log:
wget -r -l 10 http://site.net/ -o log
Скачать содержимое каталога site.net/~user/file/ и всех его подкаталогов, при этом не поднимаясь по иерархии каталогов выше:
wget -r --no-parent http://site.net/~user/file/
Для того, чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра, необходимо использовать ключ -k:
wget -r -l 10 -k http://site.net/
Также поддерживается идентификация на сервере:
wget --save-cookies cookies.txt \ --post-data 'user=foo&password=bar' \ http://site.net/auth.php
Скопировать весь сайт целиком:
wget -r -l0 -k http://site.net/