Wget

wget : Рекурсивная загрузка Web-узла целиком

wget http://target_website/index.html
- загрузка страницы

wget http://target_website
- загрузка домашней страницы по умолчанию
-P - указание пути загрузки
-r - рекурсивное извлечение
-l - глубина загрузки
-w - время ожидания (в секундах) между загрузкой страниц.

Выбор определенных файлов и каталогов
-I directory list | настройка wget на загрузку файлов только из
-A file extension list | указанных каталогов или файлов определенных типов.

wget -r -I /images http://www.targetwebsite.com
- загружает только содержимое каталога /images.

wget -r -A jpg,gif http://www.targetwebsite.com
- загружает только изображения JPEG и GIF

Узлы FTP

wget -N ftp:///path/to/files/*.*
- загрузка по расписанию только новейших файлов из удаленного каталога FTP
-N - извлекаются только файлы, более новые, чем загруженные ранее

ftp://user:password@host/path - указание имени пользователя и пароля