Мы все любим загружать материал из Интернета, и есть куча замечательных инструментов менеджера загрузки, которые мы можем использовать для планирования наших загрузок. Возможно, проще будет использовать диспетчер загрузки, но нет никакого вреда в изучении инструментов, которые уже поставляются с нашим Ubuntu, и полностью использовать его.
В этой статье мы покажем вам встроенное программное обеспечение в Ubuntu, которое мы можем использовать для загрузки материалов из Интернета, используя Wget, Кроме того, мы покажем вам, как планировать загрузку с помощью Cron.
Загрузить с помощью Wget
Wget - это бесплатный программный пакет для извлечения файлов с использованием HTTP, HTTPS и FTP, наиболее широко используемых интернет-протоколов. Это неинтерактивный инструмент командной строки, поэтому его можно легко вызвать из сценариев, заданий cron, терминалов без поддержки X-Windows и т. Д.
Откройте свой терминал и давайте изучим, как мы можем использовать wget для загрузки файлов из сети. Основной синтаксис загрузки с помощью wget заключается в следующем:
wget [option] … …
Эта команда загрузит руководство wget на ваш локальный диск.
wget https://www.gnu.org/software/wget/manual/wget.pdf
Linux Cron
Ubuntu поставляется с демоном cron, который используется для планирования задач, которые должны выполняться в определенное время. Crontab позволяет указать действия и время, которое они должны выполнить. Так вы обычно планируете задачу с помощью инструмента командной строки.
Откройте окно терминала и введите crontab -e.
Это основной принцип wget и того, как работает Cron. Давайте возьмем добычу на примере реальной жизни о том, как планировать загрузку.
Планирование загрузки
Мы собираемся загрузить Firefox 3.6 в 2 часа ночи. Поскольку наш интернет-провайдер предоставляет только ограниченный объем данных, нам необходимо остановить загрузку в 8 часов утра. Вот как выглядит установка.
[код] 0 2 * * * wget -c https://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB [/код]
Параметры -c означают, что wget должен возобновить существующую загрузку, если она не была завершена.
Четвертая команда остановит wget в 8 утра. «Killall» - это команда unix, которая убивает процессы по имени.
[код] 0 8 * * * killall wget [/код]
Killall wget сообщает Ubuntu о том, чтобы остановить wget от загрузки файла в 8 часов утра.
Другие полезные команды wget
1. Указание каталога для загрузки файла
[код] wget -output-document = / home / zainul / Downloads / wget manual.pdf https://www.gnu.org/software/wget/manual/wget.pdf [/код]
параметр -output-document позволяет указать каталог и имя загружаемого файла
2. Загрузка веб-сайта
wget также способен загружать веб-сайт.
[код] wget -m https://www.google.com/profiles/zainul.franciscus [/код]
Вышеупомянутая команда загрузит всю мою страницу профиля Google. Опция «-m» сообщает wget загрузить «зеркальное» изображение указанного URL-адреса.
Еще один важный параметр - сообщить wget, сколько ссылок следует использовать при загрузке веб-сайта.
[код] wget -r -l1 https://www.google.com/profiles/zainul.franciscus [/код]
Вышеупомянутая команда wget использует два варианта. Первый параметр «-r» сообщает wget, чтобы загрузить указанный сайт рекурсивно. Второй вариант «-l1» сообщает wget, чтобы получить только первый уровень ссылок с указанного веб-сайта. Мы можем установить до трех уровней «-l2» и «-l3».
3. Игнорирование записи робота
Веб-мастер поддерживает текстовый файл Robot.txt. «Robot.txt» поддерживает список URL, который искатель веб-страниц, такой как wget, не должен сканировать. Мы можем сказать wget игнорировать «Robot.txt» с опцией «-erobots = off». Следующая команда сообщает wget, чтобы загрузить первую страницу моего профиля google и игнорировать «Robot.txt».
[код] wget -erobots = off https://www.google.com/profiles/zainul.franciscus [/код]
Другим полезным вариантом является -U. Этот параметр будет маскировать wget как браузер. Обратите внимание на то, что маскирование приложения как другого приложения может нарушить термин и услугу поставщика веб-услуг.
[код] wget -erobots = off -U Mozilla https://www.google.com/profiles/zainul.franciscus [/код]
Заключение
Wget - очень старый школьный, но взломанный программный пакет GNU, который мы можем использовать для загрузки файлов. Wget - это инструмент интерактивной командной строки, который означает, что мы можем позволить ему работать на нашем компьютере в фоновом режиме без необходимости запуска какого-либо приложения. Проверьте страницу wget man
[код] $ man wget [/код]
чтобы понять другие варианты, которые мы можем использовать с wget.
связи
Руководство Wget Как объединить два загруженных файла, когда wget завершается на полпути Linux QuickTip: загрузка и разгрузка в один шаг
