Главная

Научите работать с WGetом.

Как им в консольном режиме скачать сайт в выбранный каталог с каким–то количеством вложенности на определённой скорости ? (Картинки и текст, или всё.)

Re: Научите работать с WGetом.

самый простой способ сделать зеркало сайта:

wget -m -np -t 0 -b урл_сайта

–m — зеркало
-np — не вылазить за границы текущего каталога (т.е. wget не будет скачивать документы по внешним ссылкам)
-t 0 — бесконечное число попыток (полезно, когда связь рвётся часто)
-b — работать в фоновом режиме

отчёт о работе программы будет в файле wget–log

Re: Научите работать с WGetом.

Не можешь привести конкректный пример: нужно скачать сайт xxxxx с глубиной 8 уровней со всеми картинками и текстом (ну и со всеми ссылками в пределах этого сайта) на скорости скажем 3 Килобайта/сек (24 Килобита) в каталог на винчестере yyyy ?

Re: Научите работать с WGetом.

Что–то как я не пробовал, ни пробовал ничего толкового не получается, скачивается только index.html и всё. Может под Биосом есть какая–нибудь качалка сайтов, типа виндового Teleporta ?
Вот моя последовательность действий:
--------------------------------------–
terminal:
--------------------------------------–
baron@vimba:~# wget -t0 -b -x -Pmoon_video http://www.hq.nasa.gov/office/pao/History/alsj/
Continuing in background.
Output will be written to `wget–log'.
baron@vimba:~#
------------------------------------------–
В boot/home (кстати, как его перенести в другое место ?) получается каталог moon_video, содержащий каталоги сайта.

Содержимое wget–log :
------------------------------------------–
--02:21:08–- http://www.hq.nasa.gov:80/office/pao/History/alsj/
=> `moon_video/www.hq.nasa.gov/office/pao/History/alsj/index.html'
Connecting to www.hq.nasa.gov:80… connected!
HTTP request sent, awaiting response… 200 OK
Length: 8,179 [text/html]

0K -> ……. [100%]

02:21:27 (480.86 B/s) — `moon_video/www.hq.nasa.gov/office/pao/History/alsj/index.html' saved [8179/8179]
------------------------------------------–
То есть как видно, скачался только один файл.

Re: Научите работать с WGetом.

у меня используется с в BeGet (wget1.9.1 и ниже — 1.8.2), строка ключей -d -l0 -w0 -c -P /boot/home/Downloads, подходит в 98 случаях …

Re: Научите работать с WGetом.

Извиняюсь для закачки файлов -C on -S -d -w 0 -l inf -c -P /boot/home/Downloads, Кеш включён, Показ информац. с источника, вывод информации дебуггера, интервал таймаута в сек., номер (или inf) уровня закачки, продолжение докачки, путь скачиваемого файла .
Приблизительно так. Ключи выставляются с ти–ре, параметры ключей через пробел .

Re: Научите работать с WGetом.

Спасибо за советы, я просто похоже пропустил параметр -m (зеркалирование сайта). Сейчас вот попробовал, похоже работает, посмотрю что он там накачает.

Re: Научите работать с WGetом.

Vrode rabotaet, no skorost' malen'kay (ne bolshe 500 bait/sec), kak be ee fiksirovanno zadat'? Naprimer 3 kilobytes/sec? Podderjivaet li WGet dokachku i kak ee osushestvit' ?
Sorry za latinicu — vremennie trabbli s kodirovkoy (russkiy yazik chitaetsy, no ne pishetsy).

Re: Научите работать с WGetом.

--limit–rate=3K

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
  • Адреса страниц и электронной почты автоматически преобразуются в ссылки.
  • Allowed HTML tags: <a> <em> <i> <img> <strong> <b> <cite> <code> <ul> <ol> <li> <dl> <dt> <dd>
  • Строки и параграфы переносятся автоматически.

Подробнее о форматировании

CAPTCHA
Введите перечисленные символы, чтобы мы убедились, что вы не робот. Не требуется для зарегистрированных пользователей.
S
R
F
g
1
d
Enter the code without spaces and pay attention to upper/lower case.