Полезная информация

Список ответов на каверзные вопросы можно получить в FAQ-разделе форума.

№5130-06-2017 10:58:10

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

А я говорил ранее, что для скачивания по HTTPS wget-у надо задавать дополнительный параметр "no-check-certificate".
Кстати, я на днях скачал версию wget, которая, как сейчас оказалось, этого параметра уже не требует.

А по предыдущей проблеме с elmir - все нормальные ссылки там абсолютные, переходы по ним должны сохраняться. Есть ещё куча ссылок, задающихся через Javascript, но посмотреть, что происходит с ними, пока не удаётся - сохранённый файл открывается безумно долго, обстоятельства пока ни разу не позволили дождаться момента, когда это произойдёт.

Отсутствует

 

№5230-06-2017 16:30:24

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

ок, а почему как на [firefox] 52 так на [firefox] 54 перестало сохранять по ctr+s у меня на двух компах не сохраняет? [opera][chrome] все ок

вот
http://imgur.com/a/Hb7Mv

Отредактировано 12 (30-06-2017 18:14:22)


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№5330-06-2017 23:29:25

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

Наверное, потому, что на страницах форума есть ссылки на счётчики Яндекса (и, возможно, и других страшных бабаек), которые законопослушному украинскому провайдеру велено бояться до усрачки.
А Хром и Опера, скорее всего, работают через прокси. Или они по-другому реагируют на заблокированные ссылки.

Отредактировано yup (30-06-2017 23:36:36)

Отсутствует

 

№5401-07-2017 03:37:39

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

В хроме и опера не установлены прокси
в uBlock uMatrix пытался добавить заблокированные сайты все ровно не сохраняет
хотя да, очень похоже на то что не сохраняет из-за блокировок российских сайтов

UPD
в [firefox] поставил vpn стало сохранять. Спасибо за подсказку!
А можно ли uBlock или uMatrix настроить что бы сохраняло без vpn?

Отредактировано 12 (01-07-2017 03:50:13)


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№5501-07-2017 04:23:48

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

12 пишет:

В хроме и опера не установлены прокси

Режим "Турбо" и его аналоги (неправильно называемые "VPN") - это тоже работа через прокси.

12 пишет:

А можно ли uBlock или uMatrix настроить что бы сохраняло без vpn?

Не знаю - я ими не пользуюсь. По идее, uMatrix должен был помочь - настройкой запрета загружать с Яндекса скрипты и картинки (скрипт - https://mc.yandex.ru/metrika/watch.js, картинки берутся из каталога https://mc.yandex.ru/watch/).

Отредактировано yup (01-07-2017 04:25:07)

Отсутствует

 

№5601-07-2017 23:50:38

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

yup пишет:

Режим "Турбо" и его аналоги (неправильно называемые "VPN") - это тоже работа через прокси.

Да. Но не пользуюсь. Хром и Опера держу только на случай вот таких непоняток.

yup пишет:

Не знаю - я ими не пользуюсь. По идее, uMatrix должен был помочь - настройкой запрета загружать с Яндекса скрипты и картинки

так вроде и делал, но похоже при сохранении [firefox] тянет с сервера, а не с кэша, и uMatrix не помогает

UPD
Ура!:)
Добавил в фильтры uBlock этот url и список заблокированных сайтов из этого же url и перезапустил фокс - теперь сохраняет
https://gist.github.com/tptshk/234ef0aa … ublock-txt

Отредактировано 12 (02-07-2017 00:03:22)


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№5704-07-2017 01:26:02

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

Хм, опять перестало сохранять, фильтры теже:/


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№5804-07-2017 02:51:51

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

Могу посоветовать в отладчике на вкладке "Сеть" смотреть, откуда не приходит запрошенный файл.

Отсутствует

 

№5905-07-2017 01:07:08

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

yup Спасибо, посмотрю если опять заглючит
Странным образом пока опять сохраняет.
Может потому что добавил этот фильтр https://github.com/hant0508/uBlock-fillters и список забаненых url привел в порядок дописал https://


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№6005-07-2017 01:20:12

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

А может всё наоборот - не сохраняет из-за работы блокировщика? Комбинация "VPN + отключение блокировщика" проверялась?

Отсутствует

 

№6105-07-2017 04:58:08

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

ну так с ВПН и блокировщик не нужен, все сохраняет
а если без ВПН то только с блокировщиком сохраняет

зы да и сайты где есть элементы забаненых сайтов теперь гораздо резвее открываются с донастроенным блокировщиком

Отредактировано 12 (05-07-2017 05:03:01)


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№6206-07-2017 02:10:30

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

блин, проверяю на мозиллараша - сохраняет, пытаюсь сохранить хабр - не сохраняет, только через впн


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№6306-07-2017 11:36:45

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

Как интересно... Я на mozilla-russia.org (не forum.mozilla-russia.org, а именно mozilla-russia.org) и зайти-то могу только через VPN или SOCKS.

Отсутствует

 

№6407-07-2017 02:51:47

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

В общем хз, если полностью через uMatrix отключать скрипты то все сохраняется как с uBlock так и без.

А вот эта например страничка упорно не хочет сохранятся даже если все отключить
https://geektimes.ru/company/devline/blog/290829/

Отредактировано 12 (07-07-2017 03:05:18)


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№6507-07-2017 03:35:47

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

Там повисают в ожидании ответа запросы на vk.com, top-fwz1.mail.ru и mediator.imgsmail.ru. Последний адрес, как я понимаю, "со двора" mail.ru.
При работе через прокси страничка сохраняется за секунды.

Отредактировано yup (07-07-2017 03:41:53)

Отсутствует

 

№6608-07-2017 12:35:56

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

yup То есть все дело в элементах забаненых сайтов? И без прокси никак не сохранить?


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№6708-07-2017 14:22:35

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

12 пишет:

То есть все дело в элементах забаненых сайтов?

Эксперименты показывают, что да.

12 пишет:

И без прокси никак не сохранить?

Можно и без прокси:
Берём список доменов, из-за недоступности которых не удаётся нормально сохранить страничку, и в файле hosts назначаем этим доменам адрес 127.0.0.1.
Например, для той Хабровской странички это будет:

Выделить код

Код:

127.0.0.1 mc.yandex.ru mail.ru top-fwz1.mail.ru mediator.imgsmail.ru vk.com

После этого хоть Firefox и рисует метку, что сохранение не удалось, но на самом деле страничка шустренько сохраняется.

Вот здесь можно взять готовый блок для hosts:

скрытый текст
Войдите или зарегистрируйтесь, чтобы увидеть скрытый текст.


.
А здесь тот же набор доменов, но с намёком, что он - для uBlock Origin:
скрытый текст
Войдите или зарегистрируйтесь, чтобы увидеть скрытый текст.


(Правда, эти списки явно не полные: в них отсутствуют два домена из вышеприведённого хабровского списка и ещё кое-какие из моей личной "коллекции". Поэтому - сетевой монитор из браузерного отладчика нам в помощь.)

Но проще проблему решать с помощью прокси (например, TOR) и файла proxy.pac, в который прописываются только домены верхнего уровня - их всего-то два десятка.

Отредактировано yup (08-07-2017 14:43:12)

Отсутствует

 

№6823-07-2017 01:41:12

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

В общем вопрос все еще открыт "Как и во что сохранять удобнее, проще, эффективнее?"

зы кстати по поводу не сохранения из-за элементов забаненых сайтов, заметил если нажать после того как сайт не сохранился на кружочек со стрелочкой рядом с закачкой(повторить закачку) то со второго раза все сохранятся

Отредактировано 12 (23-07-2017 01:41:54)


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№6925-07-2017 04:53:17

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

нашел еще такую штуку https://wkhtmltopdf.org/, но как то кривовато сохраняет, вот это например без яваскрипт картинок сохраняет(вверху баннер "интересное")

Выделить код

Код:

wkhtmltopdf --no-outline --page-size A4 --orientation landscape --viewport-size 1000x1000 --page-height 300 --page-width 400 http://riotpixels.com/ rp.pdf

https://ru.scribd.com/document/354636343/rp
и потом еще вопрос, как искать по содержимому текста в нескольких пдфах?

Отредактировано 12 (25-07-2017 04:57:20)


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№7025-07-2017 12:23:12

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

12 пишет:

нашел еще такую штуку https://wkhtmltopdf.org/, но как то кривовато сохраняет

Существует огромное количество драйверов виртуальных принтеров, сохраняющих "печатаемое" в PDF. Или нужно именно из командной строки?

12 пишет:

и потом еще вопрос, как искать по содержимому текста в нескольких пдфах?

"Расширенный поиск" в Adobe Reader можно запустить по всем PDF выбранного каталога и его подкаталогов.

Отредактировано yup (25-07-2017 12:23:33)

Отсутствует

 

№7125-07-2017 19:25:37

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

yup пишет:

Существует огромное количество драйверов виртуальных принтеров, сохраняющих "печатаемое" в PDF. Или нужно именно из командной строки?

все єто огромное количество очень криво сохраняет, думал найти что то открытое и гибкое, то что я нашел вроде подходит но не сохраняет часть картинок
идеальнее всех сохраняет Акробат ПРО, но он проприетарный

yup пишет:

"Расширенный поиск" в Adobe Reader можно запустить по всем PDF выбранного каталога и его подкаталогов.

спасибо надо будет попробовать, но хотелось бы искать из венды или тотала так же


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№7226-07-2017 03:00:00

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

12 пишет:

все єто огромное количество очень криво сохраняет

Ну-у нет, есть очень правильно работающие.

12 пишет:

но хотелось бы искать из венды или тотала так же

How to search inside PDFs with Windows Search?

Отредактировано yup (26-07-2017 03:02:44)

Отсутствует

 

№7326-07-2017 14:12:17

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

yup пишет:

Ну-у нет, есть очень правильно работающие.

Это какие например. Я знаю только Акробат ПРО, остальное хуже сохраняет.


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

№7426-07-2017 14:32:06

yup
Участник
 
Группа: Members
Зарегистрирован: 15-04-2016
Сообщений: 1086
UA: Seamonkey 2.40

Re: Способы сохранения и хранения Вэб конетента

Например, Ghostscript в связке со штатным для Windows адобовским драйвером PS-принтера.
Creating a Virtual Postscript Printer in Windows using Ghostscript - привязка к конкретному принтеру в этой инструкции весьма условна, можно использовать любой другой устраивающий или даже "запилить самодельный" через PPD.

Отредактировано yup (26-07-2017 14:36:25)

Отсутствует

 

№7527-07-2017 02:41:52

12
Участник
 
Группа: Members
Зарегистрирован: 14-07-2009
Сообщений: 551
UA: Firefox 54.0

Re: Способы сохранения и хранения Вэб конетента

Спасибо, но как это поможет если при выводе на печать мы видим такой ужас?
http://i.imgur.com/1L8ICGY.png

А нельзя через WGET что бы все корректно сохранялось? На примере многострадального riotpixels.com Какие я только настройки не пробовал, все ровно криво сохраняет.


для сохранения вэбстраничек целиком
Save Page WE link
Web Scaprapbook link

Отсутствует

 

Board footer

Powered by PunBB
Modified by Mozilla Russia
Copyright © 2004–2011 Mozilla Russia
Язык отображения форума: [Русский] [English]