Собственно кто как сохраняет вэбстранички и где их хранит?

Ctr+s тоже не совсем подходит так как создается хтмл файл+папка с кучей фалов что не есть гигиенично.
Слышал о PHP скрипте который автоматом делает один zipфайл из хтмл файл+папка, но как это реализовать не знаю

зы задался этим вопросом так как Scrapbook и Maff мы кажется уже не увидим из-за e10s и webextentions. А для меня это были два главных дополнения.
ззы ZOTERO не предлагать он платный и дорогой

У меня есть скрипт, который из .html+папка делает просто один html. Однако он хоть и не на php, но всё же на скриптовом языке, причём таком, с которым в мире Windows очень мало кто знаком, так что прочим страждущим от его существования не легче.
Впрочем, у любого скрипта просто по определению "исходники доступны", так что любой желающий может переписать их на что-то компилируемое.

22-05-2017 00:25:02
Вспомнил про один подвох: как показало практика, некоторые компоненты страницы по Ctrl-S на диск не сохраняются.

12
https://forum.mozilla-russia.org/viewto … 88#p588588

А что за скрипт? Можно подробнее?
Я вот что надыбал. Долго мучился но получилось. Хотелось бы попроще.
http://forum.wincmd.ru/viewtopic.php?p=109336#109336

Ага) Уже столкнулся с этим.

22-05-2017 02:50:24

Интересно спасибо! Заработало только через это
http://custombuttons.sourceforge.net/fo … 778#p53780
Жаль что не совместимо с e10s
Сохраняет идеально! А что это за формат такой? Вроде только хтмл, а все внутри?

UniPage.cmd
Но толку-то с этого? Он на REXX написан, и для его запуска интерпретатор нужен. Но ObjectREXX сейчас хрен найдёшь. Остаётся только Regina с её причудами. К тому же Regina кроссплатформенная и писалась с прицелом на нормальные операционки. А тут Windows, где у любого интерпретатора большие проблемы с передачей русских имен файлов через командную строку. Я одному своему клиенту регулярно напоминать вынужден: "Не сохраняй с русским именем, не сохраняй!"

Ну да. А что у нас снаружи сохраняется? Скрипты, стили и картинки. Скрипты и стили уезжают внутрь HTML самым естественным образом. А картинки с некоторых (и уже довольно давних) пор тоже стало можно засовывать внутрь HTML в Base64-представлении.

То есть под Вынь даже Regina не будет нормально работать? И такой скрипт как UniPage вообще не будет работать или будет но плохо? И альтернатив нет совсем? Даже если захотеть самому написать такой скрипт то наткнешься на кучу проблем(те же кириллические имена под вынь как вы говорите)?

Ух-ты! Не знал, спасибо! А открыться такой хтмл будет везде? И почему по умолчанию в нельзя сделать сохранение в такой хтмл?
А эта кнопка для сохранения что выше, написана на яваскрипт и зависит от расширения кастом баттонс, которое в свою очередь зависит от XUL, и от которого уже почти отказались?

22-05-2017 17:08:12
*****
Вот нашел в вики, почему завел эту тему
https://en.wikipedia.org/wiki/MHTML

*****
В общем и кастом баттнос не катят(отвалятся после FF56)
Custom Buttons WebExtensions after FF 56
http://custombuttons.sourceforge.net/fo … =2&t=12989

Вопрос темы открыт - как и во что сохранять?

Я пользуюсь Scrapbook с дальнейшим конвертом в CHM. Или скриншотю всю страницу в PNG.
Это если что-то важное.

А так - тоже кнопкой от Lex1.

Формат mht капризный и при сохранении, и при открытии в другом браузере.
Сохранять страницу как 1.htm + 1_files не люблю еще со времен пользования IE5.

22-05-2017 19:52:23
В PDF иногда сохраняю.

У Windows есть чрезвычайно идиотская особенность: на диске имя каждого файла хранится сразу в двух кодировках - UCS-2 (Unicode) и какая-то из семейства ANSI. А в командной строке используется третья кодировка - парная к ANSI, но из семейства OEM. Поэтому все имена файлов, получаемые из командной строки, нужно перекодировать. А средств для этого у Регины нет. Плюс не работает ещё что-то, что должно работать в стандартном REXX (не помню уже точно, что - пять лет назад с ней бодался).

UniPage допилить до совместимости с Региной можно, но всё равно придётся имена файлов сохранять исключительно латиницей.
Я же просто скрипт запускаю не под Windows (и не под Региной).

Изначально UniPage - это была программа под Windows. Но когда я скрипт нашёл, она уже мёртвая была. Зато было несколько других программ и скриптов под тем же названием и того же назначения. Но сейчас из них только этот один и доступен. Зато он из всех был самый правильный.

Проблема 3 кодировок затрагивает все Windows-программы. Но мы же её, как правило, не замечаем - потому что авторы программ о ней знают и имена перекодируют.
Даже в Регине, если под себя делать, перекодировать можно - просто это будет забитая намертво перекодировка между двумя конкретными кодовыми страницами, а не универсальная, зависящая от языковых настроек Windows.
А вообще переписать можно на чём угодно, благо логика работы очень простая.

Штатный Internet Explorer под Windows XP такие картинки не понимает. Все более новые браузеры - вполне.

Может быть, потому, что это уже трансформация страничек. А браузер сохраняет файлы именно в таком виде, как он их получил с сервера (разве что пути меняет на *_files).

Да. Поэтому я её упоминать не стал, как не вписывающуюся в условия поставленной задачи.

yup А где єтот UniPage можно скачать под вынь?
Тут нашел что то похожее на фтп требуют пароль
http://www.ecsoft2.org/unipage
Bingo! Нужно тупо на нажать скачать по єтой ссылке
ftp://hobbes.nmsu.edu/pub/os2/util/convert/unipage.zip

блин, при запуске пишет

"/*" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Ошибка в синтаксисе команды.

єто питон? установил, прописал переменные - не пашет(

Нет, это REXX.
Текущая версия Регины здесь: https://sourceforge.net/projects/regina … exx/3.9.1/
Судя по тому, что внутри UniPage.cmd есть упоминания о Windows, велики шансы, что заработает сразу, без доработки.

поставил прописал пути

Непредвиденное появление: then.
E:\!!!SASHA\_download\unipage>if RxFuncQuery('SysLoadFuncs') then do

Специально сейчас выкачал Регину. Запускаю:

regina unipage.cmd

- получаю нормальный вывод скрипта с правилами его использования, никакой ругани.

12, я печатаю, как PDF.

Так запускается, спасибо.
Пришлось поставить wget под вынь (с путями) + кинуть куда нужно библиотеки(зависимости)
http://gnuwin32.sourceforge.net/packages/wget.htm

Все работает. Только нужно после загрузки присвоить собраному файлу расширение html так как он без него, и удалить все картинки и скрипты из который собиралось. А как все классно спасибо!

Дополню
-долговато сколачивает и собирает
-кривовато собирает, если открыть собранный хтмл то страничка на секунду показывается в потом бац, но это не на всех станичках

или вот скачал но не собирает

Parsing http://static.riotpixels.net/playo_gen/iframe-playo-vert-new.htm
  1019 +++                   call value value(listname).0,tagcnt
   226 +++                call htmltaghunt filelist.n.guts,base_redir,'base.href'
   196 +++             call htm_prepare j
   157 +++          call main
Error 40 running "i:\Torrents4\unipage\unipage\unipage.cmd", line 1019: Incorrect call to routine
Error 40.26: VALUE argument 1 must be a valid symbol; found "<base href="http://ru.riotpixels.com">"

или вообще отказывается качать даже

Retrieving: "https://sexnod.com/show/822455201/ayelen-spun"
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = c:\Program Files (x86)\GnuWin32/etc/wgetrc
Error: "https://---например сайт----" could not be retrieved.
Done, 0.67s.

24-05-2017 03:51:06

Сколько я ПДФ принтеров перепробовал. Все не идеально сохраняют. Единственный кто идеально сохраняет это Adobe Acrobat Pro. Но он платный.

Похоже что кроме меня никто не озабочен тем как сохранять странички?!

12
Вам же давали разные способы сохранения, когда они перестанут работать придумают что-то другое, так что нет поводов для волнений.

Уже можно волноваться, кастомбаттонс перестанет работать уже в конце года

Если на сервере файл без расширения, то скрипт с этим не борется, так без расширения и оставляет.

Логично. Со стороны скрипта было свинство удалять исходники, скачанные не им. Мало ли зачем они ещё нужны. Особенно если они пользователем не просто скачаны, а ещё и старательно почищены.

До сегодняшнего дня запускать под Региной просто не пробовал, а под IBM-овским интерпретатором на Core2 самой первой серии скорость вполне приемлемая. Впрочем, я не галереи фотографий собираю, а технические статьи.

Я бы первым делом полез разбираться, а правильную ли структуру имеют собираемые файлы. Потому что очень много раз встречал и незакрытые теги, и недопустимо пересекающиеся.

Вот именно по этой ссылке страничка только что скачалась полностью и собралась. Подозреваю, что у Вас причина в том, что wget для работы с HTTPS надо или старательно настраивать, или задать "не проверять сертификаты".
Правда, для того, чтобы собранный файл сохранился, пришлось строчку 787 в скрипте изменить - не был он рассчитан на HTTPS://

if (left(translate(origin),7) = 'HTTP://') | (left(translate(origin),8) = 'HTTPS://') then do

А ещё по после успешного закрытия файла Регина  в качестве кода возврата выдаёт не "READY:", а "UNKNOWN", на что не рассчитанный на такое чудо скрипт ложно сообщает об ошибке закрытия файла (строки 812-813). Исправление:

if rc <> 'UNKNOWN' then

С чего бы это? У меня Netscape Navigator 2.0 до сих пор работает

пользователь не должен заботиться о том что не так на сервере

опять же єто кодерские привычки, обычному человеку только хлопоты лишние

ну медленнее чем обычное сохранение или печать в пдф, вот я и обратил внимание

Хороший код должен работать хорошо и для любого контента, или я не прав?

Я не хочу никуда лесть. Мне нужно просто сохранить. Почему я должен переживать что сайт криво написан?

Воот. Это типичный Юникс Вэй. Там подбить, здесь подпилить и.т.д. шоб работало как надо.

В общем интересно но заморочено.
А нет ли подобного youtube-dl только для страничек, мне он нравиться там без заморочек.

Тем более об этом не будет заботиться сторонняя (по отношению к северу) программа

Да? Вообще-то, если программа без спроса удаляет файлы, то тем самым её автор просто напрашивается под статью Уголовного кодекса.

Интерпретируемые программы всегда работают в сотни раз медленнее компилируемых.

"Хорошо" и "быстро" - никак между собой не связаны. В работе данного скрипта самая время-/процессоро-ёмкая процедура - преобразование картинок (кодирование в Base64). Чем больше их совокупный размер, тем дольше процесс.

Это сродни: "Мне нужно проехать по просёлку. Почему я должен переживать, что на нём доски с гвоздями разбросаны?"

А-а, ясно. Выбрасываем эту недоделку и всё прочее, что на компьютере установлено, и ждём, пока кто-то не создаст универсальную программу с одной кнопкой: "Сделать то, что я хочу!"
Один вопрос только: Firefox под себя настраивался, расширениями обвешивался, или так в заводском состоянии и с умолчательными настройками и используется?

Все верно спасибо, я как то совсем про єто забыл

А по теме. Если не затруднит.
Как научить этот скрипт корректно сохранять? Как если что избавляться от ошибок? Где и какие настройки wget смотреть?

Пару изменений, которые нужно внести, я привёл выше (вместе с номерами строк).

Остаётся wget. Его настройки можно задавать в файле .wgetrc и/или командной строке. Я лично wget-том пользуюсь регулярно, поэтому у меня всё давно в .wgetrc вписано. Но и из скрипта он запускается не просто так, а с определёнными параметрами, поэтому технически проще дополнить сам скрипт.

Строка 863:

'wget --no-check-certificate -q -O '||target||' -U "'||UserAgent||'" --referer="'||referer||'" "'||url||'"'

Это 3 изменения, которые потребовались, чтобы нормально выкачать и пережевать приведённую в качестве примера страничку с sexnod.com.
Будут другие проблемные примеры - будем смотреть.

yup Ок сегодня попробую по Вашим советам сделать. Отпишусь.

зы в общем чем ближе я знакомлюсь с пк и *nix, тем больше понимаю смысл философии "юнис вэй". От простоты к совершенству. Но это простота, на самом деле очень сложна как по мне, так как все приходится кодить руками. Без кодерских навыков в стране *nix никак.

Очевидно, никто не проспонсировал это - ни кодом, ни деньгами.

yup
Спасибо все работает без ошибок А можно еще что бы ссылки реальные сохранялись?

Можно, конечно. Вопрос только, куда сохранять. Можно вставлять ссылку перед текстом, можно после текста. В заголовке файла вообще специальный тип поля есть для этого - правда, как и всё в заголовке, оно для пользователя невидимо, поэтому мышкой по нему не щёлкнуть для перехода.
(Я лично предпочитаю делать ссылкой на оригинал название текста. Но делаю это вручную, так как определение того, что является названием текста, не всегда возможно программно.)

А как самому научиться этой магии?
Я так понимаю Вы программист?

Шел 2017 год, а до сих пор не умеет сохранять "изкаробки" в MHTML

ps расширения костыли вроде maff и unmht не работают с e10s & webexstentions

Видимо, никому не нужно, кроме двух жалобщиков на форуме. Иначе за 15 лет точно бы появилось.

https://bugzilla.mozilla.org/show_bug.cgi?id=115107
CSS not fixed up by webbrowserpersist ("save page as, complete" omits background images)
Reported: 16 years ago
CC: 140 people
Duplicates:
116660, 120859, 126307, 128843, 133725, 157708, 187590, 206401, 221532, 224801, 226925, 245799, 251815, 254306, 255838, 268810, 273218, 274163, 294976, 298819, 299394, 305438, 305630, 308489, 322817, 328588, 332899, 349114, 358709, 364036, 369282, 371419, 376597, 393054, 396042, 396276, 409200, 421711, 434480, 451109, 467906, 474424, 508591, 519084, 526823, 530801, 592642, 659230, 852007, 1232103, 1326669, 1328204

https://bugzilla.mozilla.org/show_bug.cgi?id=126309
save page does not save @import -ed CSS
Reported: 16 years ago
CC: 96 people
Duplicates:
162108, 202737, 223406, 224586, 225009, 235791, 236069, 237106, 252392, 263600, 267662, 271626, 273091, 278895, 281478, 287525, 294724, 297180, 309632, 309737, 314665, 321349, 326131, 337114, 343627, 355366, 370152, 388565, 398839, 428046, 431605, 498472, 524301, 1106261

https://bugzilla.mozilla.org/show_bug.cgi?id=115328
Save As Web Page Complete saves both scripts and output from scripts, resulting in duplicated content
Reported: 16 years ago
CC: 33 people
Duplicates:
118792, 137784, 148614, 154902, 179490, 182546, 218416, 274745, 283622, 299752, 305437, 364711, 395875, 499909, 506469

И это только то, что нашлось за пять минут.
А ответ на самом деле «слишком сложно, мы не будем».

31-05-2017 17:28:51
https://bugzilla.mozilla.org/show_bug.cgi?id=40873
Save as rfc 2557 MHTML; complete webpage in one file
Reported: 17 years ago
CC: 132 people
Duplicates:
95090, 131544, 141650, 162549, 209613, 214382, 224709, 231697, 241661, 242280, 244343, 276552, 285569, 290938, 304372, 342615, 1101467

Начать с того, что взять хороший учебник (годов 70-х). Правда, в нашем случае ситуация усугубляется тем, что учебников понадобится больше одного: не только по программированию, но и по HTML, а HTML - это уже не ранее середины 90-х, то есть времени, к которому нормальные пособия вывелись как класс.

Хуже, намного хуже. Но и это в том числе.

Но в данном случае я не предлагал учиться и делать самому (хотя это и неплохо было бы освоить). Мне там "возни" меньше чем на 5 минут, и я просто спросил Ваше пожелание, куда вставлять ссылку (поскольку прямо тут, на форуме, видел самые разные предпочтения).

Надо же... Даже представить не мог, что эта проблема настолько древняя. Считал, что она - из разряда "нововведений".

Держите нас в курсе, человек с UA

01-06-2017 00:06:58

Боюсь что на это не хватит одной жизни
И даже если все изучив, где гарантии что я не захочу написать свою ОС или браузер

Вы себе льстите, нет ничего хуже быть престарелым эникейщиком(я про себя)

На то, чтобы прочитать и понять пару-тройку хорошо написанных книжек страниц по 150?

Когда-то давно, когда я был учеником 6 класса, на то, чтобы научиться писать программы на Фортране, у меня ушло примерно полгода. Причём это время было потрачено на:
- Чтение 1 книги по схемотехнике семейства микросхем K580 и программированию процессора К580ИК80 (ассемблер) - конец 5-го класса и летние каникулы.
- "Игрища" с программируемым калькулятором Б3-21 - вторая половина каникул.
- 4 или 5 школьных уроков по Фортрану - начало сентября.

Чаще всего так и случается. Но, к сожалению, ещё чаще порядок оказывается обратный: пишут ОС или браузер и только в процессе этого осваивают какие-то азы. Поэтому и получаем на выходе - Windows, Linux, Firefox...

Так всё же: где талию делать будем куда ссылку вставить (из предложенного набора вариантов)?

Может я не так понял. Я хотел бы что бы при наведении на ссылку, была не локальная, а реальная ссылка из инета

Именно об этом я и спрашиваю. Как и куда вставить исходный адрес: в виде ссылки в начале страницы, в виде ссылки в конце страницы, сделать ссылкой название текста (чаще всего оно на странице есть)?

Не пойму. Что бы было как на файлах сохраненных при помощи ctr+s
например
http://i.imgur.com/8rZ3gyK.png
http://i.imgur.com/EDy1MOJ.gif

2yup А еще такое. Вы не в курсе? Я слышал про PHP скрипт который автоматом умеет собирать связку ctr+s=html+folder в zip архив. На сколько сложно такое сделать?

А, я понял, о чём речь - преобразовывать ссылки, которые в оригинале на сайте вписаны относительными.
У автора программы было это в планах на будущее, но так и осталось не реализованным.
Навскидку, там это довольно просто, но сделать надо аккуратно, чтобы ничего при этом не сломать.
В воскресенье займусь. (До того надо ещё пару программ наваять, которые на мне уже давно висят в состоянии "долг".)

Если имеется в виду "паковать в .zip то, что сохранено по Ctrl-S", то без всяких скриптов это:

zip -r "%%~n1.zip" "%%~1" "%%~1_files"

А если "вместо Ctrl-S", то можно, например, взять UniPage.cmd и переписать на PHP. Смысла особого в этом деянии нет. Разве что если задаться целью избавиться от wget. (PHP изначально создан для работы с сайтами, поэтому позволяет открывать и читать файлы с них так же легко, как с локального диска. А с другой стороны - и для REXX есть дополнительные библиотеки (.DLL), позволяющие работать с web-сайтами напрямую, не привлекая сторонние программы.)

да

а как в венде сделать? Смысл такой, есть папка с кучей хтмлок+папки к ними, нужно зазипить по отдельности эти сохраненные странички

А это и есть исключительно и только для Windows. С ошибками, правда, ибо писал с уже выключающейся головой и не проверяя. Правильно и универсально будет так:

%~d1
cd %~p1
zip -9 -r "%~n1.zip" "%~nx1" "%~n1_files"

Качаем архив ftp://ftp.info-zip.org/pub/infozip/win32/zip300xn.zip и извлекаем из него файл zip.exe. Этот файл надо поместить в каталог, прописанный в PATH (например, в \Windows или \Windows\system32), или наоборот - прописать в PATH тот каталог, куда zip.exe помещён.
Потом в одном каталоге с zip.exe создаём .bat-файл с указанным выше содержимым. (Условно назовём этот файл ZipPage.bat)
А дальше либо через командную строку заходим в каталог, где лежит подлежащая паковке страничка page.html, и запускаем:

ZipPage page.html

либо перетаскиваем мышкой page.html на ZipPage.bat или на его ярлык.

==========
Если не обязательно в .zip, а можно и в .rar, то последняя строчка файла заменяется на:

rar a /m5 /s /r "%~n1.rar" "%~nx1" "%~n1_files"

(консольный rar.exe обычно находится в одном каталоге с WinRAR, и его тоже надо в PATH переместить)

==========
Хотя можно и собственно WinRAR использовать:

"C:\Program Files\WinRAR\winrar" a /m5 /s /r "%~n1.rar" "%~nx1" "%~n1_files"

==========
И даже .zip с его помощью делать:

"C:\Program Files\WinRAR\winrar" a /m5 /r "%~n1.zip" "%~nx1" "%~n1_files"

==========
Если захочется, чтобы файлы и каталоги после архивации удалялись, то у zip в начале добавить параметр -m, а у rar (WinRAR) команду a заменить на m

Спасибо, но я и руками так могу делать через контекстное меню. Меня интересовало можно ли пакетом сразу несколько сохраненных страничек превратить в отдельные зипы?

Вот типа такого, тут нашел.
http://forum.wincmd.ru/viewtopic.php?p=109336#109336
Думал, что может можно проще было бы такое реализовать?

Запросто. Например:

for %t in (*) do ZipPage %t

- упакует в отдельные (индивидуальные) архивчики все странички, которые найдутся в том каталоге, где эта команда запущена. (Если записыватьэто в .bat, то вместо %t нужно писать %%t. Вместо маски * можно использовать что-то вроде *.htm?, но странички с разными расширениями сохраняются - бывают и .php, и .asp, и ещё всякое разное... На такой случай в скобках можно через запятую перечислить всё желаемое.)

не получается

h:\ScrapbookZIP\test_zip>zippage Little Online Notebook.htm

h:\ScrapbookZIP\test_zip>h:

h:\ScrapbookZIP\test_zip>cd \ScrapbookZIP\test_zip\

h:\ScrapbookZIP\test_zip>zip -9 -r "Little.zip" "Little" "Little_files"
        zip warning: name not matched: Little
        zip warning: name not matched: Little_files

zip error: Nothing to do! (try: zip -9 -r Little.zip . -i Little Little_files)

а куда это пихать?
for %t in (*) do ZipPage %t

UPD
в общем заработало, если вместо пробелов поставить "_"
а как сделать что бы распознавало пробелы?

UPD2
только не говорите что нужен скрипт для замены пробелов

Потому что при наличии пробелов в имени файла надо писать так:

h:\ScrapbookZIP\test_zip>zippage "Little Online Notebook.htm"

В таком (с одиночными символами %) варианте - в командную строку. Если взять для примера каталог, упомянутый выше:

h:\ScrapbookZIP\test_zip>for %t in (*) do ZipPage %t

Скрипт не нужен. Кавычки нужны.

В общем наверное работает. Но эти все способы для тех кто шарит в кодинге. Если что сам допилит, исправит.
Мне бы хотелось чего-то проще, типо mhtml "изкаробки", интересно почему во всех браузерах оно есть, а в лисе нет, права\патенты?
В идеале я бы хотел увидеть расширение типа Scrapbook с сохранением в mhtml.

2yup
Спасибо за помощь!

вот еще нашел, wget с ключом "-P", просто сохраняет одну страничку, если бы после сохранения оно еще и зипилось

1. Вот усовершенствованный UniPage, сохраняющий возможность перехода по относительным ссылкам: http://rgho.st/7p7TMNQsB

2.

Вообще-то "-P" указывает каталог, в который нужно сохранять выкачиваемые файлы. А "сохранить просто одну страничку" - это действие wget по умолчанию (т.е., когда не заданы параметры, требующие от него чего-то большего).

Спасибо yup
Тут же решил проверить на первом попавшимся сайте. И тут же после скачивания не открывает.
Вот пример
http://elmir.ua/?id=62j4.6gs1.6lvj.6lvp … ype=107620

Не сохраняет
unipage

Microsoft Windows [Version 6.1.7601]
(c) Корпорация Майкрософт (Microsoft Corp.), 2009. Все права защищены.

i:\Torrents4\unipage\new\unipage>regina unipage.cmd https://habrahabr.ru/post/331450/

UniPage v0.4, working on 20170630 from: i:\Torrents4\unipage\new\unipage
-----------------------------------------------------------
Processing file https://habrahabr.ru/post/331450/
-----------------------------------------------------------
Retrieving: "https://habrahabr.ru/post/331450/"
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = c:\Program Files (x86)\GnuWin32/etc/wgetrc
Error: "https://habrahabr.ru/post/331450/" could not be retrieved.
Done, 0.66s.

i:\Torrents4\unipage\new\unipage>regina unipage.cmd  "https://habrahabr.ru/post/331450/"

UniPage v0.4, working on 20170630 from: i:\Torrents4\unipage\new\unipage
-----------------------------------------------------------
Processing file https://habrahabr.ru/post/331450/
-----------------------------------------------------------
Retrieving: "https://habrahabr.ru/post/331450/"
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = c:\Program Files (x86)\GnuWin32/etc/wgetrc
Error: "https://habrahabr.ru/post/331450/" could not be retrieved.
Done, 0.62s.

i:\Torrents4\unipage\new\unipage>

wget -p

PS так же не сохраняет по ctr+S

А я говорил ранее, что для скачивания по HTTPS wget-у надо задавать дополнительный параметр "no-check-certificate".
Кстати, я на днях скачал версию wget, которая, как сейчас оказалось, этого параметра уже не требует.

А по предыдущей проблеме с elmir - все нормальные ссылки там абсолютные, переходы по ним должны сохраняться. Есть ещё куча ссылок, задающихся через Javascript, но посмотреть, что происходит с ними, пока не удаётся - сохранённый файл открывается безумно долго, обстоятельства пока ни разу не позволили дождаться момента, когда это произойдёт.

ок, а почему как на 52 так на 54 перестало сохранять по ctr+s у меня на двух компах не сохраняет? все ок

вот
http://imgur.com/a/Hb7Mv

Наверное, потому, что на страницах форума есть ссылки на счётчики Яндекса (и, возможно, и других страшных бабаек), которые законопослушному украинскому провайдеру велено бояться до усрачки.
А Хром и Опера, скорее всего, работают через прокси. Или они по-другому реагируют на заблокированные ссылки.

В хроме и опера не установлены прокси
в uBlock uMatrix пытался добавить заблокированные сайты все ровно не сохраняет
хотя да, очень похоже на то что не сохраняет из-за блокировок российских сайтов

UPD
в поставил vpn стало сохранять. Спасибо за подсказку!
А можно ли uBlock или uMatrix настроить что бы сохраняло без vpn?

Режим "Турбо" и его аналоги (неправильно называемые "VPN") - это тоже работа через прокси.

Не знаю - я ими не пользуюсь. По идее, uMatrix должен был помочь - настройкой запрета загружать с Яндекса скрипты и картинки (скрипт - https://mc.yandex.ru/metrika/watch.js, картинки берутся из каталога https://mc.yandex.ru/watch/).

Да. Но не пользуюсь. Хром и Опера держу только на случай вот таких непоняток.

так вроде и делал, но похоже при сохранении тянет с сервера, а не с кэша, и uMatrix не помогает

UPD
Ура!
Добавил в фильтры uBlock этот url и список заблокированных сайтов из этого же url и перезапустил фокс - теперь сохраняет
https://gist.github.com/tptshk/234ef0aa … ublock-txt

Хм, опять перестало сохранять, фильтры теже

Могу посоветовать в отладчике на вкладке "Сеть" смотреть, откуда не приходит запрошенный файл.

yup Спасибо, посмотрю если опять заглючит
Странным образом пока опять сохраняет.
Может потому что добавил этот фильтр https://github.com/hant0508/uBlock-fillters и список забаненых url привел в порядок дописал https://

А может всё наоборот - не сохраняет из-за работы блокировщика? Комбинация "VPN + отключение блокировщика" проверялась?

ну так с ВПН и блокировщик не нужен, все сохраняет
а если без ВПН то только с блокировщиком сохраняет

зы да и сайты где есть элементы забаненых сайтов теперь гораздо резвее открываются с донастроенным блокировщиком

блин, проверяю на мозиллараша - сохраняет, пытаюсь сохранить хабр - не сохраняет, только через впн

Как интересно... Я на mozilla-russia.org (не forum.mozilla-russia.org, а именно mozilla-russia.org) и зайти-то могу только через VPN или SOCKS.

В общем хз, если полностью через uMatrix отключать скрипты то все сохраняется как с uBlock так и без.

А вот эта например страничка упорно не хочет сохранятся даже если все отключить
https://geektimes.ru/company/devline/blog/290829/

Там повисают в ожидании ответа запросы на vk.com, top-fwz1.mail.ru и mediator.imgsmail.ru. Последний адрес, как я понимаю, "со двора" mail.ru.
При работе через прокси страничка сохраняется за секунды.

yup То есть все дело в элементах забаненых сайтов? И без прокси никак не сохранить?

Эксперименты показывают, что да.

Можно и без прокси:
Берём список доменов, из-за недоступности которых не удаётся нормально сохранить страничку, и в файле hosts назначаем этим доменам адрес 127.0.0.1.
Например, для той Хабровской странички это будет:

127.0.0.1 mc.yandex.ru mail.ru top-fwz1.mail.ru mediator.imgsmail.ru vk.com

После этого хоть Firefox и рисует метку, что сохранение не удалось, но на самом деле страничка шустренько сохраняется.

Вот здесь можно взять готовый блок для hosts:

Но проще проблему решать с помощью прокси (например, TOR) и файла proxy.pac, в который прописываются только домены верхнего уровня - их всего-то два десятка.

В общем вопрос все еще открыт "Как и во что сохранять удобнее, проще, эффективнее?"

зы кстати по поводу не сохранения из-за элементов забаненых сайтов, заметил если нажать после того как сайт не сохранился на кружочек со стрелочкой рядом с закачкой(повторить закачку) то со второго раза все сохранятся

нашел еще такую штуку https://wkhtmltopdf.org/, но как то кривовато сохраняет, вот это например без яваскрипт картинок сохраняет(вверху баннер "интересное")

wkhtmltopdf --no-outline --page-size A4 --orientation landscape --viewport-size 1000x1000 --page-height 300 --page-width 400 http://riotpixels.com/ rp.pdf

https://ru.scribd.com/document/354636343/rp
и потом еще вопрос, как искать по содержимому текста в нескольких пдфах?

Существует огромное количество драйверов виртуальных принтеров, сохраняющих "печатаемое" в PDF. Или нужно именно из командной строки?

"Расширенный поиск" в Adobe Reader можно запустить по всем PDF выбранного каталога и его подкаталогов.

все єто огромное количество очень криво сохраняет, думал найти что то открытое и гибкое, то что я нашел вроде подходит но не сохраняет часть картинок
идеальнее всех сохраняет Акробат ПРО, но он проприетарный

спасибо надо будет попробовать, но хотелось бы искать из венды или тотала так же

Ну-у нет, есть очень правильно работающие.

How to search inside PDFs with Windows Search?

Это какие например. Я знаю только Акробат ПРО, остальное хуже сохраняет.

Например, Ghostscript в связке со штатным для Windows адобовским драйвером PS-принтера.
Creating a Virtual Postscript Printer in Windows using Ghostscript - привязка к конкретному принтеру в этой инструкции весьма условна, можно использовать любой другой устраивающий или даже "запилить самодельный" через PPD.

Спасибо, но как это поможет если при выводе на печать мы видим такой ужас?
http://i.imgur.com/1L8ICGY.png

А нельзя через WGET что бы все корректно сохранялось? На примере многострадального riotpixels.com Какие я только настройки не пробовал, все ровно криво сохраняет.

Нельзя. Там динамическая страничка: большая часть того, что видит её посетитель, загружается не из тегов HTML, а скриптами. (Сразу при открытии из Javascript идёт почти сотня запросов на подгрузку разных файлов, и потом ещё периодически подгружаются всё новые и новые). WGet загружает только то, на что имеются ссылки в тегах. Чтобы разгрести Javascript - нужно быть браузером. Да и то, как мы знаем, Firefox умудряется сохранить на диск не всё из того, что в данный момент показывает.

А как же божественный MHTML так идеально сохраняет?
http://rgho.st/6F22k2YqB

зы боже, как теперь скачать с этого дебильного хостинга? Это ж ппц просто, "время ожидания истекло"

1. MHTML не сохраняет. Потом что это не программа, а формат файла. Сохраняет таки браузер.
2. Выложенный файл у меня Internet Explorer 8 открыть не смог - крутил колёсико ожидания до бесконечности. Хотя сам сайт показывает без существенных дефектов.

ну эт ясно. Я к тому как это умеют

не нужно если есть

В общем мне порядком надоели єти танцы с бубном вокруг Хотя я на с 2005 Этот год будет решающим для меня. И думаю, что я мигрирую все таки на
Так как это "кидалово" с e10s+webextentions мне не подходит. Мне пришлось отказаться от моих любимых дополнений которыми пользовался не один год, а это Scrapbook, UnMHT, MAFF, все они не работают с e10s+webextentions а вменяемых замен нет.

А pdf не ?  Print pages to PDF (из мазилла-магазина его убрали по упоротым соображениям , что dll и бинарники в расширениях - это плохо)
The add-on does its job without sending any content over the internet; all processing is done locally, so privacy is guaranteed. Print pages to PDF uses the open source library wkhtmltopdf, with all its power and limitations.
Отлично сохраняет.

mokujin
попробовал, не сохраняет. На любой странице "prepearing 100%" и крутится кружок до бесконечности

все оно сохраняет. яхз. и в PM и в FF (>52) плуг отлчино сохраняет в pdf любые страницы. Хоть текст, хоть картинки, хоть ролики там будут.
смотри свои плугины, смотри консоль, какие ошибки, почему.

mokujin
не знаю. Чистый Палемун. Создал новый профиль отключил плуги те что дефолтные(ява, флеш) - не сохраняет - мурыжыт на Prepearing

вот правда, незнаю. Уже давненько стоит и работает в PМ и в FF. такое было у мя тоже, на каком-то обновлении PM, тоже так тормозился и висел. В консоли ошибки , что-то там про файлы, или не те параметры передавались или не те имена ф-ций(связано было с изменениями в PM) но его вскоре выложили у себя, исправив. И с тех пор уже с пол-года пользуюсь.
Смотри консоль ошибок и ищи что\где\почему.

можешь взять UnMHT - тоже отличный плуг, тоже сохраняет без проблемм и в PM и FF UnMHT for Firefox
тот же MozArchiver Add-ons - MozArchiver | Pale Moon

и есть еще куча сервисов, кнопок(даже тут) , навалом способов разных.

зы. Все твои "неработает" тупо связаны с Win10  скорей всего    так шо тут увы... перелез на это чучело - терпи.

Print pages to PDF что под 10, что под 7, не работает только что проверил
UnMHT и MAFF закрываются в ноябре с выходом 57

.. я тебе у же сказал , из под W7 оно работает и в PM и в FF

а тебе чего? зачем тебе 57 ?   зачем тебе дев..версия FF , если ты не программер?
зачем тебе W10  - если ты не мазохист    (а мож да, хехех....)

зачем ты сам себе создаёшь проблеммы, которые ты , в приципе , не способен решить, а?  яхз.

Все эти расширения, кнопки, сервисы и библиотеки(wkhtml) писали люди наааааааааамного более шарящие в предмете чем ты и я. За это Я им очень благодарен, не треплюсь попусту, стараюсь  разобраться и применить как оно задумано. Ими задумано. Им спасибо, кодерам, хакерам. И оно работает.

Удачи, в молочных реках + кисельных берегахъ твоих грёз. уж извини.

28-07-2017 02:07:03
Кнопку Зделать хорошо_и_красиво_всегда_и_везде - еще пока не создали, хотя запросов мноооооооожество , да.
нету.

еще раз для тех кто в танке - с ноября 2017 с выходом 57 MAFF+UnMHT+Scrapbook(и много других) перестанут работать и разрабатываться

вообще все девайсы и их ОС это в большей или меньшей степени мазохизм. Смотря с чем сравнивать. 10 по сравнению с Линупс совсем не мазохизм.

вот как раз из современных браузеров такое и стараются во всю сделать их разработчики в угоду моде, а я лишь хочу поддержки mhtml в

дык, я те так и сказал... а ты оказалось танкист

чем тебе , на твой совершенно простой вкус не нравиццо 52 или даже 45 (ESR) ? В них всё работаел и очень хорошо. кардинальных изменений в WEB-e не случилось и долго еще не случится.

подох уже, ты этого не видишь. ну желай, хоти.  А лучше - беги 

и фантазий.

вот только нагуглил расширение 57+, сохраняет страничку в один хтмл файл, еще не тестил но работает не на всех сайтах
Save Page WE

зы похоже что использует для сохранения Base64 кодирование

UPD
а вот этот 57+ аддон умеет хорошо сохранять в PDF
PDF Mage

Смешно. Просто один из применров:
В полноценная поддержка flexbox'ов есть только с 54-ой версии - http://caniuse.com/#feat=flexbox || https://image.prntscr.com/image/0PyNfXH … o1whwQ.png
обновляется автоматически (никого не спрашивая). Поддержка flexbox'ов у есть аж с марта 2016-ог. Многие разрабы перешли на флексы. Изменения в WEB-e случаются ежесекундно, особенно во фронтэнде. На своих устаревших браузерах, скоро ты неизбежно будешь сталкиваться с поплывшей вёрсткой и с глюками похлеще.

и что это такое?? где его можно пощупать     Очередная невиданная хрень , типа овалов, звуковых дорожек в видосиках и прочий изврат?

С этим я могу столкнуться, только в случае если дизигнеры-однодневки и их наставники из "корпораций_бобра" , начнут намеренно мне вредить, игнорирую по UA и другим способом; специально давая кривые стили и скрипты - вынуждая делать выбор: или отказаться от ихнего сайта\услуги или менять бравзер на одобренный_кошеrный.

Поплывшая вёрстка из-за вполне нестарой версии браузера это такое фи, что такой сайт я даже видеть брезгую. Если разработчик уважает пользователей, то он сто раз подумает, прежде чем оставить большой кусок аудитории с перекошенным дизом. Есть масса фиксов и хитростей, чтобы этого избежать. Кто их не использует по неважно какой причине, тот в принципе не веб-строитель, а так, фигулька на подтанцульках и пусть сам свою поделку пользует.

Меня беспокоит не поехавший диз, а безопасность. Ну и вообще, какой-то грустный выбор получается: либо ты сидишь с мегаудобным ScrapBook и упёршейся в тупик, необновляемой версией любимого браузера, либо обновляешь браузер и начинаешь понимать, что любовь, таки, зла. В общем, я бы тоже хотела найти альтернативу ScrapBook, без него прям никак. Чтоб и страницы адекватно сохранял и навигацию по ним организовывал.

Сохранил страничку с большим количеством картинок. Картинок внутри не оказалось. Полез в настройки, проставил галочки на всё, что вообще возможно, сохранять, мол, всё-всё-всё. Картинки в файле сохранились, судя по тому, что файл раздуло на четыре мегабайта (предыдущий вариант был в триста кил, а maff этой странички весит два мегабайта). Так вот, картинки в файле сохранились, но я на всякий случай проверил в оффлайне: не отображаются. В онлайне отображаются, но подгружаются с сайта. *censored*

Не люблю PDF как явление, за то, что его открыть можно только в одном из неудобных и тормозных pdf-просмотрщиков, а также за статичность, но похоже, на ближайшее будущее это единственный вменяемый вариант сохранить страницу в один файл.
Не-не! Полная хрень! Во-первых, сохраняет ЧЕРЕЗ СТОРОННИЙ СЕРВИС! Блин, это вообще за гранью добра и зла! Сохранить себе страницу на локальный диск через сторонний сервис. А во-вторых, тоже далеко не всё сохраняет. Ту самую страницу с кучей картинок, о которой написал выше, сохранило без картинок в шести(уже шести-, почти семи-)-мегабайтный файл. Тогда как maff, повторюсь, сохраняет её в два мегабайта и нет никаких проблем как с отображением, так и с тем, чтобы открыть страницу архиватором и полистать отдельно картинки.

Блин, неужели мозилловцы, потерявшие за последние годы солидный кусок аудитории, не боятся растерять её остатки с этими экспериментами?

Полгода спустя. Похоже, в квантуме единственный способ нормально сохранять страницу в single-файл — WebScrapbook. В maff или htz.
При том, что функционала веб-органайзера Scrapbook нет и не будет.
Save Page WE не работает.

Wave
На некоторых страницах наоборот, работает Save Page WE, а WebScrapbook нет. Я их оба держу.

Расскажите что такого незаменимого было в старом Scrapbook. Никак не могу понять.

07-06-2018 17:52:02
К слову. На странице Save Page WE есть инструкция как много файлов mht перевести в maff несколькими кликами, а потом их можно открыть в WebScrapbook. Я для открытия maff использую Chromium потому что там в настройках дополнений можно разрешить доступ к файловой системе. Для Firefox чтобы открыть файл нужно извращаться со скриптами на Python и возможно локальным сервером, тут инструкция.

Ну ёлы-палы, блин! Старый скрапбук — это веб-органайзер. А новый — это только сохранение страниц.
Вот представьте, вы вернулись на двадцать лет. Ещё нет гугла, да и инет медленный и дорогой, чтобы каждый раз асталавистить или яхуить нужную страницу. Приходится пользоваться закладками. И вдруг вам дают браузер, не имеющий механизма закладок.  И вам приходится их отдельно в текстовом файле хранить и организовывать. Вас это устроит? Достаточно наглядно показывает, почему без скрапбука мне жизнь не мила?

Остаётся только материться. Т.е. предполагается, что я сохранил страницу, и мне тут же нужно смотреть, как она сохранилась, и если что, пересохранять другим аддоном. Квантум — дно пробито!
Не говоря уже о том, что теперь я не могу открывать maff-файлы одним нажатием, мне сначала нужно запустить квантум, в нём кликнуть на «посмотреть maff», а туда уже перетащить нужный файл драг-н-дропом.
А, ну да, спасибо за инструкцию. Можно и с меньшими усилиями открывать, но предварительно питон поставив. Кстати, по этой же схеме, т.е. ректально, теперь работают и аддоны типа старого it'salltext. Старый был удобнейшим, пара новых аналогов требуют вот эти вот межсерверные взаимодействия, так что проще тупо копи-пастить текстовые области.

Понятно возмущение, что Scrapbook стал по сути UnMHT. Но при этом сохранил старое название. Но вот меню старого Scrapbook с его хранением файлов в профиле да еще в распакованно виде мне не нравилось и плюсов по сравнению с обычным хранением .mht или .maff файлов в структуре каталогов я не видел. К тому же в Total Commander (или krusader в kde) я могу просто переключиться в древовидный режим каталогов и по сути будет то что в старой боковой панели.

WebExtensions дополнения могут общаться с софтом через запрос-ответ. Только эту программу предварительно нужно написать. Вот оно: Native messaging. Питон в данном случае выбрали потому что на нем быстрее всего было сляпать скрипт. Можно было и обойтись программой в пару кило байт.

В теории. Не знаю точно как сейчас хранится кэш Firefox. Но если он изолирован по сайтам, то поддержку mht можно реализовать такой отдельной маленькой программой, которая просто находила бы текущий кэш и паковало бы его в mht (zip по сути).

Но сама по себе проблема сохранения страницы целиком глубже. Современные сайты построены на js. В теории возможно, что один и тот же url с одними и теми же параметрами может вернуть разные данные в зависимости от времени между запросами и положения звезд на небе вообще. А чтобы контент сайта не воровали туда могли еще и случайную строку добавлять к каждому url. Сервер знает как с ними обращаться, а вот браузер при загрузке такой сохраненной страницы - нет.
Короче говоря. Всегда есть вариант при котором страницу сохранить невозможно. И уже не важно XUL это дополнение или нет.
С ростом популярности js фреймворков количество страниц, которые нельзя будет сохранить будет расти. А если популярность наберет какой-то плагин-обфускатор запросов по url, то сохранить нельзя будет вообще ничего. Разве что делать что-то вроде uBlock Origin (adBlock) с подписками в которых будет приходить алгоритм для обхода таких плагинов. Но это по настоящему адская работа, обходить такие проверки.

Вот такое печальное будущее. То что сейчас большинство страниц можно сохранить даже с помощью Web Scrapbook это скорее остатки старых веб технологий. И они со временем исчезнут.
Нужно искать какой-то другой способ. Или привыкать хранить страницу в картинке png.

Самая суть.

Есть всякие мелкие удобства, исходящие из того, что скрапбук интегрирован в браузер. Есть дополнительные функции типа редактирования  сохранённых страниц (с maff это не прокатит — сначала распакуй, потом чем-то отредактируй, потом запакуй). Можно сохранять отдельные фрагменты страниц. Есть поиск (maff — искать, отметив галочку «поиск в архивах», да и вообще…). В одном из форков скрапбука есть теги, хотя лично я пользуюсь не этим форком. И так далее. Есть всякие мелкие паттерны использования, для каждого пользователя персональные, однако отбери которые — человеку плохо. В конце концов, есть тот факт, что у меня в скрапбуке  скопилось больше тысячи сохранённых страниц. Да, далеко не все они мне нужны, но ведь не секрет, что на определённом софте людей чаще всего держат данные, с которыми люди только в этом софте могут работать.

В старом скрапбуке этой проблемы нет от слова совсем. Там что на экране видишь, ровно в том самом виде сохранится. Включая заполненные, но пока не отправленные формы (я регистрируясь в некоторых местах, сохранял уже заполненные формы регистрации, это  было проще и удобней, чем куда-то отдельно выписывать, что на таком-то сайте логин такой-то, пароль такой-то, резервный мыл такой-то, секретный вопрос такой, ответ на него такой, заполнялось это такого-то числа и так далее).

А случайно нет ли такой проблемы, что программу пользователь должен запускать заранее вручную (или, например, вешать в виде службы)? Потому что немного злит, что кроме браузера надо запустить ещё что-нибудь. Есть такое расширение it'salltext. Оно по хоткею или всплывающей кнопке сохраняло редактируемую форму в файл и открывало этот файл в любом потребном текстовом  редакторе. Я мог закрыть браузер, закрыть редактор с этим файлом и вернуться к редактированию позже. Вообще что угодно мог творить. А потом сохранял этот файл и voila! Конечно, это не особо нужно, когда просто трындишь на форуме, но вот когда приходится с большими статьями работать — незаменимо. В квантуме вместо этого появилась пара расширений, работающая по принципу этого вот messaging. Т.е. мне нужно поставить emacs (свят-свят-свят, я vim как следует не освоил, куда emacs), поставить в него плугин для этого вот аддона, запустить emacs и тогда уже частично функционал it'salltext воспроизведётся. Частично. Оказалось проще копипастить текст вручную. Ну не суки ли?

Page Hacker дополнение и подобные

Прокатит с программой-компаньоном

По степени реализации не отличается от обычного сохранения все страницы, вопрос в том чтобы автор дополнения захотел и имел время

Реализуемо с программой-компаньоном

Реализуемо с программой-компаньоном. По сути это просто поиск в архиве с дополнительным поиском паттернов с тегами

Вот поэтому мне и не нравится формат старый scrapbook с хранением в распакованном виде. Вот я недавно свой архив в сотни mht в maff перевел через дополнение MAFF только потому что не хранил все в профиле)))

Потому что большинство популярных сайтов на старых технологиях. Переход на новые может растянуться на годы, но он будет точно) Это я вам как веб макака говорю

Нет. Для Windows это просто установочный exe который пропишет службу в автозагрузку
Для ubuntu это deb пакет с той же функцией
Утилиты поиска по архивам свободны, архиваторы бесплатны и могут идти в комплекте в качестве библиотек или зависимостей

Дайте же ссылку на эту программу-компаньона!
P.s. да не html-теги, а странице назначен тег или несколько и по этим тегам их можно увидеть.

Ещё раз: старый скрапбук сохраняет страницу в том самом виде, в котором её видит пользователь. Страница не перезапрашивается, не перерисовывается, поэтому пофигу, что весь её фронт сгенерирован динамически джыэсом, а весь бэк динамически же пыхом.

Учитывая предыдущую фразу-ошибку, провоцируете.

А Виктория Александровна что, не Вика?
— И что, помимо браузера нужно держать ещё что-то запущенное — вручную или резидентно?
— Да не, служба сама поставится.

А вообще, это всё разговоры в пользу бедных…

Ее нету, я изучил API и вижу что там доступно, а что нет. Вот и говорю, что написать возможно.

Теги можно хранить внутри html код страницы, в meta теге например. При поиске по архиву читать их и показывать только те страницы у которых такие теги имеют определенный текст.

У вас неправильное представление о том как современный js фреймворки формируют фронт. Загружается маленький кусочек js, который затем может подгружать json и внутри себя на ходу создавать html элементы через js. Кроме данных он может подгружать и другие кусочки js, которые делают то же самое, но с другой логикой. Вот эти ссылки по которым js загружает данные могут формироваться динамически или иметь непредсказуемое поведение, по желанию разработчика.
Только вы откроете страницу, он полезет к себе на сервер за данными, сам, чтобы обновить. А у вас интернета нет. Вот он очистит вам весь DOM и напишет что соединения с интернетом нет. И это самый банальный пример. Выше я упомнил, что возможны всякого рода обфускации ссылок чтобы предотвратить воровство контент.

Ознакомьтесь хотя бы с последней версией фреймворка Angular, все станет понятно.

Ошибки нет.

Я не спорю, что API бедное. Просто многие функции можно реализовать, только переписывать их придется с нуля, а не просто переносить старые.

Ну так а смысл говорить? Вот когда будет, тогда и будем посмотреть.

Да ё…! Никто никуда не лезет. Открываете страницу, подгружаются все ресурсы и данные, отрисовывается всё что надо, жмёте сохранить в скрапбуке, И ПОЛУЧИВШИЙСЯ, Ё…, DOM СКРАПБУК И СОХРАНЯЕТ. Всё, больше не нужен инет. Смотрите сохранённое в оффлайне. Никакой DOM не очищается, нечем, он статически записан. Ни за чем никто в инет не стучится, некому стучаться, нет скриптов. Я сам веб-макака, к тому же сохранил скрапбуком многие тысячи страниц, в том числе всякие типа фейсбука, рабочих кабинетов банкингов, почтовых ящиков и облачных дисков от гугла до мыл.ру и прочего насквозь-насквозь динамического, зависящего от авторизации к тому же. Не верите — поставьте любой фаерфокс 52-56 (да хоть и более ранний) и скрапбук и попробуйте сами. Или пришлите мне ссылку «вот это старый скрапбук не может сохранить». Вы мне сугубо теоретически рассказываете, что в принципе не работает то, что на самом деле проверено практикой.

Я же почему и сокрушаюсь. Новый скрапбук не только разучился быть органайзером сохранённого контента, он и сохранять-то разучился, если я правильно вас понял.

P.s. Кроме того, по инету я хожу с µBlock+NoScript и сохраняю страницы и точно так же их вижу в виде «без рекламы». Причём, даже могу в другом браузере сохранённое открыть, в котором не установлено баннерорезалки, и тоже без рекламы будет.

Так, возникло недопонимание из-за общение текстом. Я верю, что старый Scrapbook лучше. Я писал не о том, что Web Scrapbook сохраняет все также как и старый Scrapbook. Я не отрицаю, что он сохраняет хуже, разработчику пришлось переписать его с нуля и он еще не закончил. Вы сами понимаете, что это недели кодинга, который не приносит дохода.
Я писал о том, что в будущем процесс сохранения усложнится. И в теории может усложниться настолько, что ни старый, ни новый Scrapbook, ни UnMHT не смогут нормально сохранять страницы с ресурсами.

Как без скриптов смотреть спойлеры, которые на 99% сайтов?

11-06-2018 17:43:41

Ну как же нет смысла? Тут обсуждение возможности сохранения. Могло получится так, что дополнение с подобным функционалом не возможно написать в принципе. Но не получилось, и сейчас это возможно. На что я указал.

вижу спойлеры тут, на рутрекере,на хабре и еще нескольких нужных мне сайтах. без скриптов. чяднт?

Значит написал user.js под сайт, который при загрузке страницы автоматически раскрывает спойлеры.
Где бы откопать такой скрипт для ЖЖ.

Greasemonkey

Нету смысла, ибо ты несёшь околесицу.. бессмыслицу. В твоих рассуждениях логикой вообще не пахнет. Есть загруженная , построенная страница, её вот так и надо сохранить, как есть. То, что фуррифокс упорот с детства и каждую ошибку не отбрасывает, а тупо прерывает всю операцию сохранения(отказывая вообще) - это таааааААААаааакая детская болезнь, что даже не смешно.  То, что там завелись кодеры подобные тебе, с такими вот познаниями и взглядами на интронэты, это печаль-беда: страница вроде есть, но её кагбе нет(сохранить невозможно)  

... ага, масло_подорожало
Ты уже передал все что нужно, все токены\ключи и получил всё нужное и бравзер все построил - теперь просто это все, как есть сбрось на диск. Не-а, низзя!

Бравзер построил страницу(с ошибками есс-но, без ошибкок щас страниц довольно мало, по той же причине - рукожопые новаторы) и показал. Теперь все это нужно сохранить как есть и пох. должно быть чего-куда-откуда не отвечает, ты основное сохраняй из кэша подтягивай... но нет, надо прервать операцию и вообще нихрена не сохранить. А-Акигол

зы. чем растекаццо подобными измышлизмами, ужеб давным-давно задела кнопку грузящую норм. версию FF(45ESR или др.) со Scrapbook, туда передавать страницу и сохраняй там себе библиотеку.  Этот обмылок 57+ долго еще будет обмылком... если вообще выживет.

Замечание множественное п. 2.3
Sergeys

достаточно стиля

Вот тут засада, их приходится все разворачивать перед тем, как сохранять в старом скрапбуке.

Эмоционально, но по сути верно.

Не работает.

Когда-то пробовал стилем, с ЖЖ не проходит.
Возможно, не хватает знаний.

С жж стилем не пройдёт.

А если без event click не показываются какие-то данные, таблицы, почты, логины и т.д., еще одна засада?
Допустим, скачать надо два уровня (саму эту страницу и ссылки, расположенные на этой странице, а каждой из них для expand требуется этот click)

thrower, можно подумать, вы теперь можете сохранять сразу страницу и по одному-два уровня ссылок со страницы. Там изначально речь шла о том, чтобы сохранить то, что пользователь перед собой видит, в таком виде, как пользователь перед собой видит, и чтобы это можно было посмотреть в оффлайне. Раньше это работало, теперь нет.

самые мочные : Offline Explorer Pro или TeleportPro ибо бравзер тоже не знает что там под спойлером, пока ты его не откроешь. В своё время , помню, за это воевали чтоб ввели как стандарт: чтоб содержимое спойлера не грузилось\не строилось, ибо траффик. (Меня поправят ежли я где-то обшибся ибо не кодер, но помню именно как-то так). Так что их просто надо открыть кнопкой\скриптом перед сохранением.

ну , могу предложить упоротый вариант - но работает... вроде   Для CB (в Код):

openSpoilersLJ();
// пробовал у Светоча тут https://lev-sharansky2.livejournal.com/595.html#comments  раскрывает всех.
function openSpoilersLJ() {
  var sb = content.document.getElementsByTagName('A');
  for (var i = 0; i < sb.length; i++){
   if (sb[i].hasAttribute("onclick")) {
     sb[i].click();
}}};

11-06-2018 22:21:17

Точно так.

Пользуюсь периодически обоими. И помню, были у меня проблемы с отображением страниц из-за этих js, листенеров...

Проверил на 55: действительно, раскрыл все спойлеры.
А как сконвертить в user.js правильно, а то на 60 я не устанавливал СВ. Изменить строку sb[i].click();?

Wave, я WE-шным не пользовался.
А для себя знаю, что в некоторых случаях безотказно работает только способ "заскринить в пнг".

Ну, как-то так, наверно будет в скрипте для GM (хотя мне такое не нравиццо. По-хорошему, надоб добавлять кнопку на страницу LJ с этим кодом и по жмаканию шобы открывалось. Там такие простыни бывают, что бравзер подвисает с этим скриптом, открывая и пролистывая этовсё.)

// ==UserScript==
// @name        LiveJournal open comments spoiler
// @namespace   comments
// @icon          http://www.livejournal.com/favicon.ico
// @icon64      http://www.livejournal.com/favicon.ico
// @include     http*.livejournal.com/*
// @run-at      document-start
// @grant       none
// ==/UserScript==

 (function() {

   function openSpoilersLJ() {
          var sb = document.getElementsByTagName('A');
        for (var i = 0; i < sb.length; i++){
              if (sb[i].hasAttribute("onclick")) {  // по хорошему надо добавить еще проверку значения начиналось с ...  onclick = "ExpanderEx" но яхз
                   sb[i].click();
                  }
        }
   };

       window.addEventListener("DOMContentLoaded",openSpoilersLJ, false);
 })();

mokujin
Спасибо, юзерскрипт работает.

Уважаемые спецЫ,
есть страница PayPal с покупками и продажами.
Надо создать 2 документа: Покупки и Продажи отдельно и запомнить в HTML/PDF.
Для этого надо на ней удалить продажи/покупки.
Подскажите, как это сделать?
В частности, на другом форуме советуют сделать это при помощи приложения Page Hacker
Кто с ним работал, как и что там надо делать? Спасибо

Почему ФФ при открытии MHTML начинает открывать бесконечно большое число вкладок с данным документом? Можно исправить?

Как может — так и открывает.  Этот формат незнаком и чужд в принципе. Он же не опера-престо и не IE.
Странно что открывает вообще хоть как-то.

Ну... Установить версии <57 и выкопать в интернетах дополнения «Mozilla Archive Format» или «UnMHT».
На современных версиях работать не будут, и ЕМНИП дополнений для современных версий нет и быть не может.

проще открывать IE )