Способы сохранения и хранения Вэб конетента

12 · №26

yup
Спасибо все работает без ошибок :beer: А можно еще что бы ссылки реальные сохранялись?

Отредактировано 12 (26-05-2017 23:43:56)

yup · №27

12 пишет

А можно еще что бы ссылки реальные сохранялись?

Можно, конечно. Вопрос только, куда сохранять. Можно вставлять ссылку перед текстом, можно после текста. В заголовке файла вообще специальный тип поля есть для этого - правда, как и всё в заголовке, оно для пользователя невидимо, поэтому мышкой по нему не щёлкнуть для перехода.
(Я лично предпочитаю делать ссылкой на оригинал название текста. Но делаю это вручную, так как определение того, что является названием текста, не всегда возможно программно.)

12 · №28

yup пишет

Можно, конечно.

А как самому научиться этой магии?
Я так понимаю Вы программист?

Отредактировано 12 (27-05-2017 15:49:25)

12 · №29

Шел 2017 год, а [firefox] до сих пор не умеет сохранять "изкаробки" в MHTML

ps ~~расширения~~ костыли вроде maff и unmht не работают с e10s & webexstentions

Отредактировано 12 (31-05-2017 13:16:54)

sentaus · №30

а до сих пор не умеет сохранять "изкаробки" в MHTML

Видимо, никому не нужно, кроме двух жалобщиков на форуме. Иначе за 15 лет точно бы появилось.

Infocatcher · №31

sentaus пишет

Видимо, никому не нужно, кроме двух жалобщиков на форуме. Иначе за 15 лет точно бы появилось.

https://bugzilla.mozilla.org/show_bug.cgi?id=115107
CSS not fixed up by webbrowserpersist ("save page as, complete" omits background images)
Reported: 16 years ago
CC: 140 people
Duplicates:
116660, 120859, 126307, 128843, 133725, 157708, 187590, 206401, 221532, 224801, 226925, 245799, 251815, 254306, 255838, 268810, 273218, 274163, 294976, 298819, 299394, 305438, 305630, 308489, 322817, 328588, 332899, 349114, 358709, 364036, 369282, 371419, 376597, 393054, 396042, 396276, 409200, 421711, 434480, 451109, 467906, 474424, 508591, 519084, 526823, 530801, 592642, 659230, 852007, 1232103, 1326669, 1328204

https://bugzilla.mozilla.org/show_bug.cgi?id=126309
save page does not save @import -ed CSS
Reported: 16 years ago
CC: 96 people
Duplicates:
162108, 202737, 223406, 224586, 225009, 235791, 236069, 237106, 252392, 263600, 267662, 271626, 273091, 278895, 281478, 287525, 294724, 297180, 309632, 309737, 314665, 321349, 326131, 337114, 343627, 355366, 370152, 388565, 398839, 428046, 431605, 498472, 524301, 1106261

https://bugzilla.mozilla.org/show_bug.cgi?id=115328
Save As Web Page Complete saves both scripts and output from scripts, resulting in duplicated content
Reported: 16 years ago
CC: 33 people
Duplicates:
118792, 137784, 148614, 154902, 179490, 182546, 218416, 274745, 283622, 299752, 305437, 364711, 395875, 499909, 506469

И это только то, что нашлось за пять минут.
А ответ на самом деле «слишком сложно, мы не будем».

Добавлено 31-05-2017 17:28:51
https://bugzilla.mozilla.org/show_bug.cgi?id=40873
Save as rfc 2557 MHTML; complete webpage in one file
Reported: 17 years ago
CC: 132 people
Duplicates:
95090, 131544, 141650, 162549, 209613, 214382, 224709, 231697, 241661, 242280, 244343, 276552, 285569, 290938, 304372, 342615, 1101467

Отредактировано Infocatcher (31-05-2017 17:28:51)

yup · №32

12 пишет

А как самому научиться этой магии?

Начать с того, что взять хороший учебник (годов 70-х). Правда, в нашем случае ситуация усугубляется тем, что учебников понадобится больше одного: не только по программированию, но и по HTML, а HTML - это уже не ранее середины 90-х, то есть времени, к которому нормальные пособия вывелись как класс.

12 пишет

Я так понимаю Вы программист?

Хуже, намного хуже. Но и это в том числе.

Но в данном случае я не предлагал учиться и делать самому (хотя это и неплохо было бы освоить). Мне там "возни" меньше чем на 5 минут, и я просто спросил Ваше пожелание, куда вставлять ссылку (поскольку прямо тут, на форуме, видел самые разные предпочтения).

Infocatcher пишет

CSS not fixed up by webbrowserpersist ("save page as, complete" omits background images)
Reported: 16 years ago

Надо же... Даже представить не мог, что эта проблема настолько древняя. Считал, что она - из разряда "нововведений".

Отредактировано yup (01-06-2017 00:00:16)

12 · №33

sentaus пишет

Видимо, никому не нужно, кроме двух жалобщиков на форуме. Иначе за 15 лет точно бы появилось.

Держите нас в курсе, человек с UA [chrome]

Добавлено 01-06-2017 00:06:58

yup пишет

Начать с того, что взять хороший учебник (годов 70-х). Правда, в нашем случае ситуация усугубляется тем, что учебников понадобится больше одного: не только по программированию, но и по HTML, а HTML - это уже не ранее середины 90-х, то есть времени, к которому нормальные пособия вывелись как класс.

Боюсь что на это не хватит одной жизни
И даже если все изучив, где гарантии что я не захочу написать свою ОС или браузер

yup пишет

Хуже, намного хуже. Но и это в том числе.
Но в данном случае я не предлагал учиться и делать самому (хотя это и неплохо было бы освоить). Мне там "возни" меньше чем на 5 минут, и я просто спросил Ваше пожелание, куда вставлять ссылку (поскольку прямо тут, на форуме, видел самые разные предпочтения).

Вы себе льстите, нет ничего хуже быть престарелым эникейщиком :lol: (я про себя)

Отредактировано 12 (01-06-2017 00:06:58)

yup · №34

12 пишет

Боюсь что на это не хватит одной жизни

На то, чтобы прочитать и понять пару-тройку хорошо написанных книжек страниц по 150?

Когда-то давно, когда я был учеником 6 класса, на то, чтобы научиться писать программы на Фортране, у меня ушло примерно полгода. Причём это время было потрачено на:
- Чтение 1 книги по схемотехнике семейства микросхем K580 и программированию процессора К580ИК80 (ассемблер) - конец 5-го класса и летние каникулы.
- "Игрища" с программируемым калькулятором Б3-21 - вторая половина каникул.
- 4 или 5 школьных уроков по Фортрану - начало сентября.

12 пишет

И даже если все изучив, где гарантии что я не захочу написать свою ОС или браузер

Чаще всего так и случается. Но, к сожалению, ещё чаще порядок оказывается обратный: пишут ОС или браузер и только в процессе этого осваивают какие-то азы. Поэтому и получаем на выходе - Windows, Linux, Firefox...

12 пишет

нет ничего хуже быть престарелым эникейщиком

Так всё же: ~~где талию делать будем~~ куда ссылку вставить (из предложенного набора вариантов)?

12 · №35

yup пишет

Так всё же: где талию делать будем куда ссылку вставить (из предложенного набора вариантов)?

Может я не так понял. Я хотел бы что бы при наведении на ссылку, была не локальная, а реальная ссылка из инета

yup · №36

12 пишет

Я хотел бы что бы при наведении на ссылку, была не локальная, а реальная ссылка из инета

Именно об этом я и спрашиваю. Как и куда вставить исходный адрес: в виде ссылки в начале страницы, в виде ссылки в конце страницы, сделать ссылкой название текста (чаще всего оно на странице есть)?

12 · №37

Не пойму. Что бы было как на файлах сохраненных при помощи ctr+s
например
http://i.imgur.com/8rZ3gyK.png
http://i.imgur.com/EDy1MOJ.gif

Отредактировано 12 (01-06-2017 03:35:05)

12 · №38

2yup А еще такое. Вы не в курсе? Я слышал про PHP скрипт который автоматом умеет собирать связку ctr+s=html+folder в zip архив. На сколько сложно такое сделать?

yup · №39

12 пишет

Что бы было как на файлах сохраненных при помощи ctr+s

А, я понял, о чём речь - преобразовывать ссылки, которые в оригинале на сайте вписаны относительными.
У автора программы было это в планах на будущее, но так и осталось не реализованным.
Навскидку, там это довольно просто, но сделать надо аккуратно, чтобы ничего при этом не сломать.
В воскресенье займусь. (До того надо ещё пару программ наваять, которые на мне уже давно висят в состоянии "долг".)

12 пишет

Я слышал про PHP скрипт который автоматом умеет собирать связку ctr+s=html+folder в zip архив. На сколько сложно такое сделать?

Если имеется в виду "паковать в .zip то, что сохранено по Ctrl-S", то без всяких скриптов это:

Выделить код

Код:

zip -r "%%~n1.zip" "%%~1" "%%~1_files"

А если "вместо Ctrl-S", то можно, например, взять UniPage.cmd и переписать на PHP. Смысла особого в этом деянии нет. Разве что если задаться целью избавиться от wget. (PHP изначально создан для работы с сайтами, поэтому позволяет открывать и читать файлы с них так же легко, как с локального диска. А с другой стороны - и для REXX есть дополнительные библиотеки (.DLL), позволяющие работать с web-сайтами напрямую, не привлекая сторонние программы.)

Отредактировано yup (02-06-2017 00:00:20)

12 · №40

yup пишет

А, я понял, о чём речь - преобразовывать ссылки, которые в оригинале на сайте вписаны относительными.

да

yup пишет

zip -r "%%~n1.zip" "%%~1" "%%~1_files"

а как в венде сделать? Смысл такой, есть папка с кучей хтмлок+папки к ними, нужно зазипить по отдельности эти сохраненные странички

yup · №41

12 пишет

а как в венде сделать?

А это и есть исключительно и только для Windows. С ошибками, правда, ибо писал с уже выключающейся головой и не проверяя. Правильно и универсально будет так:

Выделить код

Код:

%~d1
cd %~p1
zip -9 -r "%~n1.zip" "%~nx1" "%~n1_files"

Качаем архив ftp://ftp.info-zip.org/pub/infozip/win32/zip300xn.zip и извлекаем из него файл zip.exe. Этот файл надо поместить в каталог, прописанный в PATH (например, в \Windows или \Windows\system32), или наоборот - прописать в PATH тот каталог, куда zip.exe помещён.
Потом в одном каталоге с zip.exe создаём .bat-файл с указанным выше содержимым. (Условно назовём этот файл ZipPage.bat)
А дальше либо через командную строку заходим в каталог, где лежит подлежащая паковке страничка page.html, и запускаем:

Выделить код

Код:

ZipPage page.html

либо перетаскиваем мышкой page.html на ZipPage.bat или на его ярлык.

==========
Если не обязательно в .zip, а можно и в .rar, то последняя строчка файла заменяется на:

Выделить код

Код:

rar a /m5 /s /r "%~n1.rar" "%~nx1" "%~n1_files"

(консольный rar.exe обычно находится в одном каталоге с WinRAR, и его тоже надо в PATH переместить)

==========
Хотя можно и собственно WinRAR использовать:

Выделить код

Код:

"C:\Program Files\WinRAR\winrar" a /m5 /s /r "%~n1.rar" "%~nx1" "%~n1_files"

==========
И даже .zip с его помощью делать:

Выделить код

Код:

"C:\Program Files\WinRAR\winrar" a /m5 /r "%~n1.zip" "%~nx1" "%~n1_files"

==========
Если захочется, чтобы файлы и каталоги после архивации удалялись, то у zip в начале добавить параметр -m, а у rar (WinRAR) команду a заменить на m

Отредактировано yup (02-06-2017 14:57:08)

12 · №42

Спасибо, но я и руками так могу делать через контекстное меню. Меня интересовало можно ли пакетом сразу несколько сохраненных страничек превратить в отдельные зипы?

Вот типа такого, тут нашел.
http://forum.wincmd.ru/viewtopic.php?p=109336#109336
Думал, что может можно проще было бы такое реализовать?

Отредактировано 12 (03-06-2017 00:36:56)

yup · №43

12 пишет

Меня интересовало можно ли пакетом сразу несколько сохраненных страничек превратить в отдельные зипы?

Запросто. Например:

Выделить код

Код:

for %t in (*) do ZipPage %t

- упакует в отдельные (индивидуальные) архивчики все странички, которые найдутся в том каталоге, где эта команда запущена. (Если записыватьэто в .bat, то вместо %t нужно писать %%t. Вместо маски * можно использовать что-то вроде *.htm?, но странички с разными расширениями сохраняются - бывают и .php, и .asp, и ещё всякое разное... На такой случай в скобках можно через запятую перечислить всё желаемое.)

Отредактировано yup (03-06-2017 01:26:24)

12 · №44

не получается

Выделить код

Код:

h:\ScrapbookZIP\test_zip>zippage Little Online Notebook.htm

h:\ScrapbookZIP\test_zip>h:

h:\ScrapbookZIP\test_zip>cd \ScrapbookZIP\test_zip\

h:\ScrapbookZIP\test_zip>zip -9 -r "Little.zip" "Little" "Little_files"
        zip warning: name not matched: Little
        zip warning: name not matched: Little_files

zip error: Nothing to do! (try: zip -9 -r Little.zip . -i Little Little_files)

а куда это пихать?
for %t in (*) do ZipPage %t

UPD
в общем заработало, если вместо пробелов поставить "_"
а как сделать что бы распознавало пробелы?

UPD2
только не говорите что нужен скрипт для замены пробелов

Отредактировано 12 (03-06-2017 03:02:31)

yup · №45

12 пишет

не получается
Выделить код
Код:
h:\ScrapbookZIP\test_zip>zippage Little Online Notebook.htm

Потому что при наличии пробелов в имени файла надо писать так:

Выделить код

Код:

h:\ScrapbookZIP\test_zip>zippage "Little Online Notebook.htm"

12 пишет

а куда это пихать?
for %t in (*) do ZipPage %t

В таком (с одиночными символами %) варианте - в командную строку. Если взять для примера каталог, упомянутый выше:

Выделить код

Код:

h:\ScrapbookZIP\test_zip>for %t in (*) do ZipPage %t

12 пишет

только не говорите что нужен скрипт для замены пробелов

Скрипт не нужен. Кавычки нужны.

12 · №46

В общем наверное работает. Но эти все способы для тех кто шарит в кодинге. Если что сам допилит, исправит.
Мне бы хотелось чего-то проще, типо mhtml "изкаробки", интересно почему во всех браузерах оно есть, а в лисе нет, права\патенты?
В идеале я бы хотел увидеть расширение типа Scrapbook с сохранением в mhtml.

12 · №47

2yup
Спасибо за помощь!

вот еще нашел, wget с ключом "-P", просто сохраняет одну страничку, если бы после сохранения оно еще и зипилось

yup · №48

1. Вот усовершенствованный UniPage, сохраняющий возможность перехода по относительным ссылкам: http://rgho.st/7p7TMNQsB

2.

12 пишет

wget с ключом "-P", просто сохраняет одну страничку

Вообще-то "-P" указывает каталог, в который нужно сохранять выкачиваемые файлы. А "сохранить просто одну страничку" - это действие wget по умолчанию (т.е., когда не заданы параметры, требующие от него чего-то большего).

12 · №49

Спасибо yup
Тут же решил проверить на первом попавшимся сайте. И тут же после скачивания не открывает.
Вот пример
http://elmir.ua/?id=62j4.6gs1.6lvj.6lvp … ype=107620

Отредактировано 12 (29-06-2017 01:15:18)

12 · №50

Не сохраняет
unipage

Выделить код

Код:

Microsoft Windows [Version 6.1.7601]
(c) Корпорация Майкрософт (Microsoft Corp.), 2009. Все права защищены.

i:\Torrents4\unipage\new\unipage>regina unipage.cmd https://habrahabr.ru/post/331450/

UniPage v0.4, working on 20170630 from: i:\Torrents4\unipage\new\unipage
-----------------------------------------------------------
Processing file https://habrahabr.ru/post/331450/
-----------------------------------------------------------
Retrieving: "https://habrahabr.ru/post/331450/"
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = c:\Program Files (x86)\GnuWin32/etc/wgetrc
Error: "https://habrahabr.ru/post/331450/" could not be retrieved.
Done, 0.66s.

i:\Torrents4\unipage\new\unipage>regina unipage.cmd  "https://habrahabr.ru/post/331450/"

UniPage v0.4, working on 20170630 from: i:\Torrents4\unipage\new\unipage
-----------------------------------------------------------
Processing file https://habrahabr.ru/post/331450/
-----------------------------------------------------------
Retrieving: "https://habrahabr.ru/post/331450/"
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = c:\Program Files (x86)\GnuWin32/etc/wgetrc
Error: "https://habrahabr.ru/post/331450/" could not be retrieved.
Done, 0.62s.

i:\Torrents4\unipage\new\unipage>

wget -p

Microsoft Windows [Version 6.1.7601]
(c) Корпорация Майкрософт (Microsoft Corp.), 2009. Все права защищены.
i:\Torrents4\wget-1.11.4-1-bin\bin>wget -p https://habrahabr.ru/post/331450/
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = i:\Torrents4\wget-1.11.4-1-bin/etc/wgetrc
--2017-06-30 04:25:51-- https://habrahabr.ru/post/331450/
Распознаётся habrahabr.ru... 178.248.237.68
Устанавливается соединение с habrahabr.ru|178.248.237.68|:443... соединение установлено.
ОШИБКА: невозможно проверить сертификат habrahabr.ru, запрошенный `/C=GB/ST=Greater Manchester/L=Salford/O=COMODO CA Limited/CN=COMODO RSA Domain Validation Secure Server CA':
Невозможно локально проверить подлинность запрашивающего.
ОШИБКА: Общее название сертификата `habrastorage.org' не совпадает с именем запрошенного хоста `habrahabr.ru'.
Чтобы небезопасно подключиться к habrahabr.ru, используйте `--no-check-certificate'.
Невозможно установить соединение SSL.
i:\Torrents4\wget-1.11.4-1-bin\bin>

PS так же не сохраняет по ctr+S

Отредактировано 12 (30-06-2017 04:31:31)

Полезная информация

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Код:

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Код:

Код:

Код:

Код:

Код:

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Код:

Re: Способы сохранения и хранения Вэб конетента

Код:

Re: Способы сохранения и хранения Вэб конетента

Код:

Код:

Код:

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Re: Способы сохранения и хранения Вэб конетента

Код:

Board footer