Полезная информация

Общайтесь со знакомыми и друзьями в нашей группе в Контакте.

№10111-06-2018 15:44:01

cisux
Участник
 
Группа: Members
Зарегистрирован: 16-05-2018
Сообщений: 22
UA: Firefox 60.0

Re: Способы сохранения и хранения Вэб конетента

Wave пишет

Дайте же ссылку на эту программу-компаньона!

Ее нету, я изучил API и вижу что там доступно, а что нет. Вот и говорю, что написать возможно.

Wave пишет

P.s. да не html-теги, а странице назначен тег или несколько и по этим тегам их можно увидеть.

Теги можно хранить внутри html код страницы, в meta теге например. При поиске по архиву читать их и показывать только те страницы у которых такие теги имеют определенный текст.

Wave пишет

Ещё раз: старый скрапбук сохраняет страницу в том самом виде, в котором её видит пользователь. Страница не перезапрашивается, не перерисовывается, поэтому пофигу, что весь её фронт сгенерирован динамически джыэсом, а весь бэк динамически же пыхом.

У вас неправильное представление о том как современный js фреймворки формируют фронт. Загружается маленький кусочек js, который затем может подгружать json и внутри себя на ходу создавать html элементы через js. Кроме данных он может подгружать и другие кусочки js, которые делают то же самое, но с другой логикой. Вот эти ссылки по которым js загружает данные могут формироваться динамически или иметь непредсказуемое поведение, по желанию разработчика.
Только вы откроете страницу, он полезет к себе на сервер за данными, сам, чтобы обновить. А у вас интернета нет. Вот он очистит вам весь DOM и напишет что соединения с интернетом нет. И это самый банальный пример. Выше я упомнил, что возможны всякого рода обфускации ссылок чтобы предотвратить воровство контент.

Ознакомьтесь хотя бы с последней версией фреймворка Angular, все станет понятно.

Wave пишет

Учитывая предыдущую фразу-ошибку, провоцируете.

Ошибки нет.

Wave пишет

А вообще, это всё разговоры в пользу бедных…

Я не спорю, что API бедное. Просто многие функции можно реализовать, только переписывать их придется с нуля, а не просто переносить старые.

Отредактировано cisux (11-06-2018 15:48:45)

Отсутствует

 

№10211-06-2018 16:40:20

Wave
Участник
 
Группа: Members
Зарегистрирован: 27-09-2007
Сообщений: 498
UA: Firefox 52.0

Re: Способы сохранения и хранения Вэб конетента

cisux пишет

Ее нету, я изучил API и вижу что там доступно, а что нет.

Ну так а смысл говорить? Вот когда будет, тогда и будем посмотреть.

cisux пишет

У вас неправильное представление о том как современный js фреймворки формируют фронт. Загружается маленький кусочек js, который затем может подгружать json и внутри себя на ходу создавать html элементы через js. Кроме данных он может подгружать и другие кусочки js, которые делают то же самое, но с другой логикой. Вот эти ссылки по которым js загружает данные могут формироваться динамически или иметь непредсказуемое поведение, по желанию разработчика.
Только вы откроете страницу, он полезет к себе на сервер за данными, сам, чтобы обновить. А у вас интернета нет. Вот он очистит вам весь DOM и напишет что соединения с интернетом нет. И это самый банальный пример. Выше я упомнил, что возможны всякого рода обфускации ссылок чтобы предотвратить воровство контент.

Да ё…! Никто никуда не лезет. Открываете страницу, подгружаются все ресурсы и данные, отрисовывается всё что надо, жмёте сохранить в скрапбуке, И ПОЛУЧИВШИЙСЯ, Ё…, DOM СКРАПБУК И СОХРАНЯЕТ. Всё, больше не нужен инет. Смотрите сохранённое в оффлайне. Никакой DOM не очищается, нечем, он статически записан. Ни за чем никто в инет не стучится, некому стучаться, нет скриптов. Я сам веб-макака, к тому же сохранил скрапбуком многие тысячи страниц, в том числе всякие типа фейсбука, рабочих кабинетов банкингов, почтовых ящиков и облачных дисков от гугла до мыл.ру и прочего насквозь-насквозь динамического, зависящего от авторизации к тому же. Не верите — поставьте любой фаерфокс 52-56 (да хоть и более ранний) и скрапбук и попробуйте сами. Или пришлите мне ссылку «вот это старый скрапбук не может сохранить». Вы мне сугубо теоретически рассказываете, что в принципе не работает то, что на самом деле проверено практикой.

Я же почему и сокрушаюсь. Новый скрапбук не только разучился быть органайзером сохранённого контента, он и сохранять-то разучился, если я правильно вас понял.

P.s. Кроме того, по инету я хожу с µBlock+NoScript и сохраняю страницы и точно так же их вижу в виде «без рекламы». Причём, даже могу в другом браузере сохранённое открыть, в котором не установлено баннерорезалки, и тоже без рекламы будет.

Отредактировано Wave (11-06-2018 17:10:55)

Отсутствует

 

№10311-06-2018 17:41:46

cisux
Участник
 
Группа: Members
Зарегистрирован: 16-05-2018
Сообщений: 22
UA: Firefox 60.0

Re: Способы сохранения и хранения Вэб конетента

Wave пишет

нет скриптов.

Так, возникло недопонимание из-за общение текстом. Я верю, что старый Scrapbook лучше. Я писал не о том, что Web Scrapbook сохраняет все также как и старый Scrapbook. Я не отрицаю, что он сохраняет хуже, разработчику пришлось переписать его с нуля и он еще не закончил. Вы сами понимаете, что это недели кодинга, который не приносит дохода.
Я писал о том, что в будущем процесс сохранения усложнится. И в теории может усложниться настолько, что ни старый, ни новый Scrapbook, ни UnMHT не смогут нормально сохранять страницы с ресурсами.

Wave пишет

нет скриптов

Как без скриптов смотреть спойлеры, которые на 99% сайтов?

Добавлено 11-06-2018 17:43:41

cisux пишет

Ну так а смысл говорить? Вот когда будет, тогда и будем посмотреть.

Ну как же нет смысла? Тут обсуждение возможности сохранения. Могло получится так, что дополнение с подобным функционалом не возможно написать в принципе. Но не получилось, и сейчас это возможно. На что я указал.

Отредактировано cisux (11-06-2018 17:43:41)

Отсутствует

 

№10411-06-2018 17:57:12

okkamas_knife
We are the Borg.       Resistance is futile.
 
Группа: Members
Зарегистрирован: 21-10-2009
Сообщений: 9558
UA: Seamonkey 2.14

Re: Способы сохранения и хранения Вэб конетента

cisux пишет: Как без скриптов смотреть спойлеры, которые на 99% сайтов?

вижу спойлеры тут, на рутрекере,на хабре и еще нескольких нужных мне сайтах. без скриптов. чяднт?


я помню те времена когда обновления программ убирали проблемы и исправляли баги, а не добавляли их.
toxID:05AB9B827D896AACEE7FF4573A02FB8F025F46ADC856B98F65BC1BA9BD21A81DC98BA9C36CE3

Отсутствует

 

№10511-06-2018 18:18:44

thrower
Участник
 
Группа: Members
Зарегистрирован: 28-11-2013
Сообщений: 207
UA: Firefox 60.0

Re: Способы сохранения и хранения Вэб конетента

okkamas_knife пишет

вижу спойлеры тут, на рутрекере,на хабре и еще нескольких нужных мне сайтах. без скриптов. чяднт?

Значит написал user.js под сайт, который при загрузке страницы автоматически раскрывает спойлеры.
Где бы откопать такой скрипт для ЖЖ.

Отсутствует

 

№10611-06-2018 18:57:21

mokujin
Участник
 
Группа: Members
Зарегистрирован: 17-02-2017
Сообщений: 505
UA: Firefox 52.0

Re: Способы сохранения и хранения Вэб конетента

thrower пишет

Где бы откопать такой скрипт для ЖЖ.

Greasemonkey

cisux пишет

Ну как же нет смысла? Тут обсуждение возможности сохранения. Могло получится так, что дополнение с подобным функционалом не возможно написать в принципе. Но не получилось, и сейчас это возможно. На что я указал.

Нету смысла, ибо ты несёшь околесицу.. бессмыслицу. В твоих рассуждениях логикой вообще не пахнет. Есть загруженная , построенная страница, её вот так и надо сохранить, как есть. То, что фуррифокс упорот с детства и каждую ошибку не отбрасывает, а тупо прерывает всю операцию сохранения(отказывая вообще) - это таааааААААаааакая детская болезнь, что даже не смешно.  То, что там завелись кодеры подобные тебе, с такими вот познаниями и взглядами на интронэты, это печаль-беда: страница вроде есть, но её кагбе нет(сохранить невозможно) a27cbae4c26b71b6e7e537cd8cb16ebc.gif 

cisux пишет

Я писал о том, что в будущем процесс сохранения усложнится. И в теории может усложниться настолько, что ни старый, ни новый Scrapbook, ни UnMHT не смогут нормально сохранять страницы с ресурсами.

... ага, масло_подорожало
Ты уже передал все что нужно, все токены\ключи и получил всё нужное и бравзер все построил - теперь просто это все, как есть сбрось на диск. Не-а, низзя!

Бравзер построил страницу(с ошибками есс-но, без ошибкок щас страниц довольно мало, по той же причине - рукожопые новаторы) и показал. Теперь все это нужно сохранить как есть и пох. должно быть чего-куда-откуда не отвечает, ты основное сохраняй из кэша подтягивай... но нет, надо прервать операцию и вообще нихрена не сохранить. А-Акигол

зы. чем растекаццо подобными измышлизмами, ужеб давным-давно задела кнопку грузящую норм. версию FF(45ESR или др.) со Scrapbook, туда передавать страницу и сохраняй там себе библиотеку.  Этот обмылок 57+ долго еще будет обмылком... если вообще выживет.

Замечание множественное п. 2.3
Sergeys

Отредактировано mokujin (11-06-2018 19:02:55)


...программисты словно войну какую-то ведут за свои обновления. Блин, почему сейчас повсюду мания ухудшать интерфейсы и делать их максимально неудобными?! Radiation

Отсутствует

 

№10711-06-2018 19:12:01

okkamas_knife
We are the Borg.       Resistance is futile.
 
Группа: Members
Зарегистрирован: 21-10-2009
Сообщений: 9558
UA: Seamonkey 2.14

Re: Способы сохранения и хранения Вэб конетента

thrower пишет: Значит написал user.js под сайт, который при загрузке страницы автоматически раскрывает спойлеры.

достаточно стиля


я помню те времена когда обновления программ убирали проблемы и исправляли баги, а не добавляли их.
toxID:05AB9B827D896AACEE7FF4573A02FB8F025F46ADC856B98F65BC1BA9BD21A81DC98BA9C36CE3

Отсутствует

 

№10811-06-2018 20:33:57

Wave
Участник
 
Группа: Members
Зарегистрирован: 27-09-2007
Сообщений: 498
UA: Firefox 52.0

Re: Способы сохранения и хранения Вэб конетента

cisux пишет

Как без скриптов смотреть спойлеры, которые на 99% сайтов?

Вот тут засада, их приходится все разворачивать перед тем, как сохранять в старом скрапбуке.

mokujin пишет

Ты уже передал все что нужно, все токены\ключи и получил всё нужное и бравзер все построил - теперь просто это все, как есть сбрось на диск. Не-а, низзя!

Бравзер построил страницу(с ошибками есс-но, без ошибкок щас страниц довольно мало, по той же причине - рукожопые новаторы) и показал. Теперь все это нужно сохранить как есть и пох. должно быть чего-куда-откуда не отвечает, ты основное сохраняй из кэша подтягивай... но нет, надо прервать операцию и вообще нихрена не сохранить.

Эмоционально, но по сути верно.

Отсутствует

 

№10911-06-2018 20:39:51

thrower
Участник
 
Группа: Members
Зарегистрирован: 28-11-2013
Сообщений: 207
UA: Firefox 60.0

Re: Способы сохранения и хранения Вэб конетента

mokujin пишет

Greasemonkey

Не работает.

okkamas_knife пишет

достаточно стиля

Когда-то пробовал стилем, с ЖЖ не проходит.
Возможно, не хватает знаний.

Отсутствует

 

№11011-06-2018 20:48:40

Wave
Участник
 
Группа: Members
Зарегистрирован: 27-09-2007
Сообщений: 498
UA: Firefox 52.0

Re: Способы сохранения и хранения Вэб конетента

С жж стилем не пройдёт.

Отсутствует

 

№11111-06-2018 21:08:29

thrower
Участник
 
Группа: Members
Зарегистрирован: 28-11-2013
Сообщений: 207
UA: Firefox 60.0

Re: Способы сохранения и хранения Вэб конетента

Wave пишет

Вот тут засада, их приходится все разворачивать перед тем, как сохранять в старом скрапбуке.

А если без event click не показываются какие-то данные, таблицы, почты, логины и т.д., еще одна засада?
Допустим, скачать надо два уровня (саму эту страницу и ссылки, расположенные на этой странице, а каждой из них для expand требуется этот click)

Отредактировано thrower (11-06-2018 21:10:02)

Отсутствует

 

№11211-06-2018 21:44:15

Wave
Участник
 
Группа: Members
Зарегистрирован: 27-09-2007
Сообщений: 498
UA: Firefox 52.0

Re: Способы сохранения и хранения Вэб конетента

thrower, можно подумать, вы теперь можете сохранять сразу страницу и по одному-два уровня ссылок со страницы. Там изначально речь шла о том, чтобы сохранить то, что пользователь перед собой видит, в таком виде, как пользователь перед собой видит, и чтобы это можно было посмотреть в оффлайне. Раньше это работало, теперь нет.

Отсутствует

 

№11311-06-2018 22:14:18

mokujin
Участник
 
Группа: Members
Зарегистрирован: 17-02-2017
Сообщений: 505
UA: Firefox 52.0

Re: Способы сохранения и хранения Вэб конетента

thrower пишет

Допустим, скачать надо два уровня (саму эту страницу и ссылки, расположенные на этой странице, а каждой из них для expand требуется этот click)

самые мочные : Offline Explorer Pro или TeleportPro ибо бравзер тоже не знает что там под спойлером, пока ты его не откроешь. В своё время , помню, за это воевали чтоб ввели как стандарт: чтоб содержимое спойлера не грузилось\не строилось, ибо траффик. (Меня поправят ежли я где-то обшибся ибо не кодер, но помню именно как-то так). Так что их просто надо открыть кнопкой\скриптом перед сохранением.

thrower пишет

Не работает.

ну , могу предложить упоротый вариант - но работает... вроде :D  Для CB (в Код):

скрытый текст

Выделить код

Код:

openSpoilersLJ();
// пробовал у Светоча тут https://lev-sharansky2.livejournal.com/595.html#comments  раскрывает всех.
function openSpoilersLJ() {
  var sb = content.document.getElementsByTagName('A');
  for (var i = 0; i < sb.length; i++){
   if (sb[i].hasAttribute("onclick")) {
     sb[i].click();
}}};


... уверен, этот примитив можно доработать, нужно ввести еще проверку чтоб аттрибут onclick имел в значении.startsWith("ExpanderEx.make") - и сё будит открываццо прально. Хотя и так вроде.

Добавлено 11-06-2018 22:21:17

Wave пишет

изначально речь шла о том, чтобы сохранить то, что пользователь перед собой видит, в таком виде, как пользователь перед собой видит, и чтобы это можно было посмотреть в оффлайне.

Точно так.

Отредактировано mokujin (11-06-2018 22:21:17)


...программисты словно войну какую-то ведут за свои обновления. Блин, почему сейчас повсюду мания ухудшать интерфейсы и делать их максимально неудобными?! Radiation

Отсутствует

 

№11411-06-2018 22:54:28

thrower
Участник
 
Группа: Members
Зарегистрирован: 28-11-2013
Сообщений: 207
UA: Firefox 60.0

Re: Способы сохранения и хранения Вэб конетента

mokujin пишет

самые мочные : Offline Explorer Pro или TeleportPro

Пользуюсь периодически обоими. И помню, были у меня проблемы с отображением страниц из-за этих js, листенеров...

mokujin пишет

могу предложить упоротый вариант - но работает...

Проверил на [firefox] 55: действительно, раскрыл все спойлеры. :)
А как сконвертить в user.js правильно, а то на [firefox] 60 я не устанавливал СВ. Изменить строку sb[i].click();?

Wave, я WE-шным не пользовался.
А для себя знаю, что в некоторых случаях безотказно работает только способ "заскринить в пнг".

Отсутствует

 

№11511-06-2018 23:14:59

mokujin
Участник
 
Группа: Members
Зарегистрирован: 17-02-2017
Сообщений: 505
UA: Firefox 52.0

Re: Способы сохранения и хранения Вэб конетента

thrower пишет

А как сконвертить в user.js

Ну, как-то так, наверно будет в скрипте для GM (хотя мне такое не нравиццо. По-хорошему, надоб добавлять кнопку на страницу LJ с этим кодом и по жмаканию шобы открывалось. Там такие простыни бывают, что бравзер подвисает с этим скриптом, открывая и пролистывая этовсё.)

скрытый текст

Выделить код

Код:

// ==UserScript==
// @name        LiveJournal open comments spoiler
// @namespace   comments
// @icon          http://www.livejournal.com/favicon.ico
// @icon64      http://www.livejournal.com/favicon.ico
// @include     http*.livejournal.com/*
// @run-at      document-start
// @grant       none
// ==/UserScript==

 (function() {

   function openSpoilersLJ() {
          var sb = document.getElementsByTagName('A');
        for (var i = 0; i < sb.length; i++){
              if (sb[i].hasAttribute("onclick")) {  // по хорошему надо добавить еще проверку значения начиналось с ...  onclick = "ExpanderEx" но яхз
                   sb[i].click();
                  }
        }
   };

       window.addEventListener("DOMContentLoaded",openSpoilersLJ, false);
 })();


Замечание множественное нарушение п. 2.3
Sergeys

Отредактировано mokujin (11-06-2018 23:19:39)


...программисты словно войну какую-то ведут за свои обновления. Блин, почему сейчас повсюду мания ухудшать интерфейсы и делать их максимально неудобными?! Radiation

Отсутствует

 

№11611-06-2018 23:28:07

thrower
Участник
 
Группа: Members
Зарегистрирован: 28-11-2013
Сообщений: 207
UA: Firefox 60.0

Re: Способы сохранения и хранения Вэб конетента

mokujin
Спасибо, юзерскрипт работает. :)

Отсутствует

 

№11715-05-2019 09:04:58

flev45
Участник
 
Группа: Members
Зарегистрирован: 13-12-2008
Сообщений: 25
UA: Firefox 66.0

Re: Способы сохранения и хранения Вэб конетента

Уважаемые спецЫ,
есть страница PayPal с покупками и продажами.
Надо создать 2 документа: Покупки и Продажи отдельно и запомнить в HTML/PDF.
Для этого надо на ней удалить продажи/покупки.
Подскажите, как это сделать?
В частности, на другом форуме советуют сделать это при помощи приложения Page Hacker
Кто с ним работал, как и что там надо делать? Спасибо


......ступаем в реки, страны, города. Иные двери... Новые года...
И никуда нам от себя не деться. А если деться - только в никуда.

Отсутствует

 

№11830-09-2019 05:00:58

sputnikkhasia@
Участник
 
Группа: Members
Зарегистрирован: 09-08-2012
Сообщений: 120
UA: Firefox 69.0

Re: Способы сохранения и хранения Вэб конетента

Почему ФФ при открытии MHTML начинает открывать бесконечно большое число вкладок с данным документом? Можно исправить?

Отсутствует

 

№11930-09-2019 06:20:05

Coroner
Участник
 
Группа: Members
Зарегистрирован: 29-10-2012
Сообщений: 4001
UA: Firefox 70.0

Re: Способы сохранения и хранения Вэб конетента

sputnikkhasia@ пишет

Почему ФФ при открытии MHTML начинает открывать бесконечно большое число вкладок с данным документом?

Как может — так и открывает.  Этот формат незнаком и чужд в принципе. Он же не опера-престо и не IE.
Странно что открывает вообще хоть как-то.

sputnikkhasia@ пишет

Можно исправить?

Ну... Установить [firefox] версии <57 и выкопать в интернетах дополнения «Mozilla Archive Format» или «UnMHT».
На современных версиях работать не будут, и ЕМНИП дополнений для современных версий нет и быть не может.

Отсутствует

 

№12030-09-2019 06:24:05

sputnikkhasia@
Участник
 
Группа: Members
Зарегистрирован: 09-08-2012
Сообщений: 120
UA: Chrome 76.0

Re: Способы сохранения и хранения Вэб конетента

Coroner пишет

Ну... Установить  версии <57

проще открывать IE )

Отсутствует

 

Board footer

Powered by PunBB
Modified by Mozilla Russia
Copyright © 2004–2020 Mozilla Russia GitHub mark
Язык отображения форума: [Русский] [English]