Полезная информация

Юристы зарабатывают огромные деньги и славу, оперируя хорошим знанием законов. Правила форума — простой путь к успешному общению.

№121-10-2018 22:35:37

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Как Вы "граббите" интернет с помощью Firefox и аддонов?

Наверняка у тех пользователей, кто использует Firefox не просто для того, чтобы ролики смотреть на ютабе и лайки ставить во фконтакте, а кто использует интернет как базу данных, как поле для "граббинга" инфы за годы выработалась своя система/стратегия использования браузера.

Расскажите о ней.

Я начну, а Вы продолжайте.

Я за годы сёрфинга выработал мнение, что главная помеха граббингу - это то, что в выдаче поисковиков много мусора и то, что по 100раз ходишь по одним и тем же ссылкам.

Вот список аддонов которые я использую/использовал
ActiveStopButton - бывает, что грузятся сразу несколько вкладок. Чтобы остановить загрузку сразу везде - использую этот аддон

AutoPager - делает страницу выдачи поисковиков (или страницы форумов) бесконечной. Т.е. следующую страницу пристыковывает к текущей не закрывая её. Т.е. тебе не нужно кликать чтобы загрузилась следующая страница (а эта закрылась). Ты просто скроллишь и последующие страницы автоматом подгружаются. И ты можешь искать текст стразу по нескольким страницам

AutoUnloadTab - освобождает оперативную память долго неактивных вкладок. Полезное расширение для тех у кого мало оперативной памяти на компе

AwesomeBar - забыл для чего его ставил. Но не просто так. Я долго гуглю и изучаю расширение прежде чем ставить

BackForwardHistoryTweaks - забыл для чего его ставил.

BlockSite - превращает ссылки на сайты, которые Вы не желаете посещать просто в текст. Т.е. ссылки становятся не кликабельными

BookmarkHighlighter и BooM - два расширения для подсветки ссылок, которые есть у Вас в избранном. Чтобы повторно по ним не ходить. BooM кроме того при наведении на ссылку, которая у Вас уже есть в избранном, в туултипе показывает инфу по этой закладке: её теги, название и т.п. Так что Вы сразу можете понять, нужно Вам кликать или нет

Closy для массового автоматического закрытия вкладок, удовлетворяющих введенным Вами критериям (например "закрыть все вкладки с данного домена"). Очень полезное расширение для тех, кто как я открывает по тысячи вкладок и более.

CookieSwap очень полезное расширение для тех, кто как и я флудит на нескольких десятках форумов причем сразу под несколькими никами. Позволяет одним кликом переключать профиль и вам не надо повторно осуществлять процедуру входа

DownThemAll - удобный менеджер закачек. Удобен тем, что Вы можете очень гибко настраивать автоматически присваиваемое файлу имя.

DuplicateTabsCloser - борется с дублированием вкладок. Чтобы не открывать одну и ту же ссылку в десяти вкладках

FastestSearch - создает в тултипе матрицу значков поисковиков. Выделяет слово, кликаете по иконке в тултипе и вуаля: выделенное в тексте ищется в заданном поисковике. Причем поисковики Вы можете свои создавать

FEBE - бэк ап Firefox и всех его компонент (закладки, история, куки, пароли и т.п.)

FilteredClipboard - автоматическая правка скопированного в буфер обмена. И вставляете Вы уже то, что надо

FindBarTweak - много полезных фишек для поиска по странице

FindList создаёт дроп даун меню истории поиска по странице

Googlesearchlinkfix убирает редиректы в яндексе и гугле, делает ссылки прямыми

GrabandDrag - позволяет двигать страницу рукой вверх-вниз, вправо-влево как в акробат рейдере

HideUnwantedResultsofGoogleSearch убирает из выдачи гугла не желательные домены

HugoSearchAllTabs - продвинутый поиск по тексту всех загруженных вкладок

HYPER-ANCHOR  Ссылки на конкретное место на странице

InlineGoogleSearch - быстрый поиск выделенного текста в гугле и пока выдачи в пупапе

InsiteSearch и SiteSearch поиск данным поисковиком только на заданном сайте (который сейчас открыт у Вас)

LinkGopher и LinkHighLighterLHL и linkingcrk и LinkStalker - не помню уже для чего скачивал

LinkStatusRedux - показывает сколько времени назад вы посещали данную ссылку (если посещали)

NoSquintPlus - настройка индивидуального масштаба для каждого сайта

quickProxy включение/выключение прокси в настройках Firefox одним кликом

S3.GoogleTranslator перевод выделенного текста одним кликом в пупапе

Searchtermhighlighter автоматическая подсветка в выдаче искомых Вам слов (тех что в строке поиска)

TabMixPlus - разные фишки работы со вкладками

Tabsurd - одним кликом закрывает все вкладки, а их ссылки помещает на одной странице. Тем у кого мало ОЗУ рулит

TagSieve - продвинутые возможности работы с тегами закладок

TheAddonBarrestored - восстанавливает нижнюю панель, которую убрали в старших версиях FF

TileTabs - для тех у кого большие экраны. Позволяет просматривать сразу несколько вкладок на экране

treestyletab - позволяет разместить вкладки в виде дерева. Так что сразу видно какая вкладка из какой была открыта

VocabularyHighlighter - автоматическая подсветка на странице заданным Вами стилем заданного Вам списка слов. Сразу видно есть то что Вы ищете на странице или нет.

Wired-Marker - позволяет помечать цветом нужные места страниц и сохранять их в базе данных, так что Вы потом очень быстро сможете перейти к ним

YetAnotherSmoothScrolling - настройки скорости и плавности скроллинга


Вот лишь основные аддоны, которые я использую/использовал и для чего

Отредактировано Доктор ТуамОсес (21-10-2018 23:25:48)

Отсутствует

 

№222-10-2018 22:59:47

sandro79
Участник
 
Группа: Members
Зарегистрирован: 15-11-2017
Сообщений: 1750
UA: Firefox 58.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Конечно есть

скрытый текст
5e0924a31642.jpg2c44a7ac549c.jpg

Отсутствует

 

№323-10-2018 07:50:22

oleg.sgh
Участник
 
Группа: Members
Зарегистрирован: 19-04-2014
Сообщений: 3157
UA: Firefox 62.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

del

Отредактировано oleg.sgh (27-10-2018 10:13:46)

Отсутствует

 

№423-10-2018 09:20:40

Мозилкин
Участник
 
Группа: Members
Зарегистрирован: 18-12-2011
Сообщений: 378
UA: Firefox 64.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Доктор ТуамОсес пишет

Ау!!! Есть кто живой?

было такая тема уже на сайте, но её почему то закрыли:(

Отсутствует

 

№523-10-2018 14:12:06

dezhnev
Участник
 
Группа: Members
Зарегистрирован: 21-04-2016
Сообщений: 72
UA: unknown 0.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

>кто использует интернет как базу данных, как поле для "граббинга" инфы за годы выработалась своя система/стратегия использования браузера.

имеете в виду граббинг вручную?
тогда это база maff'ов и scrapbook

Отсутствует

 

№623-10-2018 21:39:20

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Мозилкин пишет

было такая тема уже на сайте, но её почему то закрыли

Это очень странно: на форуме посвященному аддонам закрыть тему об их СИСТЕМАТИЧЕСКОМ использовании.
Видимо кто-то очень не хочет, чтобы простые узвери получили доступ к сакральным знаниям Богов веб-сёрфинга

Добавлено 23-10-2018 21:47:39

oleg.sgh пишет

Есть. Просто стесняются показать свой набор дополнений, который немного скромнее

Стеснительные могут не показывать свой список аддонов.

Можно просто сказать, что, де мол, есть такая очень полезная фишка/плюшка, которая реализована в таком-то аддоне.
При этом пользуется ли узверь какими-то ещё аддонами останется скрытым/за кадром.

Естественно, что в этой теме не нужно приводить стандартные аддоны, которыми пользуются практически все. Типа NoScript, AdBlock, флеш плэйеры и т.п.

В этой теме хотелось бы почитать именно о ТЕХНОЛОГИИ граббинга интернета. Т.е. поиска, хранения, парсинга, визуализации и фильтрации инфы. И навигации по ней.

И соответственно про заточенные для этого аддоны.

Вот.

Добавлено 23-10-2018 21:54:36

dezhnev пишет

имеете в виду граббинг вручную?
тогда это база maff'ов и scrapbook

Скрапбук - это лишь один из сотен способов граббинга.


Какие самые большие проблемы в интеренете.
Их две:
1) Капля полезной инфы находится в океане мусора. Поэтому появляются проблема как быстро найти/визуализировать то, что нужно, и как быстро отфильтровать/скрыть, то что не нужно
2) Дублирование/повторы инфы. (Вы ходите по кругу (одна и та же ссылка открывается по 100 раз), у Вас сто открытых одинаковых вкладок, на разных сайтах копипаста одной и той же инфы  и т.д. и т.п.)

Отредактировано Доктор ТуамОсес (23-10-2018 21:56:57)

Отсутствует

 

№723-10-2018 22:14:46

dezhnev
Участник
 
Группа: Members
Зарегистрирован: 21-04-2016
Сообщений: 72
UA: Firefox 59.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

>Скрапбук - это лишь один из сотен способов граббинга.

Ну тем не менее, таков мой способ)
Как Вы знаете и неоднократно учавствовали в профильных темах на руборде, нет нормальных редакторов для хранения, визуализации и фильтрации инфы, так что набор из нескольких взаимодополняющих может быть выбором, не факт что это не будет избыточно, но все же.

Как для фф, вероятно, все упирается в индивидуальные настройки юзабилити и поддержке их, т.к. от версии к версии что-нибудь да упадет..

Отсутствует

 

№824-10-2018 18:48:12

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

dezhnev пишет

т.к. от версии к версии что-нибудь да упадет

Но к счастью одна и та же функция может быть реализована разными аддонами.
И мы в этой теме делимся инфой какая функция в каком аддоне реализована. Чтобы если какой-то аддон отвалится при обновлении FF, чтобы можно было безболезненно "пересесть" на другой, выполняющий похожий функционал

Добавлено 24-10-2018 18:49:44
Т.е. здесь мы отталкиваемся не от конкретных аддонов, а от нужных нам функций. И пишем, с помощью чего можно эту функцию реализовать. Ведь, как правило, одну и ту же задачу можно решить разными способами. Главное сформулировать в чём заключается задача

Добавлено 24-10-2018 18:53:12
Ну и также в этой теме пишем какого функционала Вам не хватает в существующих аддонах.

Вот мне, к примеру, в Vocabulary Highlighter категрически не хватает поддержки REGEX-ов для описания того, что нужно подсвечивать данными стилями.

А вам чего?

Отредактировано Доктор ТуамОсес (24-10-2018 18:53:12)

Отсутствует

 

№925-10-2018 20:11:16

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Вам чего? :( А?

Отсутствует

 

№1025-10-2018 21:31:53

dezhnev
Участник
 
Группа: Members
Зарегистрирован: 21-04-2016
Сообщений: 72
UA: Firefox 59.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Из того, что еще не было указано:

Header Editor    редиректы и обход paywall на западных новостных сайтах (если не заморачиваться, можно поставить Bypass Paywalls)
Roboform    для автозаполнения логинов
ReCaptcha Solver    помощник с капчей
Save File to (bootstrapped)    сохранение в заранее определенные директории
Tab Session Manager    менеджер сессий
Imagus    для картинок
NewsFox (bootstrapped) рсс читалка
uBlock Origin    от рекламы и для инжекта в страницу scriplet'ов
greasemonkey (bootstrapped) скрипты для инжекта в страницу (просмотр html5 video, поиск rss, поиск линков, автозагрузка итп)
Aria2 Download Manager Integration    закачка на внешний даунлоадер
Temporary Containers    разные контейнеры
AutoplayStopper (bootstrapped) остановить автозагрузку html5 video

Отсутствует

 

№1126-10-2018 06:51:01

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

А для поиска, парсинга/анализа, дедубликации, визуализации и навигации информации что-нибудь используете?

Отсутствует

 

№1226-10-2018 11:56:11

dezhnev
Участник
 
Группа: Members
Зарегистрирован: 21-04-2016
Сообщений: 72
UA: Firefox 59.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Для всех видов поиска - userChromeJS скрипты/попапы/меню, заменяет поисковые аддоны и все что с этим связано.

Проблема с "парсинг/анализ" - это перегрузка и, как следствие, тормоза на тяжелых страницах, для меня скорость критична, практически все что парсит/анализирует на любых доменах (не определенных заранее) будет так или иначе подтормаживать браузер.
Где-то видел подобные наработки, но это боты в headless режимах.

Использую только скрипты на определенных страницах для скрытия ненужного/лишнего, модификаций.

Ну и сторонний софт на дедике + подписки, в основном сео, т.к. у них уж много инструментов для работы с поисковиками
"дедубликации, визуализации и навигации информации" - сторонний софт.

А что у Вас с "парсинг/анализ/дедубликации, визуализации и навигации" ? В том списке кроме VocabularyHighlighter ничего такого, что может использоваться для этого. Может подкинете пару идей? ;)

Отсутствует

 

№1326-10-2018 19:51:52

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

dezhnev пишет

Проблема с "парсинг/анализ" - это перегрузка и, как следствие, тормоза на тяжелых страницах, для меня скорость критична, практически все что парсит/анализирует на любых доменах (не определенных заранее) будет так или иначе подтормаживать браузер.

И что? Вы куда-то торопитесь? "поспешишь - людей насмешишь"(с)

Я лучше подожду и буду есть жареное и вкусное барбекю, чем быстро, но  не вкусное сырое мясо.

Пусть над РУТИНОЙ лучше брОузер напрягается, чем мои мозги.

Добавлено 26-10-2018 19:59:27

dezhnev пишет

А что у Вас с "парсинг/анализ/дедубликации, визуализации и навигации" ? В том списке кроме VocabularyHighlighter ничего такого, что может использоваться для этого.

Вы врёте.

Boom - визуализация. Сразу видишь что ссылка у тебя в избранном и про что в ней

Closy - быстрая фильтрация (закрытие не нужных вкладок) одним клайком (максимум дмумя) мышки

DownThemAll -  визуализация. Сразу видишь с какого сайта ты скачал, что и когда.

DuplicateTabsCloser - фильтрация. Не даёт дублироваться вкладкам, чтобы ты не ползал по 100 раз по одним и тем же сайтам

FastestSearch - позволяет одним кликом сформировать поисковый запрос из выделенного для заданного поисковика по заданному сайту

FilteredClipboard - автоматическая обработка скопированной в буфер информации

FindBarTweak - автоматически ищет и подсвечивает выделенное по странице, визуализирует метки на скроллбаре

FindList создаёт дроп даун меню истории поиска по странице. Не надо мучиться вспоминая "а что же я искал пару десятков поисков назад"

HideUnwantedResultsofGoogleSearch - фильтрация. убирает из выдачи гугла не желательные домены. Вы убираете мусор из выдачи

HugoSearchAllTabs - продвинутый поиск по тексту всех загруженных вкладок.

HYPER-ANCHOR  Ссылки на конкретное место на странице. Навигация. Визуализация

InlineGoogleSearch - быстрый поиск выделенного текста в гугле и пока выдачи в пупапе

InsiteSearch и SiteSearch поиск данным поисковиком только на заданном сайте (который сейчас открыт у Вас)


LinkStatusRedux - показывает сколько времени назад вы посещали данную ссылку (если посещали). Можно сразу увидеть, посещали ли вы ссылку минуту назад или год назад. Согласитесь это важно

NoSquintPlus - настройка индивидуального масштаба для каждого сайта. Визуализация

S3.GoogleTranslator перевод выделенного текста одним кликом в пупапе.

Searchtermhighlighter автоматическая подсветка в выдаче искомых Вам слов (тех что в строке поиска). Визуализация

TabMixPlus - разные фишки работы со вкладками. Визуализация (разного типа вкладки разным цветом) и навигация

Tabsurd - одним кликом закрывает все вкладки, а их ссылки помещает на одной странице. Тем у кого мало ОЗУ рулит. Навигация. Визуализация

TagSieve - продвинутые возможности работы с тегами закладок. Сортировка, упорядочивание, визуализация

TileTabs - для тех у кого большие экраны. Позволяет просматривать сразу несколько вкладок на экране. Визуализация. Можно визуально сравнить инфу на двух страницах

treestyletab - позволяет разместить вкладки в виде дерева. Так что сразу видно какая вкладка из какой была открыта. Визуализация.

VocabularyHighlighter - автоматическая подсветка на странице заданным Вами стилем заданного Вам списка слов. Сразу видно есть то что Вы ищете на странице или нет. Визуализация

Wired-Marker - позволяет помечать цветом нужные места страниц и сохранять их в базе данных, так что Вы потом очень быстро сможете перейти к ним. Навигация. Визуализация

YetAnotherSmoothScrolling - настройки скорости и плавности скроллинга. Визуализация.

Отредактировано Доктор ТуамОсес (26-10-2018 20:10:48)

Отсутствует

 

№1426-10-2018 22:38:06

ibb1386
Outpost'er
 
Группа: Members
Зарегистрирован: 30-10-2010
Сообщений: 1348
UA: Firefox 62.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

скрытый текст
8295dcf4b8aa.jpg

Отсутствует

 

№1527-10-2018 09:36:08

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Господа! Хотелось бы не просто список расширений.
А именно тех, которые используются для АВТОМАТИЗАЦИИ поиска, сбора, анализа, фильтрации, дедубликации и визуализации информации. И удобной навигации по ней.
И ваши комментарии о методике их использования.

Аддоны для запоминания паролей, просмотра видео, обеспечения аноноимности, для обхода блокировок и т.п. конечно тоже полезны, но они к сабжу не относятся

Добавлено 27-10-2018 09:38:26
Если Вы используете какие-то скрипты для Greasmonkey и т.п., то опишите, что конкретно они делают, а не просто приводите название "Greasmonkey"

Добавлено 27-10-2018 09:40:51
понятно?

Отредактировано Доктор ТуамОсес (27-10-2018 09:40:51)

Отсутствует

 

№1627-10-2018 12:57:38

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Мужики! А никому из вас не удалось прикрутить к Firefox автотегирование?
Ну, типа, ты описываешь правило и потому когда добавляешь закладки, потом добавляешь некоторые теги вручную, а затем применяются правила и автоматом к закладкам добавляются другие теги.

Просто я добавляю к закладкам вручную бывает что до 8-ми тегов, причем большинство из них повторяются в данный день от закладки к закладке.
Хотелось бы автоматического их добавления.

-----------------------------
И второе.
Как реализовать чёрный список (базу данных спама), чтобы из выдачи поисковиков не нужные мне сниппеты автоматом вырезались (или скрывались)

Ну типа как выше, задаешь правило и по этому правилу вырезаются сниппеты из выдачи гугла и яндекса.

А правила, типа, такие:
- Если в сниппете есть слова цена и велосипед - не показывать сниппет в выдаче
- Если в сниппете есть ссылки, которые я посещал месяц назад и более - скрыть данные сниппетыиппете
- Если в сниппете есть слово "ПУтин" но нет слова "Рейган" скрывать все сниппеты с данного домена
....

Ну вы поняли

Отредактировано Доктор ТуамОсес (27-10-2018 13:00:14)

Отсутствует

 

№1707-11-2018 20:56:04

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

HELP:mad:

Отсутствует

 

№1828-09-2019 11:00:37

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 35.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Видимо никто тут не граббит и не парсит инет

Отсутствует

 

№1929-09-2019 16:12:45

kokoss
Участник
 
Группа: Members
Зарегистрирован: 15-02-2018
Сообщений: 1739
UA: Firefox 52.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

Доктор ТуамОсес
А что эти дополнения не работают в [firefox] esr 52,48,esr45,42, или принципиально только эта версия Фокса...

Отредактировано kokoss (29-09-2019 22:19:07)


Win7

Отсутствует

 

№2025-01-2020 15:01:40

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 35.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

kokoss
Да. Именно так

Отсутствует

 

№2113-05-2020 23:32:24

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 35.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

kokoss
А Вы какие расширения юсаете для граббинга?

Отсутствует

 

№2212-12-2020 21:33:13

Доктор ТуамОсес
Участник
 
Группа: Members
Зарегистрирован: 21-04-2014
Сообщений: 220
UA: Firefox 35.0

Re: Как Вы "граббите" интернет с помощью Firefox и аддонов?

kokoss
чего молчите?

Отсутствует

 

Board footer

Powered by PunBB
Modified by Mozilla Russia
Copyright © 2004–2020 Mozilla Russia GitHub mark
Язык отображения форума: [Русский] [English]