Наверняка у тех пользователей, кто использует Firefox не просто для того, чтобы ролики смотреть на ютабе и лайки ставить во фконтакте, а кто использует интернет как базу данных, как поле для "граббинга" инфы за годы выработалась своя система/стратегия использования браузера.

Расскажите о ней.

Я начну, а Вы продолжайте.

Я за годы сёрфинга выработал мнение, что главная помеха граббингу - это то, что в выдаче поисковиков много мусора и то, что по 100раз ходишь по одним и тем же ссылкам.

Вот список аддонов которые я использую/использовал
ActiveStopButton - бывает, что грузятся сразу несколько вкладок. Чтобы остановить загрузку сразу везде - использую этот аддон

AutoPager - делает страницу выдачи поисковиков (или страницы форумов) бесконечной. Т.е. следующую страницу пристыковывает к текущей не закрывая её. Т.е. тебе не нужно кликать чтобы загрузилась следующая страница (а эта закрылась). Ты просто скроллишь и последующие страницы автоматом подгружаются. И ты можешь искать текст стразу по нескольким страницам

AutoUnloadTab - освобождает оперативную память долго неактивных вкладок. Полезное расширение для тех у кого мало оперативной памяти на компе

AwesomeBar - забыл для чего его ставил. Но не просто так. Я долго гуглю и изучаю расширение прежде чем ставить

BackForwardHistoryTweaks - забыл для чего его ставил.

BlockSite - превращает ссылки на сайты, которые Вы не желаете посещать просто в текст. Т.е. ссылки становятся не кликабельными

BookmarkHighlighter и BooM - два расширения для подсветки ссылок, которые есть у Вас в избранном. Чтобы повторно по ним не ходить. BooM кроме того при наведении на ссылку, которая у Вас уже есть в избранном, в туултипе показывает инфу по этой закладке: её теги, название и т.п. Так что Вы сразу можете понять, нужно Вам кликать или нет

Closy для массового автоматического закрытия вкладок, удовлетворяющих введенным Вами критериям (например "закрыть все вкладки с данного домена"). Очень полезное расширение для тех, кто как я открывает по тысячи вкладок и более.

CookieSwap очень полезное расширение для тех, кто как и я флудит на нескольких десятках форумов причем сразу под несколькими никами. Позволяет одним кликом переключать профиль и вам не надо повторно осуществлять процедуру входа

DownThemAll - удобный менеджер закачек. Удобен тем, что Вы можете очень гибко настраивать автоматически присваиваемое файлу имя.

DuplicateTabsCloser - борется с дублированием вкладок. Чтобы не открывать одну и ту же ссылку в десяти вкладках

FastestSearch - создает в тултипе матрицу значков поисковиков. Выделяет слово, кликаете по иконке в тултипе и вуаля: выделенное в тексте ищется в заданном поисковике. Причем поисковики Вы можете свои создавать

FEBE - бэк ап Firefox и всех его компонент (закладки, история, куки, пароли и т.п.)

FilteredClipboard - автоматическая правка скопированного в буфер обмена. И вставляете Вы уже то, что надо

FindBarTweak - много полезных фишек для поиска по странице

FindList создаёт дроп даун меню истории поиска по странице

Googlesearchlinkfix убирает редиректы в яндексе и гугле, делает ссылки прямыми

GrabandDrag - позволяет двигать страницу рукой вверх-вниз, вправо-влево как в акробат рейдере

HideUnwantedResultsofGoogleSearch убирает из выдачи гугла не желательные домены

HugoSearchAllTabs - продвинутый поиск по тексту всех загруженных вкладок

HYPER-ANCHOR  Ссылки на конкретное место на странице

InlineGoogleSearch - быстрый поиск выделенного текста в гугле и пока выдачи в пупапе

InsiteSearch и SiteSearch поиск данным поисковиком только на заданном сайте (который сейчас открыт у Вас)

LinkGopher и LinkHighLighterLHL и linkingcrk и LinkStalker - не помню уже для чего скачивал

LinkStatusRedux - показывает сколько времени назад вы посещали данную ссылку (если посещали)

NoSquintPlus - настройка индивидуального масштаба для каждого сайта

quickProxy включение/выключение прокси в настройках Firefox одним кликом

S3.GoogleTranslator перевод выделенного текста одним кликом в пупапе

Searchtermhighlighter автоматическая подсветка в выдаче искомых Вам слов (тех что в строке поиска)

TabMixPlus - разные фишки работы со вкладками

Tabsurd - одним кликом закрывает все вкладки, а их ссылки помещает на одной странице. Тем у кого мало ОЗУ рулит

TagSieve - продвинутые возможности работы с тегами закладок

TheAddonBarrestored - восстанавливает нижнюю панель, которую убрали в старших версиях FF

TileTabs - для тех у кого большие экраны. Позволяет просматривать сразу несколько вкладок на экране

treestyletab - позволяет разместить вкладки в виде дерева. Так что сразу видно какая вкладка из какой была открыта

VocabularyHighlighter - автоматическая подсветка на странице заданным Вами стилем заданного Вам списка слов. Сразу видно есть то что Вы ищете на странице или нет.

Wired-Marker - позволяет помечать цветом нужные места страниц и сохранять их в базе данных, так что Вы потом очень быстро сможете перейти к ним

YetAnotherSmoothScrolling - настройки скорости и плавности скроллинга

Вот лишь основные аддоны, которые я использую/использовал и для чего

Конечно есть

скрытый текст

del

было такая тема уже на сайте, но её почему то закрыли

>кто использует интернет как базу данных, как поле для "граббинга" инфы за годы выработалась своя система/стратегия использования браузера.

имеете в виду граббинг вручную?
тогда это база maff'ов и scrapbook

Это очень странно: на форуме посвященному аддонам закрыть тему об их СИСТЕМАТИЧЕСКОМ использовании.
Видимо кто-то очень не хочет, чтобы простые узвери получили доступ к сакральным знаниям Богов веб-сёрфинга

23-10-2018 21:47:39

Стеснительные могут не показывать свой список аддонов.

Можно просто сказать, что, де мол, есть такая очень полезная фишка/плюшка, которая реализована в таком-то аддоне.
При этом пользуется ли узверь какими-то ещё аддонами останется скрытым/за кадром.

Естественно, что в этой теме не нужно приводить стандартные аддоны, которыми пользуются практически все. Типа NoScript, AdBlock, флеш плэйеры и т.п.

В этой теме хотелось бы почитать именно о ТЕХНОЛОГИИ граббинга интернета. Т.е. поиска, хранения, парсинга, визуализации и фильтрации инфы. И навигации по ней.

И соответственно про заточенные для этого аддоны.

Вот.

23-10-2018 21:54:36

Скрапбук - это лишь один из сотен способов граббинга.

Какие самые большие проблемы в интеренете.
Их две:
1) Капля полезной инфы находится в океане мусора. Поэтому появляются проблема как быстро найти/визуализировать то, что нужно, и как быстро отфильтровать/скрыть, то что не нужно
2) Дублирование/повторы инфы. (Вы ходите по кругу (одна и та же ссылка открывается по 100 раз), у Вас сто открытых одинаковых вкладок, на разных сайтах копипаста одной и той же инфы  и т.д. и т.п.)

>Скрапбук - это лишь один из сотен способов граббинга.

Ну тем не менее, таков мой способ)
Как Вы знаете и неоднократно учавствовали в профильных темах на руборде, нет нормальных редакторов для хранения, визуализации и фильтрации инфы, так что набор из нескольких взаимодополняющих может быть выбором, не факт что это не будет избыточно, но все же.

Как для фф, вероятно, все упирается в индивидуальные настройки юзабилити и поддержке их, т.к. от версии к версии что-нибудь да упадет..

Но к счастью одна и та же функция может быть реализована разными аддонами.
И мы в этой теме делимся инфой какая функция в каком аддоне реализована. Чтобы если какой-то аддон отвалится при обновлении FF, чтобы можно было безболезненно "пересесть" на другой, выполняющий похожий функционал

24-10-2018 18:49:44
Т.е. здесь мы отталкиваемся не от конкретных аддонов, а от нужных нам функций. И пишем, с помощью чего можно эту функцию реализовать. Ведь, как правило, одну и ту же задачу можно решить разными способами. Главное сформулировать в чём заключается задача

24-10-2018 18:53:12
Ну и также в этой теме пишем какого функционала Вам не хватает в существующих аддонах.

Вот мне, к примеру, в Vocabulary Highlighter категрически не хватает поддержки REGEX-ов для описания того, что нужно подсвечивать данными стилями.

А вам чего?

Вам чего? А?

Из того, что еще не было указано:

Header Editor    редиректы и обход paywall на западных новостных сайтах (если не заморачиваться, можно поставить Bypass Paywalls)
Roboform    для автозаполнения логинов
ReCaptcha Solver    помощник с капчей
Save File to (bootstrapped)    сохранение в заранее определенные директории
Tab Session Manager    менеджер сессий
Imagus    для картинок
NewsFox (bootstrapped) рсс читалка
uBlock Origin    от рекламы и для инжекта в страницу scriplet'ов
greasemonkey (bootstrapped) скрипты для инжекта в страницу (просмотр html5 video, поиск rss, поиск линков, автозагрузка итп)
Aria2 Download Manager Integration    закачка на внешний даунлоадер
Temporary Containers    разные контейнеры
AutoplayStopper (bootstrapped) остановить автозагрузку html5 video

А для поиска, парсинга/анализа, дедубликации, визуализации и навигации информации что-нибудь используете?

Для всех видов поиска - userChromeJS скрипты/попапы/меню, заменяет поисковые аддоны и все что с этим связано.

Проблема с "парсинг/анализ" - это перегрузка и, как следствие, тормоза на тяжелых страницах, для меня скорость критична, практически все что парсит/анализирует на любых доменах (не определенных заранее) будет так или иначе подтормаживать браузер.
Где-то видел подобные наработки, но это боты в headless режимах.

Использую только скрипты на определенных страницах для скрытия ненужного/лишнего, модификаций.

Ну и сторонний софт на дедике + подписки, в основном сео, т.к. у них уж много инструментов для работы с поисковиками
"дедубликации, визуализации и навигации информации" - сторонний софт.

А что у Вас с "парсинг/анализ/дедубликации, визуализации и навигации" ? В том списке кроме VocabularyHighlighter ничего такого, что может использоваться для этого. Может подкинете пару идей?

И что? Вы куда-то торопитесь? "поспешишь - людей насмешишь"(с)

Я лучше подожду и буду есть жареное и вкусное барбекю, чем быстро, но  не вкусное сырое мясо.

Пусть над РУТИНОЙ лучше брОузер напрягается, чем мои мозги.

26-10-2018 19:59:27

Вы врёте.

Boom - визуализация. Сразу видишь что ссылка у тебя в избранном и про что в ней

Closy - быстрая фильтрация (закрытие не нужных вкладок) одним клайком (максимум дмумя) мышки

DownThemAll -  визуализация. Сразу видишь с какого сайта ты скачал, что и когда.

DuplicateTabsCloser - фильтрация. Не даёт дублироваться вкладкам, чтобы ты не ползал по 100 раз по одним и тем же сайтам

FastestSearch - позволяет одним кликом сформировать поисковый запрос из выделенного для заданного поисковика по заданному сайту

FilteredClipboard - автоматическая обработка скопированной в буфер информации

FindBarTweak - автоматически ищет и подсвечивает выделенное по странице, визуализирует метки на скроллбаре

FindList создаёт дроп даун меню истории поиска по странице. Не надо мучиться вспоминая "а что же я искал пару десятков поисков назад"

HideUnwantedResultsofGoogleSearch - фильтрация. убирает из выдачи гугла не желательные домены. Вы убираете мусор из выдачи

HugoSearchAllTabs - продвинутый поиск по тексту всех загруженных вкладок.

HYPER-ANCHOR  Ссылки на конкретное место на странице. Навигация. Визуализация

InlineGoogleSearch - быстрый поиск выделенного текста в гугле и пока выдачи в пупапе

InsiteSearch и SiteSearch поиск данным поисковиком только на заданном сайте (который сейчас открыт у Вас)

LinkStatusRedux - показывает сколько времени назад вы посещали данную ссылку (если посещали). Можно сразу увидеть, посещали ли вы ссылку минуту назад или год назад. Согласитесь это важно

NoSquintPlus - настройка индивидуального масштаба для каждого сайта. Визуализация

S3.GoogleTranslator перевод выделенного текста одним кликом в пупапе.

Searchtermhighlighter автоматическая подсветка в выдаче искомых Вам слов (тех что в строке поиска). Визуализация

TabMixPlus - разные фишки работы со вкладками. Визуализация (разного типа вкладки разным цветом) и навигация

Tabsurd - одним кликом закрывает все вкладки, а их ссылки помещает на одной странице. Тем у кого мало ОЗУ рулит. Навигация. Визуализация

TagSieve - продвинутые возможности работы с тегами закладок. Сортировка, упорядочивание, визуализация

TileTabs - для тех у кого большие экраны. Позволяет просматривать сразу несколько вкладок на экране. Визуализация. Можно визуально сравнить инфу на двух страницах

treestyletab - позволяет разместить вкладки в виде дерева. Так что сразу видно какая вкладка из какой была открыта. Визуализация.

VocabularyHighlighter - автоматическая подсветка на странице заданным Вами стилем заданного Вам списка слов. Сразу видно есть то что Вы ищете на странице или нет. Визуализация

Wired-Marker - позволяет помечать цветом нужные места страниц и сохранять их в базе данных, так что Вы потом очень быстро сможете перейти к ним. Навигация. Визуализация

YetAnotherSmoothScrolling - настройки скорости и плавности скроллинга. Визуализация.

Господа! Хотелось бы не просто список расширений.
А именно тех, которые используются для АВТОМАТИЗАЦИИ поиска, сбора, анализа, фильтрации, дедубликации и визуализации информации. И удобной навигации по ней.
И ваши комментарии о методике их использования.

Аддоны для запоминания паролей, просмотра видео, обеспечения аноноимности, для обхода блокировок и т.п. конечно тоже полезны, но они к сабжу не относятся

27-10-2018 09:38:26
Если Вы используете какие-то скрипты для Greasmonkey и т.п., то опишите, что конкретно они делают, а не просто приводите название "Greasmonkey"

27-10-2018 09:40:51
понятно?

Мужики! А никому из вас не удалось прикрутить к Firefox автотегирование?
Ну, типа, ты описываешь правило и потому когда добавляешь закладки, потом добавляешь некоторые теги вручную, а затем применяются правила и автоматом к закладкам добавляются другие теги.

Просто я добавляю к закладкам вручную бывает что до 8-ми тегов, причем большинство из них повторяются в данный день от закладки к закладке.
Хотелось бы автоматического их добавления.

-----------------------------
И второе.
Как реализовать чёрный список (базу данных спама), чтобы из выдачи поисковиков не нужные мне сниппеты автоматом вырезались (или скрывались)

Ну типа как выше, задаешь правило и по этому правилу вырезаются сниппеты из выдачи гугла и яндекса.

А правила, типа, такие:
- Если в сниппете есть слова цена и велосипед - не показывать сниппет в выдаче
- Если в сниппете есть ссылки, которые я посещал месяц назад и более - скрыть данные сниппетыиппете
- Если в сниппете есть слово "ПУтин" но нет слова "Рейган" скрывать все сниппеты с данного домена
....

Ну вы поняли

HELP:mad:

Видимо никто тут не граббит и не парсит инет

Доктор ТуамОсес
А что эти дополнения не работают в esr 52,48,esr45,42, или принципиально только эта версия Фокса...

kokoss
Да. Именно так

kokoss
А Вы какие расширения юсаете для граббинга?

kokoss
чего молчите?