Какие практические ограничения на объем истории и закладок?

chicot · №1

Firefox 52 esr. В истории 40 тыс. элементов. В закладках 1 тыс. Поиск по мере набора в истории и в закладках отключен. Windows 7. Индекс производительности 5. В общем браузер субъективно стал тормозным. Год его не переустанавливал. Только обновлял. Ну а вопрос, собственно, в теме.

mokujin · №2

сделай это вот. VACUUM SQLite
Бэкап сделать незабудь.
Ну и папки-файлы поудалять из профиля лишние, но это надобно знать что и откудава растёт. Что точно можно спокойно тереть, это
- папки с именами : storage , startupCache , OfflineCache
- файлы с именами : webappsstore.sqlite permissions.sqlite cookies.sqlite и всё с расш. .sqlite-shm (это, вообще-то, уберет VACUUM SQLite)
Пробуй

Coroner · №3

mokujin пишет

папки с именами : storage

Вообще то там кроме настроек сайтов ещё и настройки дополнений хранятся (в папках с именами moz-extension+++xxxxxxxxxxxxx)
Так что удаление папки storage — это на любителя.

Добавлено 13-06-2018 00:07:26

chicot пишет

Какие практические ограничения на объем истории и закладок?

Ну поскольку это хозяйство хранится в файле базы данных, то ограничений нет (точнее ими можно пренебречь). Но если используется синхронизация, то есть ограничение на количество закладок в мобильном браузере (вроде бы 5000).

Отредактировано Coroner (13-06-2018 00:07:26)

chicot · №4

Установил Places Maintenance, произвел процедуру. Оказалось все нормально. Параллельно выяснилось, что истории максимально файл базы может хранить что-то около 110-120 тыс. уникальных страниц- у меня ПК. Так, что физический лимит я исчерпал на треть.
Также отключена подсветка посещенных страниц (еще один потенциальный тормоз).
А вообще, я, пожалуй, проведу опрос насчет практики.

Coroner · №5

chicot пишет

Также отключена подсветка посещенных страниц (еще один потенциальный тормоз).

Не тормоз. Или незаметный тормоз. Тем более если настройки хранения истории не изменялись. У меня параметр browser.history_expire_days установлен на десяток лет и история тянется ещё с [firefox] ESR 17, а это лет 8 уже, или 9.

chicot пишет

Параллельно выяснилось, что истории максимально файл базы может хранить что-то около 110-120 тыс. уникальных страниц- у меня ПК.

А как такие данные были получены?

chicot · №6

Coroner пишет

А как такие данные были получены?

При работе Places Maintenance проскакивеет инфо "History can store a maximum of 121524 unique pages".
В about:config у меня есть строка places.history.expiration.transient_current_max_pages;121524, но, как оказывается "установлено пользователем". Возможно я это число и выставил из расчета на три года. Сейчас не помню. Браузер устанавливал с год назад. А в настройки в этом году доселе и не заглядывал.

Coroner пишет

история тянется ещё с ESR 17, а это лет 8 уже, или 9.

И какое количество (порядок) запомнил браузер за это время, если не секрет?

Я вообще-то хотел создать опрос. Аж два раза пытался. Но, видимо, не разобрался, как опросник работает. Сейчас напишу модеру, чтобы удалил мой мусор в ветке

Coroner · №7

chicot пишет

И какое количество (порядок) запомнил браузер за это время, если не секрет?

А я даже не соображу как это узнать. :angel:
Думал поглядеть с помощью History Master, но там в статистике uBlock (панель управления) занимает 10%, Cookies Autodelete Settings аж 7%, так что количественная оценка истории будет чёрт знает какой... Да и не посмотреть мне весь период, виснет он от такого, производительность то у данного компьютера никакая и памяти мало...

Но ждать гигантского количества не стоит, браузер не единственный из используемых.

chicot пишет

Я вообще-то хотел создать опрос. Аж два раза пытался. Но, видимо, не разобрался, как опросник работает.

Если по объёму истории — то мало кто ответит. У многих она по умолчанию хранится, да и профиль бывает что новый делают.

Кстати: я замечал что некоторых посещённых мною некогда сайтов в истории нет. Во всяком случае найти их я не мог. Объяснить сроком хранения нельзя, так как он явно больше, чем дата посещения. Приватными окнами не пользуюсь с тех пор как перестало работать дополнение "приватная вкладка", контейнеры тоже не при чём.

chicot · №8

Coroner пишет

А я даже не соображу как это узнать.

А я вот таким макаром: Сtrl+Shift+B, выделить "Журнал", в поле "Поиск в журнале" - http (без "s"). Все отфильтрованное выделить Ctrl+A и через 5-7 секунд (в моем случае) выдается количество элементов.

Coroner · №9

chicot пишет

А я вот таким макаром: Сtrl+Shift+B, выделить "Журнал", в поле "Поиск в журнале" - http (без "s"). Все отфильтрованное выделить Ctrl+A и через 5-7 секунд (в моем случае) выдается количество элементов.

У меня выдал 88000 с копейками, после чего выдал предупреждение о неотвечающем сценарии и завис на фиг
Ну гигабайт памяти же, чего от него ждать...

Возникла мысля с помощью DB Browser for SQLite позырить файл places.sqlite
Но я не знаю — то ли это или не то.

скрытый текст

Grishanenko · №10

Win XP MyPal 28.7.1 и FF ESR 52.8.1
Использовал закладки для хранения сессий, несколько месяцев все вкладки сохранялись при выходе. Раскидывать по папкам и удалять дубликаты и лишнее не хватало времени.
Сейчас заметил что поиск в закладках стал ощутимо тормозить: 60-70 секунд. А вот в истории все отлично: 2-3 сек.
Подсчитал: история 18 274 записи, закладки 21 586. Размер places.sqlite 21 МБ.
Создал чистый профиль, перенес в него places.sqlite - аналогично.
Удалил places.sqlite, импортировал только закладки (.jsonlz4) - без изменений.
Сделал Vacuum - уменьшился до 17 МБ, но после нескольких перезапусков (без серфинга) - снова 21 МБ.
Более того, я уже очень давно замечал что FF в диспетчере задач показывает какие-то запредельные цифры в колонке "Прочитано байт". Но не было времени разобраться в какой момент это происходит. Сейчас обратил внимание. Именно при поиске в закладках данная колонка увеличивается примерно так:
8 533 346 857
79 571 487 289
т.е. на 70 ГигаБайт за 1 минуту. Для старенького винчестера это просто фантастика. Но в каждой шутке есть доля шутки, не просто так ведь FF думает целую минуту.
Ни за одной из кучи программ втч за 2-4 недельные аптаймы таких цифр и близко не было замечено.
Удалил часть закладок, осталось 15 000. Поиск 20-25 секунд.
Удалил еще. Остаток 5 000 - поиск мгновенный.
Очень странно что и история и закладки хранятся в одном файле, но поиск в нем происходит с такой огромной разницей по времени.

chicot пишет

Поиск по мере набора в истории и в закладках отключен.

Где прячется такая настройка? Перерыл все - не нашел.
А то ведь действительно получается что как только я ввожу первый символ, то FF начинает процесс поиска по нему и залипает. Остаток запроса я ввожу вслепую. И только при окончании происходит вторая (если повезет) часть поиска. Так что время увеличивается.

Отредактировано Grishanenko (20-02-2020 14:46:19)

Grishanenko · №11

Решил я проверить актуальность этой проблемы для разных версий FF.
Порядок действий:
1. Запускаю портабельный FF без профиля.
2. Импортирую bookmarks.htm размером 34 MB, в нем содержится 23066 записей.
3. Перезапускаю FF.
4. Смотрю на значение "Прочитано байт" в диспетчере задач.
5. Делаю поиск в закладках "google" (2479 записей).
6. Засекаю время до вывода результатов.
7. Смотрю на значение "Прочитано байт" в диспетчере задач, записываю разницу.

Двигаюсь от новых версий к старым. Проверяю на WinXP (железо слабее) и Win7 (железо мощнее).
FF_ 73.0.1 Прочитано 44 GB. Время поиска Win7=0 мин 47 сек
ESR 68.5.0 44 GB Win7=0:39
MyPal 28.8.2 44 GB WinXP=1:20
FF_ 65.0.0 44 GB Win7=0:40
ESR 60.5.0 44 GB Win7=0:43
ESR 52.9.0 80 GB WinXP=5:30
ESR 52.8.1 80 GB WinXP=5:20
ESR 52.3.0 80 GB WinXP=5:30
ESR 52.1.0 80 GB WinXP=5:30 Win7=2:45
ESR 45.4.0 44 GB WinXP=1:20 Win7=0:39
FF_ 48.0.2 80 GB WinXP=5:30
FF_ 39.0.0 80 GB WinXP=5:45
FF_ 35.0.0 80 GB WinXP=7:30
FF_ 33.0.0 80 GB WinXP=8:15 Win7=3:30
FF_ 32.0.3 44 GB WinXP=1:25
FF_ 32.0.2 44 GB WinXP=1:25
FF_ 32.0.0 44 GB WinXP=1:25
FF_ 31.0.0 44 GB WinXP=1:25
FF_ 30.0.0 44 GB WinXP=1:20
FF_ 26.0.0 44 GB WinXP=1:25
FF_ 23.0.0 44 GB WinXP=1:20
FF_ 22.0.0 44 GB WinXP=1:20 Win7=0:38

скрытый текст

FF_ 21.0.0 2 MB WinXP=0:07 Win7=0:03
Занавес!

Получается что капитально все поломали в далеком 2013 году при переходе от версии 21.0 к 22.0 и за прошедшие 7 лет никто ничего не заметил. И потом еще подпортили после версии 32.0.3 и в ветке ESR 52 проблему не устранили. Спасибо MyPal за допиливание новых версий для поддержки XP. Исключение ESR 45.4.0 (почему?).

Grishanenko · №12

MyPal 28.7.1
Еще почистил дубликаты закладок. Всего 14073.
Поиск "google" занимает 14 сек (1804 записи).

Добавил 10 папок (формат "200304_01" "200304_02" "200304_03" ...) по 100 закладок (открытые сейчас вкладки). Всего 15073.
Поиск "google" занимает 14 сек.

Добавил 10 папок по 100 закладок. Всего 16073.
Поиск "google" занимает 14 сек.

17073 = 14 сек
18073 = 14 сек
19073 = 14 сек
20073 = 15 сек
21073 = 16 сек
22073 = 17 сек
23073 = 17 сек
24073 = 20 сек

25073 = 49 сек
Оп-па! Резкое увеличение времени поиска. Удаляю по одной папке:

24973 = 49 сек
24873 = 45 сек
24773 = 40 сек
24673 = 37 сек
24573 = 30 сек
24473 = 29 сек
24373 = 24 сек
24273 = 23 сек
24173 = 20 сек

Т.е. некое критическое число 24 000 закладок. После него 100 закладок увеличивают время поиска примерно так же, как 1000 закладок увеличивали ранее.
Создаю папку 20200304 и переношу в нее созданные сегодня папки.
Поиск 20 сек.
Переименовал "200304_01" в "200304_001" и так все 99 папок. Не думал что их будет так много.
Поиск 20 сек.

Добавляю в корень 10 папок ("200304_201" ...) по 100 закладок.
Поиск 49 сек.

Полезная информация

№112-06-2018 18:58:57

Какие практические ограничения на объем истории и закладок?

№212-06-2018 20:10:20

Re: Какие практические ограничения на объем истории и закладок?

№313-06-2018 00:04:07

Re: Какие практические ограничения на объем истории и закладок?

№413-06-2018 08:00:34

Re: Какие практические ограничения на объем истории и закладок?

№513-06-2018 10:06:05

Re: Какие практические ограничения на объем истории и закладок?

№613-06-2018 18:32:52

Re: Какие практические ограничения на объем истории и закладок?

№713-06-2018 20:10:19

Re: Какие практические ограничения на объем истории и закладок?

№813-06-2018 22:24:00

Re: Какие практические ограничения на объем истории и закладок?

№914-06-2018 10:45:35

Re: Какие практические ограничения на объем истории и закладок?

№1018-02-2020 22:15:37

Re: Какие практические ограничения на объем истории и закладок?

№1122-02-2020 08:45:26

Re: Какие практические ограничения на объем истории и закладок?

№1204-03-2020 10:04:05

Re: Какие практические ограничения на объем истории и закладок?

Board footer