Полезная информация

Список ответов на каверзные вопросы можно получить в FAQ-разделе форума.
  • Форумы
  •  » Firefox
  •  » "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

№109-07-2008 11:50:12

Rosenfeld
Linux registered user # 526899
 
Группа: Members
Откуда: ‎
Зарегистрирован: 21-10-2005
Сообщений: 4642
UA: Firefox 3.0
Веб-сайт

"Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Хочу описать одну интересную ситуацию.

Несколько лет подряд работаю на разных версиях FF Portable, расположенном (в криптоконтейнере) на USB-флешке, зашифрованной при помощи Truecrypt (тремя алгоритмами - Serpent-Twofish-AES).

Флешка старенькая, есть у меня в хозяйстве и побольше, однако я дорожу именно ею из-за скорости чтения / записи.

Сам криптоконтейнер - это обычный файл, размером в 100 Мб, в котором поместились portable-варианты Firefox, Thunderburd, Eraser и Password Save.

Недавно стал замечать, что катастрофически теряю место в криптоконтейнере.

Т.е. вначале было свободно примерно 50 Мб, но когда осталось примерно 1-2(!), тут я уже заинтересовался ситуацией.

Кэш в ФФ я не включаю в принципе, количество сохраненных резервных копий букмарков у меня сведено к единице, количество резервных копий паттернов в Ад-Блок Плюс - тоже стоит на единице.... Личные данные, накопленные во время сессии, автоматически стираются при выходе из ФФ.

И тут я вспомнил про две опции в ФФ - информировать, подозреваются ли сайты:

1) в атаках;
2) в имитации других сайтов.

И обычным виндовым поиском я обнаружил, что файлик urlclassifier3.sqlite разросся у меня до размеров... больше чем в 40 Мб! Стал экспериментировать - выключил эти обе опции, перезагрузил ФФ - результат тот же - т.е. на диске свободного пространства не прибавилось.

Пришлось удалять вручную.
После перезагрузки ФФ сам автоматически создал такой же файл, но размером уже в 32 кб.

Короче говоря, если кто-то столкнется со случаем немотивированного  "разрастания" ФФ на носителе - копайте в эту сторону.

В Firefox Portable этот файлик сидит в: ...\FirefoxPortable\Data\profile


Project Rosenfox:  Pure, fast and secure inner settings for Mozilla Firefox. Global and complete manual on GitHub.

Отсутствует

 

№209-07-2008 12:10:52

Al_H
Away
 
Группа: Members
Откуда: SPb
Зарегистрирован: 10-06-2005
Сообщений: 5508
UA: Sunrise 1.7

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

количество сохраненных резервных копий букмарков у меня сведено к единице,

Это очень и очень зря, поставьте в 3. Вы можете сказать, что у Вас всяких случаев не случается, а у меня вот случались, хоть и давно. Нужно иметь бэкап закладок, где бы Вы их ни хранили, хоть в СкрапБуке... который, кстати, делает бэкапы структуры дерева.

А вот интересно, он бы так и разрастался?

Отредактировано Al_H (09-07-2008 12:11:33)

Отсутствует

 

№309-07-2008 12:30:06

Rosenfeld
Linux registered user # 526899
 
Группа: Members
Откуда: ‎
Зарегистрирован: 21-10-2005
Сообщений: 4642
UA: Firefox 3.0
Веб-сайт

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Вы можете сказать, что у Вас всяких случаев не случается, а у меня вот случались, хоть и давно.

Если честно - НИ РАЗУ!
Работаю очень интенсивно, много, часто вбиваю-удаляю ссылки.
Не наблюдал вообще такого явления, начиная с версий 0.х.х

Просто везет? :)


Project Rosenfox:  Pure, fast and secure inner settings for Mozilla Firefox. Global and complete manual on GitHub.

Отсутствует

 

№409-07-2008 12:48:07

Al_H
Away
 
Группа: Members
Откуда: SPb
Зарегистрирован: 10-06-2005
Сообщений: 5508
UA: Sunrise 1.7

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Это некритичное протранство, оно сильно больше файлВашихЗакладок x 3 места не займет. Не добивайтесь того чтобы закладки потерялись ровно за два дня до того как Вы установите автобэкап.

Отсутствует

 

№524-07-2008 16:02:16

akrot
Участник
 
Группа: Members
Зарегистрирован: 24-07-2008
Сообщений: 1
UA: Firefox 3.0

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Вот что нашел по этому поводу:
"Он обновляет базу данных urlclassifier3.sqlite (хранится в профиле) - там находится кэш опасных сайтов. Относительно него будет осуществляться проверка фишинга и остальное (альтернативой является онлайновая проверка, когда на каждый урл происходит проверка гуглом, что сайт нормальный, но многим это не нравится - потенциальная утечка информации о сайтах, на которых ты бываешь). Файл должен быть большой, порядка 15 мегов, поэтому он не идет в дистрибутиве, а скачивается потихоньку в периоды бездействия во время обычной работы браузера. Скачка идет с гугла; разумеется, пока файл до конца не скачан, защита от фишинга работать не сможет. После окончания скачивания "утечка" трафика прекратится, и только изредка будут докачиваться маленькие (килобайты) обновления. Исправляется просто,  настройка-- защита--- убрать галки с "не подозревается ли сайт....", убрать галки с автоматического поиска обновлений как на браузер, так и на дополнения. И ставить фаер."

Отредактировано akrot (24-07-2008 16:03:05)

Отсутствует

 

№624-07-2008 16:03:54

Rosenfeld
Linux registered user # 526899
 
Группа: Members
Откуда: ‎
Зарегистрирован: 21-10-2005
Сообщений: 4642
UA: Firefox 3.0
Веб-сайт

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Так именно об это речь выше и шла :)


Project Rosenfox:  Pure, fast and secure inner settings for Mozilla Firefox. Global and complete manual on GitHub.

Отсутствует

 

№724-07-2008 17:18:53

Al_H
Away
 
Группа: Members
Откуда: SPb
Зарегистрирован: 10-06-2005
Сообщений: 5508
UA: Sunrise 1.7

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

поэтому он не идет в дистрибутиве, а скачивается потихоньку в периоды бездействия во время обычной работы браузера.

На обновления тоже будет тратиться трафик. Поэтому сложно говорить, что утечка прекратится.

Отсутствует

 

№829-07-2008 02:19:49

axle
Участник
 
Группа: Members
Зарегистрирован: 08-04-2006
Сообщений: 22
UA: IE 7.0

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Сейчас посмотрел у меня размер urlclassifier3.sqlite составляет 58 МБ это за 2 дня работы , что дальше просто интересно :)

Отсутствует

 

№902-08-2008 12:05:44

kumarp
Участник
 
Группа: Members
Зарегистрирован: 02-08-2008
Сообщений: 1
UA: Firefox 3.0

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

akrot
А если на этот файлик поставить "read only", работа ff останется стабильной?

Отсутствует

 

№1007-04-2009 23:53:43

vastagan
Участник
 
Группа: Members
Зарегистрирован: 07-04-2009
Сообщений: 1
UA: Firefox 3.0

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

я у себя делаю раз в день так:

# заменяем рисунки в places.sqlite на пустой gif 1x1
# конечно, это dirty-hack, но реально уменьшает размер places.
echo "update moz_annos set content = 'data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==' where content like '%base64%' and content like '%image%' ; vacuum; " | sqlite3  places.sqlite

# оптимизируем базы
for i in *.sqlite; do echo "VACUUM;" | sqlite3 $i ; done

Также можно поставить экстеншн SQLite Manager https://addons.mozilla.org/en-US/firefox/addon/5817  и делать это через него.

Отсутствует

 

№1119-04-2009 10:55:28

Frey
Участник
 
Группа: Members
Откуда: Ульяновск
Зарегистрирован: 10-09-2005
Сообщений: 116
UA: Firefox 3.0

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

хм, больше подходящей темы не нашл, поэтому задам вопрос здесь
вчера почитал где-то про медленный запуск файра
выяснилось, что в процессе старта он засасывает в себя places.sqlite
все бы ничего, да разросся этот непонятный и в принципе ненужный файлик до 27 МБ.

снёс его к чертям, запустил файр, скопировал закладки с Xmarks, файл стал весть 200 КБ. Второй день наблюдаю тенденцию к росту (уже 700 КБ).
Вопрос - как сказать файрфоксу оставить этот файл в покое?
И что будет если поставить в свойствах файла "только чтение"?

Отсутствует

 

№1219-04-2009 11:25:56

Shutnik
Happy Arch Linux User
 
Группа: Extensions
Откуда: Tyumen ✈ Dnipropetrovsk
Зарегистрирован: 12-11-2005
Сообщений: 3785
UA: Firefox 3.1
Веб-сайт

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

vastagan пишет:

# заменяем рисунки в places.sqlite на пустой gif 1x1
# конечно, это dirty-hack, но реально уменьшает размер places.
echo "update moz_annos set content = 'data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==' where content like '%base64%' and content like '%image%' ; vacuum; " | sqlite3  places.sqlite

не проще ли один раз переключить browser.chrome.favicons и browser.chrome.site_icons в false?

Frey пишет:

все бы ничего, да разросся этот непонятный и в принципе ненужный файлик до 27 МБ.

этот непонятный и ненужный файл хранит историю посещений, закладки, иконки сайтов, теги и ключевые слова для закладок

Frey пишет:

Вопрос - как сказать файрфоксу оставить этот файл в покое?

возможно какое-то расширение часто в него что-то пишет
я создавал новый профиль три месяца назад, сейчас файл разнимает 295 кб

Frey пишет:

И что будет если поставить в свойствах файла "только чтение"?

по крайней мере закладки не будут сохраняться

Отредактировано Shutnik (19-04-2009 11:27:38)


Life's emblem here, in youth and vernal bloom,
But reason's finger pointing at the...

Отсутствует

 

№1319-04-2009 11:37:00

Frey
Участник
 
Группа: Members
Откуда: Ульяновск
Зарегистрирован: 10-09-2005
Сообщений: 116
UA: Firefox 3.0

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Shutnik пишет:

возможно какое-то расширение часто в него что-то пишет
я создавал новый профиль три месяца назад, сейчас файл разнимает 295 кб

спасибо за быстрый ответ
а возможно ли тогда как-то просмотреть его содержание, чтобы понять, что так раздувает его размер?

да, при включении read only даже закладки не грузятся...

Отсутствует

 

№1419-04-2009 11:55:17

Shutnik
Happy Arch Linux User
 
Группа: Extensions
Откуда: Tyumen ✈ Dnipropetrovsk
Зарегистрирован: 12-11-2005
Сообщений: 3785
UA: Firefox 3.1
Веб-сайт

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Frey пишет:

а возможно ли тогда как-то просмотреть его содержание, чтобы понять, что так раздувает его размер?

можно через SQLite Manager


Life's emblem here, in youth and vernal bloom,
But reason's finger pointing at the...

Отсутствует

 

№1508-05-2009 12:09:39

nemo_Z
Участник
 
Группа: Members
Зарегистрирован: 03-05-2009
Сообщений: 3
UA: Firefox 3.0

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Это Anti-Phishing. Отключается Настройки-> Защита, отключить пункты «Информировать, не подозревается ли посещаемый веб-сайт в имитации другого веб-сайта» (в Firefox 3 дополнительно следует отключить параметр «Информировать, не подозревается ли посещаемый веб-сайт в атаках на компьютеры») и удалить urlclassifier3.sqlite.
Подробнее Disable Anti-Phishing http://portableapps.com/support/firefox_portable

Отредактировано nemo_Z (08-05-2009 12:27:35)

Отсутствует

 

№1615-11-2009 14:35:56

LENIN
Участник
 
Группа: Members
Зарегистрирован: 20-06-2006
Сообщений: 45
UA: Firefox 3.5

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Добрый день.
Заинтересовался уменьшением файла places.sqlite. Несмотря на то, что установлено "хранить историю за последние 14 дней", сегодня в закладке истории (ctrl+h) обнаружил записи и за октябрь, как это объяснить? Удалил историю за октябрь, файл уменьшился на 5 мб (25%)... вроде как из-за моих манипуляций, но полностью не уверен. :D Залез в файл через sqlitemanager, больше всего записей в moz_places (40k) и в moz_historyvisits (16k). Чем они отличаются? и что в них можно удалить? Пытался сделать это по дате, но она там в каком-то странном формате :lol:, у некоторых записей ее нет вообще. В favicons 900 записей, можно ли как-то оценить объем который они занимают (посредством sql запроса например)? Много это или мало? Может они систему тормозят и место азнимают?
Все мои манипуляции связаны с вот этим

LENIN пишет:

У меня во время первого запуска и попытки ввода в адресной строке фф подвисает секунд на 5-10 намертво.

упд
Хм, отфильтровал журнал "vkontakte", судя по всему это бОльшая часть журнала, хотя ею-то никогда и не пользуюсь. Можно ил как-то отучить журнал сохранять инфу с определенных сайтов? Сейчас попрою удалить все записи о вконтакте, посмотрим что изменится.
упд2
При помощи delete from moz_places where url like '%vkontakte.ru%'; удалось уменьшить с 15 до 8 мб
Добавив вместо домена вконтакте еще пяток любимых сайтов (включая яндекс и гугуль) уменьшилось до 4 мб :music:
упд3
Теперь описаных тормозов нет вообще :music:
Правда почему-то исчезла часть закладок, пришлось восстанавливать через управление закладками

Отредактировано LENIN (15-11-2009 16:57:48)

Отсутствует

 

№1701-12-2009 01:03:02

Kreker
Участник
 
Группа: Members
Зарегистрирован: 01-12-2009
Сообщений: 1
UA: Firefox 3.5

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

А я заметил следующую особенность:
У меня субноут с SSD. При запуске Firefox, когда ноут подключен к интернету, firefox активно пишет в urlclassifier3.sqlite (выяснил через filemon), да так активно, что ноут подвисает минут на 10, что очень напрягает, т.к. когда нужно срочно включится в работу, а у меня ноут висит :(
Прочитав тему, я понял, что база сайтов обновляется регулярно и, похоже, единичными вставками (исходя из скорости наполнения базы).
Началось такое после установки FF 3.5, продолжается и в последней версии.

nemo_Z, спасибо за совет.

Отредактировано Kreker (01-12-2009 01:04:36)

Отсутствует

 

№1801-12-2009 03:37:13

okkamas_knife
We are the Borg.       Resistance is futile.
 
Группа: Members
Зарегистрирован: 21-10-2009
Сообщений: 9524
UA: Firefox 3.5

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

лучшие средства антифишинга  и  защита от вредоносных сайтов это не urlclassifier3.sqlite и не гугль,а ноускрипт  обязательно в сочетании с внимательностью и отсутствием любопытства плюс здравый смысл.
все вредоносные сайты жестоко обламываются выключенными скриптами.
а все фишинговые сайты обламываются протым вниманием принаборе адреса  и контролем того что находится в адресной строке перед тем как набрать пароль..
ну и не тыркать куда попало.

Отредактировано okkamas_knife (01-12-2009 03:37:59)


я помню те времена когда обновления программ убирали проблемы и исправляли баги, а не добавляли их.

Отсутствует

 

№1925-01-2010 04:11:10

Karsonito
Участник
 
Группа: Members
Зарегистрирован: 08-08-2008
Сообщений: 4
UA: Firefox 3.6

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

LENIN пишет:

Добрый день.Заинтересовался уменьшением файла places.sqlite. Несмотря на то, что установлено "хранить историю за последние 14 дней", сегодня в закладке истории (ctrl+h) обнаружил записи и за октябрь, как это объяснить? Удалил историю за октябрь, файл уменьшился на 5 мб (25%)...

Аналогичная история. Пробовал на чистом профиле - история посещений сама не чистится. Если включить опцию Очищать историю при закрытии, то удаляется целиком. Может глюк, хотя странно что до сих пор не исправили (еще с двойки).

Добавка: поковырял немного - оказывается у фокса свои завихрения на этот счет. Есть такая опция - browser.history_expire_days. По умолчанию - 180. При этом значении устаревание истории вообще не происходит! Поверьте, я проверил. Только меняем на любое другое - (179 или 181) и старые записи (больше 179 и 181) исчезают.
Кроме того есть browser.history_expire_days_min, он как раз меняется из интерфейса - "Хранить историю за последние ...".
Итого: меняем browser.history_expire_days и browser.history_expire_days_min на любое удобное значение кроме 180 :-)

Отредактировано Karsonito (25-01-2010 05:57:40)

Отсутствует

 

№2025-01-2010 08:50:54

LENIN
Участник
 
Группа: Members
Зарегистрирован: 20-06-2006
Сообщений: 45
UA: Firefox 3.6

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

А чем отличаются эти 2 параметра вы поняли?
Еще есть параметр history_expire_days_mirror за что он отвечает? Где можно посмотреть?
Ответ на мой вопрос:
http://forum.mozilla-russia.org/viewprintable.php?id=28992
upd2:
Изменил в about:config время истечения минимальное и максимальное до 14 и 28 дней соответственно, а количество сайтов до 5000 тыс. Но после перезапуска бразузера places.sqlite не уменьшился в размерах, а таблички moz_historyvisits и moz_places содержат 53к и 40к записей соответственно.
как их запилить?

Отредактировано LENIN (25-01-2010 09:28:56)

Отсутствует

 

№2125-01-2010 09:56:46

Karsonito
Участник
 
Группа: Members
Зарегистрирован: 08-08-2008
Сообщений: 4
UA: Firefox 3.6

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Я пробовал на чистом профиле - там все работает как я и описал.
Сейчас проверил на рабочем - не чистит он историю. Перезапустил - не помогло.
Попробовал и browser.history_expire_sites - тоже никакого эффекта.

Кстати places.sqlite сам не уменьшится в размере - нужно дополнительно делать Compact Database из sqlite manager.

Отсутствует

 

№2225-01-2010 10:08:32

LENIN
Участник
 
Группа: Members
Зарегистрирован: 20-06-2006
Сообщений: 45
UA: Firefox 3.6

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Угу, я производил это действие.
Может кто расскажет как заставить фф сам себя вычистить? :D

Отсутствует

 

№2325-01-2010 10:50:28

Normah
Участник
 
Группа: Members
Зарегистрирован: 24-03-2009
Сообщений: 209
UA: Firefox 3.6

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Я себе как поставил хранить историю 7 дней, так он и делает...:whistle:

Делал это путём изменения параметра browser.history_expire_days на 7.

Karsonito зачем Вы предлагаете менять этот параметр на 179 или 181? Вам удобно хранить историю полгода? Конечно, с этим параметром история САМА никак не очистится.

Отсутствует

 

№2425-01-2010 11:26:13

Karsonito
Участник
 
Группа: Members
Зарегистрирован: 08-08-2008
Сообщений: 4
UA: Firefox 3.6

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Normah пишет:

Karsonito зачем Вы предлагаете менять этот параметр на 179 или 181? Вам удобно хранить историю полгода? Конечно, с этим параметром история САМА никак не очистится.

Вы не поняли: я _думал_ (сейчас уже нет), что 180 - это такое магическое число. А оказалось, что тут еще запутаннее.

Короче, настроил browser.history_expire_days на 7 дней, но история не очистилась.
FF 3.6.
Отправил сообщение, снова глянул в историю (Ctrl+Shift+B) - процесс пошел. Уже 1 день истории стёрся. Хитра лисица.

Отредактировано Karsonito (25-01-2010 11:36:25)

Отсутствует

 

№2525-01-2010 11:30:28

Rosenfeld
Linux registered user # 526899
 
Группа: Members
Откуда: ‎
Зарегистрирован: 21-10-2005
Сообщений: 4642
UA: Firefox 3.5
Веб-сайт

Re: "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Ну и все правильно - теперь ждите 7 дней и она очистится! :)


Project Rosenfox:  Pure, fast and secure inner settings for Mozilla Firefox. Global and complete manual on GitHub.

Отсутствует

 
  • Форумы
  •  » Firefox
  •  » "Разрастание" Firefox на накопителе: urlclassifier3.sqlite > 40 Мб!

Board footer

Powered by PunBB
Modified by Mozilla Russia
Copyright © 2004–2011 Mozilla Russia
Язык отображения форума: [Русский] [English]