Дело в том, что Файрфокс хранит профили в каталоге настроек приложений, обычно это внутри каталога Windows или Documents and Settings. Можно прописать другой пусть к профилю, но информацию о профилях он все равно будет искать там. Можно его заставить все хранить в той же папке, в которой он установлен. Но не нужно, ибо это уже сделали. Результат называется Portable Firefox.
У него есть два применения
1. Записываете на компакт-диск папку Portable Firefox с заранее установленными расширениями, теперь у Вас всегда с собой будет Файрфокс для демонстрации сайтов или возможностей браузера заинтересованным лицам
2. Записываете его на флэш-карту, и тогда Вы сможете носить с собой Файрфокс со всеми закладками, историей просмотренных страниц, СкрапБуком и так далее. Причем при работе с Файрфоксом все новые закладки, например, будут записываться на ту же флэшку.
Еще один резон - секретность. Особенно это касается Portable Thunderbird - тут у Вас с собой не просто почтовик, но и настройки почтовых ящиков, и вся почта. Вынули флэшку из USB-порта, и унесли с собой.

Portable Firefox
your browser, your way... in your pocket

Yettee
А я пользуюсь. Тут уж что сделаешь. Способа избавиться от предупреждения не знаю.
N.B.! Маленький момент. Он хочет записать на диск весь профиль. А это значит, что все дополнительные файлы тоже. Если у Вас есть коллекция ScrapBook этак на 600 мегабайт, это займет машину надолго, и на диске будет почти полная копия сидюка. Чтобы избавиться от этого эффекта, помещайте папку СкрапБук вне папки ПортаблФокс.