В обсуждении на BugZilla о ссылке Sid Bug 536503 - Last downloaded-to directory should be remembered on a site-by-site basis давно найден способ решения данной проблемы. Для тех кто плохо понимает по английски:
Необходимо зайти на страницу about:config (вводить в строку адреса Firefox), подтвердить отказ от гарантий нажатием на кнопку (если попросит).
На появившейся странице с переменными настройки нажать правой кнопкой на свободном месте и в появившемся контекстном меню выбрать Создать -> Логическое.
В появившемся окне для ввода имени переменной ввести имя логической переменной: browser.download.lastDir.savePerSite  . Переменная добавится в список.
В списке найти созданную переменную, кликнуть на нее и изменить значение переменной на false
Все теперь при сохранении всегда будет предлагаться последняя использованная папка (Если конечно в основных настройках выбрано "Всегда выдаывть запрос на сохранение