При переходе на ссылку своего протокола из FF, он выдает диалоговое окно с предложением выбрать путь до обработчика моего протокола. Этот путь прописан в реестре, FF его видит, остается только отметить чекбокс "запомнить" выбор, и в будущем все будет как надо. Нюанс в том, чтобы исключить возникновение этого диалогового окна даже при первом переходе по ссылке.

Подозреваю, что никак, и это прекрасно. Вы представляете, какая интересная уязвимость была бы.

Можно, если установить расширение, которое регистрирует XPCOM-компонент. Компонент должен иметь ContractID '@mozilla.org/network/protocol;1?name=protocol_scheme' и реализовать интерфейс nsIProtocolHandler, где protocol_scheme - схема вашего протокола.