При переходе на ссылку своего протокола из FF, он выдает диалоговое окно с предложением выбрать путь до обработчика моего протокола. Этот путь прописан в реестре, FF его видит, остается только отметить чекбокс "запомнить" выбор, и в будущем все будет как надо. Нюанс в том, чтобы исключить возникновение этого диалогового окна даже при первом переходе по ссылке.