Есть ли возможность настроить [thunderbird] таким образом, чтобы составление нового письма открывалось во вкладке, а не в новом окне?

Нет.