Сервер моего провайдера поддерживает SSL для POP3 (работает на 995 порту) и StarTLS для SMTP.
Используя TB2 я без проблем использую шифрованные соединения.

Thunderbird ругается, что используется самоподписанные сертификаты и ни в какую не хочет работать (хотя сертификаты на самом деле нормальные)

Как заставить его работать с "самоподписанными сертификатами" (если он их считает таковыми) ? Может что в конфиге можно подправить?

Добавьте эти сертификаты в менеджер сертификатов Thunderbird.