Du kannst die Zuweisung des Wertes direkt auf UBRR machen, ohne H und L.
Außerdem ist der interne Oszillator recht ungenau, ohne eine vorherige Kalibrierung (Es gibt auch Tricks, um den Oszi während des Betriebs anhand einer vorgegebenen Zeichenfolge von der seriellen Schnittstelle zu kalibrieren).
Deine Probleme kommen vermutlich vom internen Oszi, als Grundregel gilt eigentlich, dass man einen Quarz benötigt, wenn man den USART nutzen möchte.
Du kannst aber auch versuchen, die Geschwindigkeit extrem zu reduzieren, um die Frequenzfehler zu minimieren.

mfG
Markus