AT90USB1287 mit Nutzung von USB und UART mit 460800 Baud

stimmt, ihr habt Recht:

BAUD = fOSC / (8*(UBRRn + 1))

(im double speed mode).

Also, dann geht es mit 12 MHz auch vom UART her schon nicht, 460800 Baud zu realisieren (mal abgesehen von USB).