Hallo,
Du kannst uns auch deinen Test-Code zukommen lassen, evtl. lässt sich dann leichter erkennen woran es liegt.

Wegen dem nicht bekanntem Register vermute ich mal, der Controllername ist nicht richtig eingestellt, kann man im Makefile bei MCU angeben.
Dann werden mit #include <avr/io.h> auch die richtigen Namen eingebunden.

Beim Mega168 heisst Die UART UART0, deswegen muss man das auch im Namen angeben. In diesem Fall dann UCSR0B !

Die Baudrate muss man sich selber errechnen, anhand der CPU-Frequenz, das steht u.a. im DB, oder evtl. auch bei uns irgendwo im Wiki.
Der errechnete Wert kommt dann ins UBRR0 (BaudRateRegister UART0)
Auch die anzahl Stopbits, Parity usw. wird in den Registern angegeben.

Wenn Du nicht weisst wie es um die Fusebits steht, musst du sie einfach mal auslesen, erleichtert die weitere Arbeit ungemein
IMHO ist da an dem Mega168 noch nix umgestellt, also läuft der mit internen 1MHz.

Interessant wäre auch noch zu wissen mit welcher Hard- und Software Du hier zu werke gehst.