Die Sinusfunktion (und ihre Geschwister) ist in der AVRLib math.h definiert als

double sin ( double __x )

da kommt die Variable sowieso als double zurück. Wenn ich mich nicht total irre, rechnet der GCC intern diese Funktionen als single - das spielt aber für Dich sowieso keine Rolle: Es sind auf alle Fälle Argument und Rückgabewert Gleitkommazahlen im double-Format und keine Ganzzahlen.

... Wie ist es denn möglich eine "Double-Zahl" über den RP6 auszugeben? ...
Leider kann ich Dir zum RP6 nicht helfen. Aber wenn Du nicht weißt wie das ausgegeben wird - dann ist wohl Deine Ausgabekonvertierung das Problem.