Die Werte machen genau das, was du von ihnen im Code verlangst.

char b[3];

Die Werte sind zwar ein Byte groß, werden aber in einem signed char gehalten.
Das heißt, dass beim Bit 7 nur das Vorzeichen unterschieden wird. Steht da eine 1 ist es negativ sonst positiv.
Damit bleiben nur jeweils Bit 0 bis 6 für die Werte und darin lassen sich nur 128 unterschiedliche Werte abbilden.
Es ist also gleichgültig, ob du dann diesen Wert in eine größere Variable speicherst.

Was ist jetzt daran so schlimm, dass du nur insgesamt 256 Werte je Richtung hast?

sast