Das ToString wandelt bei dem Datentyp Byte nunmal leider das Byte in dessen Repräsentation als Dezialzahl um.
Versuch mal ConvertToString() zu verwenden. Wenn nicht musst du das byte erst in einen char casten und diesen dann mit ToString in einen String umwandeln.

Das casten geht so:

byte GelesenesByte = serialPort1.ReadByte();
char MeinChar = (char)GelesenesByte;
label1.Text = MeinChar.ToString();