Ich würde mal empfehlen, X u. Y mit den werten 0-15 zu belegen, das ist insgesamt einfach logischer und einfacher.
Nur VOR DEM ZUGRIFF auf die Tabelle würd' ich den Wert RDA2 um 1 erhöhen, damit der Bascom friedlich bleibt.
Sonst ist deine Berechnung richtig, das Problem muß woanders liegen (DIM ?)

Was anderes: Hast du schon überlegt, EIN byte für den Zugriff zu verwenden, Hi-Nibble = X und Lo-Nibble = Y ?
Für den fall 16 * 16 ist das einiges flotter