Der 6N137 soll laut datenblatt bis 10Mbit/s gehen, daran sollte es also nicht scheitern.
Einige der Pegelwandler kommen auch mit 0 / 5 V Signalen klar, es ist dann aber wenig reserve für ein langes Kabel oder Störungen mehr drin.