Profis machen so etwas mit 26LS31 und 26LS32 Bausteinen (differenziell / Stichwort "RS422").
Viele Incrementalgeber haben so etwas schon "OnBoard".
Die Leitung muss für jeden Kanal verdrillt sein (wie Richard schon erwähnt hat).
Dabei gibt es keine Masse !
Damit schaffst Du dann bei nicht zu hohen Frequenzen locker 100m.

Warum das ganze bei Dir mit TTL keine 5m läuft ist mir nicht ganz klar.
Was für ein Encoder ist das ?
Ist die Kapazität des Kabels zu groß ?
Vielleicht hilft auf der Empfangsseite ein Schmitt-trigger (wie Ranke erwähnt).