Solange Du nur schreibend auf das Display zugreifst, sollte das gehen. Es gibt aber Puffer, die auch die Pegel konvertieren, das wäre sicherer. 74LVX4xxx, oder so.

Such mal nach 74LVC4245A (gibt's, glaube ich, bei reichelt)