Wenn du an einer 5V Spannungsquelle einen 5V Spannungsregler anschliesst, kommen am Ausgang des Spannungsreglers keine 5V mehr an. Ja nach Art des Spannungsreglers müssen am Eingang mindestens 6-7 Volt anliegen.
Versuche einfach das Display erst anzuschliessen, wenn deine Quellspannung auf >7V ist und das Display somit 5V erhält. Ein langsames Ansteigen der Versorgungsspannung mögen viele Displays nicht.

P.S.: hast du den Spannungsregler auch mit den evtl. nötigen Kondensatoren beschaltet? 4.9 - 5.2V scheint mit ein für einen Spannungsregler recht hoher Schwankungsbereich zu sein.

Gruß MeckPommER