Du könntest die beiden Spannungen über zwei Dioden zusammen führen. Also einmal Anode am Regler, einmal Anode am USB, Kathoden zusammen an die Schaltung.

Wenn du dich einfach so an den USB anklemmst, ist das natürlich absolut gegen den USB-Standard. Eigentlich darf man ohne Anmeldung nur wenige mA ziehen. Aber da hält sich sowieso niemand dran...