Der LM317 sollte unbedingt zwischen GND und Ein- und Ausgang so nah den Pins, wie möglich, vielschicht Keramikkondensatoren 100 nF (0,1 µF) haben, sonst kann er oszillieren.

Der Poti kann auch das Oszillieren verursachen, wenn er grösser als ca. 500 Ohm ist. Besser wäre den Pin ADJ direkt an GND zu schliessen, da der MP3-Player mit 1,25 V noch richtig funktionieren sollte.

MfG