Nachdem die µC mit 4,6V auch noch sicher funktionieren werden, würde ich diese mit einer Schottky-Dioden und einem folgenden Elko entkoppeln.
Wenn ein Servo unter Last wegläuft, kann es schon mal mehr als 500mA brauchen.