Die Frage ist: noch primitiver als der Arduino? Dann entwickelst dich ja zurück.

Was erhoffst du dir eigentlich von dem Umstieg? Der Arduino hat auch einen gängigen Mikrocontroller oben. Er entfernt nur einige der schlimmsten Einstiegshürden. Hardware ist vorbereitet, also Spannungsregler, Taktgeber, etc. Der bootloader erleichtert das raufspielen der eigenen Programme und die Entwicklungsumgebung hilft bei diesen Vorgang auch, kompliliert auf Knopfdruck und stellt einfache Bibliotheken zur Verfügung.

Damit kannst du jede Menge anstellen. Gründe zum Verwenden "ernsthafterer" Mikrocontroller sind vielleicht eingeschränkter Platz und dass du mehr direkte, taktgenaue Kontrolle über die Abläufe brauchst, vielleicht noch ein paar Mikrosekunden wo runterschaben musst.

Das muss man aber abwägen, ob es das bringt. Du brauchst eigene Programmiererboards, einfach über USB raufspielen ist nicht. Und man ist oft gezwungen sehr viel unangenehmere Sprachen (BASIC, C) zu verwenden.

Solange du die Möglichkeiten der Arduino-Plattform noch nicht ausgereizt hast, würd ich das locker angehen. Vielleicht erstmal auf RN-Wissen ein bisschen schmökern, bis du weißt was du alles brauchst bis du einen Mikrocontroller selbst programmieren kannst und mal in die Programmiersprachen einlesen.