Das ist ein sehr schönes Skript. Man muß nicht gleich alles von vorne bis hinten verstehen.
Für das angesprochene Backpropagation ist meine Meinung nach von Interesse:
das Perzeptron
das SingleLagenPerzeptron
das MultilagenPerzeptron
die Aktivierungsfunktion
Deltaregel
Zum Verständniss der linearen Separierbarkeit helfen die graphischen Darstellung wie Abb. 5.10
Es hilft sehr sich das geometrisch vorzustellen bzw. zu visualisieren.
Die Programmiersprache ist eigentlich total egal. In einer objektorientierten Sprache wie C++ lässt es sich eben leichter strukturieren. Wenn man das NN im Prinzip verstanden, sollten zur Implementierung kaum Fragen offen sein.