das ist doch nichts neues, dass Linux nicht echtzeitfähig ist und im user space alles mögliche parallel nebenher läuft (ob man will oder nicht), was die Programmperformance insgesamt mehr oder weniger extrem stört - angefangen mit den ganzen Daemons, die Linux schon mitbringt, und all die, die man dann noch von Hand startet (gpio, i2c, UART, SPI, HDMI, Grafik, WiFi stick mit Internet und wirelss mouse/keyboard ...) und jeder Sche*** hat noch seinen eigenen Task und seinen eigenen Ast im device tree, was meinst du warum ich Linux hasse wie die Pest...
Wenn du das alles rauslöschst, läuft es dann schneller, klar, aber sonst auch nichts anderes mehr.

und wenn der Compiler falsch eingestellt ist und falsch "optimiert", ist klar, dass auch da was anderes rauskommt:
Bare metal wär der Raspi wschl 10-20xx so schnell wie ein Due, was er aber normalerweise nicht ist.
Aber deswegen habe ich ja das OS und die compile / make parameter immer mit angegeben (Raspbian Jessie, was der normale Standard ist)