Ab man wirklich 40 mA pro Segment braucht hängt von der Umgebunshelligkeit und ob eine Filterscheibe benutzt wird ab. Die Helligkeitsdaten sind immerhin für 10 mA angegeben. Die Daten zu den LEDs beziehen sich wohl alle auf eine einzelne LED.
Drei Stellen kann man noch ganz gut gemultiplexed ansteuern, dann braucht man nicht so viele Treiber.

In den Displays sind LEDs ohne erkennbaren Vorwiderstand parallelgeschaltet. Der Innenwiderstand der LEDs muss dann für die gleichmäßige verteilung des Stroms sorgen. Das geht besser bei höherem Strom, wie er bei gemultiplexter Ansteuerung benutzt wird.

Die Segmente könnte man zur Not auch direkt vom 5 V Controller Ansteuern, denn auch im Auszustand kann mindestens 1 V pro LED anliegen. Ich würde es aber nicht daraufankommenlassen, und der maximale Strom des AVR ist auch etwas knapp.