Allerdings kann IR-Strahlung (wie z.B. von direktem oder indirektem Sonnenlicht)
Der Wellenlängen-Empfindlichkeitsbereich der Empfänger liegt (MEISTENS) genau in dem Bereich der bei natürlichem Sonnenlicht kaum zu finden ist, da gibt es wohl ne Lücke im Spektrum der Sonne
Außerdem ist das Licht moduliert. Nur ein direkter Lichteinfall in die Linse würde stören. Solange der empfangende Pixel nicht in Sättigung geht wird man trotzdem Tiefeninformation bekommen.

EDIT: Zur Info, ich habe Berufsbedingt ne Schulung von Texas Instuments für ihren TOF Sensor mitgemacht und hab verschiedene Szenarien ausprobiert. Die Testgeräte hatten allerdings alle jeweils 4 Laserdioden für maximale Helligkeit und selbst 8 Kameras die gelichzeitig in den gleichen Raum hinein blitzen hatten fast keine Interferenz, nur wenn man direkt in den Lichtstrahl eines anderen Modul geguckt hat gabs eine Übersteuerung der Pixel nahe der Lichtquelle.