Man kann ja den I2C Bus umschalten.
Es gibt richtge I2C Mux bausteine.
Es geht aber auch bestens mit dem 4052 Multiplexer (2x 4fach switch).
Müssten halt noch pullups dran, damit der grad nicht aktive slave immer noch einen definierten Pegel hat.