Jetzt wird es interessant, denn wir sind weit vom ursprünglichen Thema weg und bewegen uns auf einen Punkt zu, den noch niemand überzeugend gelöst hat.

Was die Priorisierung des Menschen vor Tieren und Dingen angeht, finde ich das sinnvoll.
Was aber eine Priorisierung der Menschen untereinander angeht, kommen Probleme auf, denn jeder priorisiert anders. Und wenn es um Menschenleben geht, wird man keine einheitliche für alle passende Priorisierung finden.
Die Priorisierung nach Überlebenswahrscheinlichkeit erscheint auch mir am einfachsten durchzusetzen, auch wenn es in Einzelfällen durchaus zu Problemen führen wird. Man kann es eben (wie bereits von euch gesagt) nicht allen recht machen, aber man braucht eine einheitliche Begründung, warum man es so gemacht hat.

Was den rassistischen Programmierer angeht, so wird man das Problem nicht gänzlich lösen können. Man kann zwar sagen, dass jedes System vor der Auslieferung "korrekturgelesen" werden soll und allerlei Tests durchlaufen soll (was heutzutage schon passiert), aber eine 100% Sicherheit wird man nie haben. So wie man nie eine 100% Sicherheit bei allem, was mit Menschen oder Tieren zutun hat haben kann.

Jetzt nochmal zurück zum Entscheiden nach Überlebenswahrscheinlichkeit.
Das hört sich gleich blöd an, aber ich denke ihr wisst wie es gemeint ist.
Stellt euch vor, in diesem Auto säßen ein 25-Jähriger Professor, der grade dabei ist, einen Durchbruch in einem superwichtigen Forschungsfeld zu erzielen (vielleicht etwas, was viele menschenleben rettet) und ein alter Mann, der seine besten Jahre hinter sich hat (oder vielleich ein kleines Kind, vielleicht sogar ein behindertes...). Und der Professor hat eine etwas kleinere Überlebenswahrscheinlichkeit.
Der Nutzen des Professors für die Gesellschaft ist sicherlich höher (wenn man emotionslos rangeht), und doch würde der Beifahrer gerettet werden.

Müsste man vielleicht also nicht nur nach Überlebenswahrscheinlichkeit sondern auch nach Nutzen für die Gesellschaft entscheiden?
Könnte man sowas durchbringen? Sollte man sowas versuchen durchzubringen?
Wie vorraussichtlich soll der Roboter agieren? Wie vorraussichtlich kann der Roboter agieren?

Als (auch) Programmierer wollen wir immer eine eindeutige Lösung für ein Problem haben, denn ein Roboter braucht bestimmte Entscheidungsregeln, die wir ihm einprogrammieren müssen. Vielleicht gibt es im Endeffekt aber keine Entscheidungsregel, die durchsetzbar ist, vielleich braucht man bei Entscheidungen, die zu nah an einander sind einfach einen Zufallsmechanismus, der es löst.

Gruß, Yaro