Hallo,
Nimm doch einen Algorithmus, der eine Konvexe hülle drum herum baut.
Mit Mittelwerten werden die Treppen wohl nie ganz verschwinden.
Du könntest auch nen Primitiveren algorithmus versuchen, der "ebenenweise" die jede zweite "schicht" mit Vertices löscht und die Dreiecke neu bildet, ich glaube so könnten die Treppen auch größtentels verschwinden.

[EDIT] mir fällt grad auf, dass ne konvexe Hülle andere Probleme macht.

MfG Alex