wenn ich das richtig verstanden habe, willst Du die Verformung eines Kästchens berechnen?

Wenn ja, dann kannst findest Du im Original grob die Position einer Kante über den Farbwechsel (von einem Kästchen zum nächsten), im Gradientenbild (aus dem I-Kanal gebildet) kannst Du dann die Kante genau bestimmen (die Start- und Endpunkte für die Suche sind dann ja bekannt). Da Du die Position der Kamera und die Größe eines unverzerrten Kästchens kennst, kannst Du die x-Verschiebung bestimmen.

Soweit, so gut. Deine ursprüngliche Frage war ja, wie kommst Du zu der Kante, wenn Dein Objekt (ein)farbig ist? Im Bild des ersten Postings ist ja zu erkennen, dass die Position der Sobel-Kante verschwimmt. Daher mein Vorschlag mit LoG (Laplacian of Gaussian) zu Filtern und dann den Wendepunkt (Wechsel des Vorzeichens) zu bestimmen. Die Maske würde ich allerdings mindestens 5x5, besser 7x7 wählen und mit floats arbeiten. Dann wird die Position erheblich genauer (i.d.R. besser als ein Pixel)