Bei der Geschwindigkeit mit 2,5MPixel/s wird es vielleicht etwas voll am Controller. (DMA?)
Ich könnte mir vorstellen, dass man das Videosignal abtastet und die Daten über die Dauer von mehreren Bildern hereinholt.

Hat man erst mal ein Sampling Interface, dann kann man mit einer einstallbaren Phasenlage ab Zeilenbeginn und mit einstellbarer Abtastrate die Daten mit beliebig tiefer Rate und auch mit reduzierter Auflösung hereinholen was am Anfang ja auch schon mal ganz gut wäre.

Die Abtastung eines 2,5MHz Signals (bzw entsprechnd tiefer) geht mit relativ einfachen Mitteln wie Analogschaltern MC4016.
Nur erst mal als Richtung zum Nachdenken.
Manfred