Also wenn du den 3,3V Pin des FT232 mit dem VCCIO Pin verbindest kann der FT232 3,3V Pegel richtig lesen und senden.
Bist du sicher das auch der Mega8 mit 3,3V richtig arbeitet?
Laut Datenblatt braucht der "normale" Mega8 mind. 4,5V. Oder hast du einen Mega8L. Ein Mega8L arbeitet auch schon bei 2,7V.