Hallo!
Die serielle Schnittstelle verfügt über das RTS-Signal (Ready-To-Send), welches man auch per Software direkt ansteuern kann. Das ist dann ein Pin des seriellen Kabels, welches dann High oder Low-Pegel annimmt.
Am Besten, Du lädst Dir mal das Programm HTerm runter (das ist freie Software). Dort kann man über einen Knopf das RTS-Signal toggeln. Dann kannst Du messen, welche Pegel auf der seriellen rauskommen. Ich glaube, RS232 ist mit +-12V-Pegeln.
Und wenn das klappt, musst Du nur noch ein Javaprogramm soweit bringen, RTS zu setzen
Allerdings wirst du damit das Relais nicht direkt schalten können, da die serielle Schnittstelle nicht genug Strom liefert. Dafür wirst Du einen Transistor verwenden müssen.

Grüße,
Dirk