Normaleweise hat so ne NIC (Netzwerkkarte) einen Buffer, der einkommenden Traffic, der an sie (ihre MAC) gerichtet ist, speichert und bearbeitet.
Solange dein Server ein echter PC ist, sehe ich überhaupt kein Problem was die Geschwindigkeit angeht, es sei denn du schreibst eine solche Software, die deine NIC überlastet oder falsch arbeitet.
Und auch jeder dieser ICs hat 8kB an Buffer, wenn ich das im Datenblatt richtig gesehen habe.
Ethernet ist ein so robustes System, dass man sogar in industrieller Umgebung immer mehr darauf eingeht (Profibus über Ethernet).
Und wenn du eh einen fertigen TCP-IP Stack hast, würde ich mir nicht die Mühe machen, ein neues Layer zu entwickeln.
Wenn du die IPs dann statisch verteilst oder noch nach ner MAC-Liste filterst, kannst du auch sichergehen, dass die Sachen an die richtige Stelle gelangen.
MfG
Björn