Muss man die Gewindestange und den schwarzen Knopf auf deiner Zeichnung ständig von Hand festhalten oder wie ist der befestigt?

Die beiden vierkantigen Metallrohre werden ineinandergedrückt. Kraft ~ 30 Newton.

Soweit nich deine Zeichnung und Beschreibung verstehe, sind haben die beiden Vierkantrohre an einer Seite ein Loch, durch das eine Gewindestange geht.
Wenn du an den äusseren Vierkant kein Flacheisen mit Gewinde schweissen kannst, kannst du eventuell in den inneren Vierkant eine normale Mutter einkleben.
Wenn du dann von aussen deine Gewindestange mit dem schwarzen Knauf reinschraubst, oder ein einfaches Stück Gewindestange mit einer weiteren Mutter festziehst, ziehst du den inneren Vierkant gegen den äusseren und das Kippeln sollte aufhören.

Wenn das wegen der grossen Kräfte immer noch kippelt, wird es vermutlich dran liegen, dass die Vierkantrohre nicht weit genung ineinandergehen oder das Material zu dünn ist.
Eventuell hilft es dann etwas versetzt dieselbe Befestigung nochmal einzubauen.

Oder du bleibst halt bei deinere ursprünglichen Idee und schiebst einen Blechstreifen der passenden Stärke als "Puffer" zwischen die beiden Vierkantrohre.

.