Ich gebe allerdings zu Bedenken, dass die von salax angedachte Vorgansweise nur dann zielführend ist,
wenn die "Besitzer" WIRKLICH keinerlei Nutzungsrechte haben.
Wenn doch, tassilo3001, bist du der "Hausfriedensbrecher", weil du unberechtigt in Besitzrechte eingreifst.

Zwar gilt der Grundsatz "Eigentum vor Besitz", nicht jedoch durch Selbstjustiz.

Deine Ausführungen sind sehr vage gehalten:
ich glaube einfach nicht das sie eine mündliche genehmigung hatten
denke ich sie
haben sich das ausgedacht
.....

Es geht hier nicht um Glaubens-, sondern um schlichte Rechtsfragen!
Versuche daher, relativ emotionslos an die Sache heranzugehen und dich nicht provozieren zu lassen
(und auch selbst nicht provozieren).

Mein Tipp: Fordere sie auf, dir etwas schriftliches zu zeigen (haben sie nicht).
Fordere sie auf (im Beisein von objektiven Dritten), dir die Rechtsgrundlage für ihren "Anbau" zu
nennen.
Klingt diese für dich nicht plausibel, erkundige dich beim zuständigen örtlichen Gericht (so eine Art
Amtstag und kostenlose Rechtsauskunft) nach DEINEN Möglichkeiten - und erst dann reagiere.

Letztlich müssen sie vor Gericht beweisen, dass sie ein mündliches zugesichertes Nutzungsrecht
haben - gegenüber deinem im Grundbuch belastungsfrei eingetragenen Eigentumsrecht ein
schwieriges Unterfangen.

Wie immer du vorgehst - keep cool!