Hab ich das richtig verstanden, erst wenn Du die from-Option nutzt hast Du wieder Verbindung zum Client? Stand vor dem Ausbleiben der Verbindung auch from mit drin?
Wie gesagt, from-Option extrem unzuverlässig. Am besten ganz weg lassen am Server. Dann alle Router und Boxen neu starten und testen.