Also da du vom Server fliegst liegt es wahrscheinlich an deinen Debian User Einstellung oder Failban time:

Schau mal in deiner Config Clobal unter Failban time mal auf 0 stellen....