Brutal, aber...
... vielleicht die einzige Möglichkeit:
Sage dem Ex-Freund, dass er lückenlos darüber aufklären muss, was bei ihm daheim abgeht. Was machen er und die neue Freundin, wenn der Bub bei ihnen ist? Was unternehmen sie, wie gehen sie mit ihm um, welche Rolle spielt der andere Sohn,...
Sollte er nicht bereit dazu sein, entziehe ihm die Besuchserlaubnis. Da ihr nicht verheiratet wart - du sprichst ja vom Ex-Freund - kann er dagegen nicht vorgehen. Mach ihn darauf aufmerksam, das es zum Wohl des Kindes besser sei, er sehe ihn nicht mehr. Vielleicht bewirkt das ja etwas - oder es ist ihm egal - dann umso besser für dich! :-D
Liebe Grüße