Durch einen Tipp von Mreimer habe ich jetzt mal die SystemMaxFilesize auf 1GB hochgesetzt.
Jetzt funktionierts. Er will das Coredump nicht auf mehrere Journaldateien aufteilen.
Edit: So ganz empfehlenswert ist das ganze aber trotzdem nicht. systemd braucht ganz schön lange (ca 30 Sekunden) um die Daten von A nach B zu bekommen und solange hängt das ganze System.