Das ist was anderes - nämlich sind das die Host-Keys, mit denen sich die ipfire als ssh-Server dem anfragenden ssh-Client gegenüber identifiziert, damit der Client sicher sein kann, mit dem richtigen Server zu sprechen (und nicht mit einem man-in-the-middle).
Die müssen also bleiben, haben aber nichts damit zu tun, ob der Server die Verbindungsanfrage des Clients ankzeptiert.