Natürlich. Deine alte Fritzbox hatte ja auch ein gültiges Lease.
Die DG verteilt immer nur ein DHCP Lease pro Anschluss. Für einen neuen Router gibt es ein Lease erst, wenn das alte ungültig ist. Das heißt: entweder bis zum Ablauf warten (maximal 60 Minuten), oder das Lease ordentlich zurückgeben. Die Fritzbox gibt ein Lease zurück, wenn man sie herunterfährt. Man muss dann nur im richtigen Moment das Kabel ziehen, um einen erneuten DHCP Request zu vermeiden. Wenn man das geschafft hat, kann man einen neuen Router sofort anschließen.