Ja, wenn du keinen eigenen vServer oder sowas betreiben willst, dann ist das die Lösung. Oder eben einfach komplett auf IPv6 wechseln, auch mit allen Clients. Dann braucht man keinen Portmapper.
Erster kühner Verdacht: Du hast den gleichen Fehler gemacht, den alle beim Wechsel von IPv4 auf IPv6 machen. Du musst ab jetzt die IP des Raspi für den Fernzugriff angeben, nicht mehr die IP der Fritzbox. Das hat natürlich Einfluss auf dein ddns, denn das kannst du nicht mehr von der Fritzbox ausführen lassen, wenn du bei feste-ip bist, sondern musst es vom Raspi aus machen. Hast du das bedacht?