Der Traffic Shaper kann trotzdem das Problem sein, denn wenn die Leitung zu sehr "geflutet" wird, kann das die TCP Algorithmen durcheinander bringen.
Das Fehlerbild hört sich für mich so an, als ob sich da zwei Regelalgorithmen in die Quere kommen. Der eine macht auf und der andere zu. Dann merkt der andere, dass wieder mehr Luft ist und macht wieder auf, während der eine merkt, dass er nicht vom Fleck kommt und wieder zu macht. Am Ende kommen beide nicht zu Potte. Das erklärt auch den schwankenden Ping.
Vor den nächsten Tests sollte man die Fritzboxen auf jeden Fall mal auf Werkseinstellungen zurücksetzen. Tests mit verschiedenen Betriebssystemen würde ich auf jeden Fall auch empfehlen. Dazu unbedingt mit mehreren parallelen Streams testen, mindestens 4. Ich würde iperf3 gegen öffentliche iperf Server empfehlen. Myloc oder Wilhelm.tel bieten sehr schnelle iperf3 Testserver. Auch ein Test über UDP ist zu empfehlen. Wichtig: Behaltet die Paketfehlerrate bei den Tests im Auge. Die könnte im vorliegenden Szenario eine entscheidende Rolle spielen. Vielleicht kann man auch mal den Congestion Control Algorithmus des TCP Stacks umstellen.