Da es auch mit VPN auftritt, muss es zwischen Router und den ersten Hops meines ISPs sein.
Nein, das stimmt so nicht. Es kann auch am Gameserver passieren, oder auf den ersten Hops direkt hinter dem Gameserver.
Wenn es an der Leitung liegt, würde es mit an Sicherheit grenzender Wahrscheinlichkeit nicht nur UDP Pakete betreffen. Damit würden auch Speedtests oder die Packetloss Tests von oben Fehler zeigen. Da das offensichtlich nicht der Fall ist, können wir das ausschließen.
Das sieht für mich alles nach einem reinen Gaming Problem aus. Aber wirklich alles.