Routing-Probleme IPv4(!) Deutsche Glasfaser (connection resets)

  • Hi,

    ca. 1 1/2 Jahre lief DG bei mir problemlos. Sowie IPv4 / CGNAT als auch IPv6. Speeds waren auch immer top.

    Realisiert ist das alles bei mir über ein Nokia ONT mit einer pfSense FW und ubqiuti / unifi switches/wifi Router.


    Seit ca. 3 Wochen habe ich über Nacht das Problem, daß ausschließlich bei IPv4 Verbindungen connection resets auftreten d.h.

    ein Router im Netz von DG meldet "host unreachable" und damit bricht die Verbindung ab. Schön zu sehen wenn man z.B. auf http://www.bild.de geht und dort viele kleine Werbeanzeigen bzw. externe Bilder geladen werden - ca. 50% der Bilder werden nicht geladen und mit einer Fehlermeldung markiert. Refresht man dann einfach werden genau diese Bilder dann geladen, andere dafür aber nicht d.h. es wird immer nur ein Teil geladen und die anderen requests abgebrochen.


    Wireshark hab ich mal laufen lassen und der Host im Netz der DG 94.31.72.86 meldet "Destination unreachable" und bricht somindest die Verbindung ab. Bei einem einfach Reload klappt die Verbindung dann wieder, beim nächsten Reload ist sie wieder unreachable. Wireshark schreibt dazu noch "Communication administratively filtered". das geschieht NUR bei IPv4, IPv6 funzt immer problemlos.


    Selbstverständlich sind alle Versuche dieses Fehlerbild bei der DG Hotline zu schildern unmöglich - Wireshark kennt an der Hotline keiner, laut deren gibt es keine Störung im Netz und alles ist okay. Ich soll meinen Router neu starten, den ONT für 24h stromlos machen und es neu versuchen usw.


    Hat jemand noch eine Idee wie ich an einen 2nd Level Support kommen kann um evtl. denen mal das Problem zu schildern ?


  • Nope, wenn die Verbindung mal steht ist alles okay, allerdings bricht sie bei mtr z.b. sporadisch irgendwann mal mit dem genannten "Host unreachable" ab. Es fühlt sich so an, als wäre z.B. der AFTR am Limit und kann keine weitere Verbindungen mehr handlen und sendet dann einfach ein "Host unreachable" zurück. Es ist dann immer der Host 94.31.72.86 im DG Netz der diesen Reset auslöst - wenn man wüsste was der macht.

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Nope, wenn die Verbindung mal steht ist alles okay, allerdings bricht sie bei mtr z.b. sporadisch irgendwann mal mit dem genannten "Host unreachable" ab.

    Sie bricht ab? Ich hätte erwartet, dass es dann ab einem gewissen Hop Verluste gibt. Da das Phänomen nach deiner Beschreibung ja temporär ist, hätte ich dann erwartet, dass es sich irgendwann erholt. Zeig bitte mal den Trace.

    Es fühlt sich so an, als wäre z.B. der AFTR am Limit und kann keine weitere Verbindungen mehr handlen und sendet dann einfach ein "Host unreachable" zurück.

    Es gibt keinen AFTR bei der DG. Man nutzt nativ IPv4, allerdings mit CGNAT. Aber mangelnde Ausgangsports auf dem NAT Server könnten das Problem erklären, zumindest mit den TCP Verbindungen. Bei ICMP eigentlich nicht. Ist denn der Router dein NAT Router? Das müsste man auch dem Trace entnehmen können.

  • Hier noch ein paar Logs.

    Gemacht unter Linux, einfach mit "curl -v http://212.53.215.173"

    Normalerweise sollte jedes Mal ein ganz normaler Reply from Webserver kommen, allerdings, wie man im Log sieht, geht es nur sporadisch jedes 3-4 mal.

    Zwischen den einzelnen Sessions lasse ich ca. 10 Sekunden Pause:


    Oben schön zu sehen, die ersten Versuche schlagen fehl, dann funktionieren einige, dann schlägt wieder eine Fehl und die danach funktioniert wieder. Resetted wird die Verbindung mit einem "No route to host" aus dem DG Netz.. Das ist vermutlich dann der NAT Server o.ä. der meldet dass keine Ports mehr frei sind ?


    Mit MTR sieht der Trace sauber aus zu dem jeweiligen host - das ist aber immer so.

    Über IPv6 gibt es keine Probleme.

    Mein Router ist eine pfSense Box die selbstverständlich auch NAT'ed.

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Also gut dann hier erstmal ein mtr:



    Kein loss, nirgends.


    Versucht man mit Netcat eine Verbindung herzustellen:


    Per IPv6 wiederum okay.

  • Kein loss, nirgends.

    Ja, das war zu erwarten. Hat halt auch nichts mit dem oben beschriebenen Abbruch zu tun.

    Zeig mal die Routen des lokalen Clients. Mit fällt es noch schwer, das oben gezeigte "Destination unreachable" mit dem "No Route to Host" zusammenzubringen.

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • ein Router im Netz von DG meldet "host unreachable" und damit bricht die Verbindung ab. Schön zu sehen wenn man z.B. auf http://www.bild.de geht und dort viele kleine Werbeanzeigen bzw. externe Bilder geladen werden - ca. 50% der Bilder werden nicht geladen und mit einer Fehlermeldung markiert. Refresht man dann einfach werden genau diese Bilder dann geladen, andere dafür aber nicht d.h. es wird immer nur ein Teil geladen und die anderen requests abgebrochen.

    Hm, das ist genau das, was auftreten kann, wenn am CGNAT-Router zuviele Clients (=DG-Kunden) auf eine öffentliche IPv4-Adresse gemappt werden. Da gehen dann irgendwann die maximal ~65k TCP-Quellports aus ...

    Einmal editiert, zuletzt von ::1 (9. Februar 2025 um 12:39)

  • Da gibts nicht viel:


    Code
    root@g3-rig06:/home/marcel# netstat -rn
    Kernel-IP-Routentabelle
    Ziel            Router          Genmask         Flags   MSS Fenster irtt Iface
    0.0.0.0         192.168.12.1    0.0.0.0         UG        0 0          0 enp2s0
    192.168.12.0    0.0.0.0         255.255.252.0   U         0 0          0 enp2s0
    root@g3-rig06:/home/marcel# 


    12.1 ist das Gateway welches direkt an der DG hängt.


    auf der pfSense ist die default route:


    default100.84.0.1UGS51500ix0


    100.84.0.1 ist DG

  • ... spreche vom CGNAT-Router in der Infrastruktur der DG:

    Das ist der, der dir hier unter "Ihre IPv4 Internet-Adresse ist höchstwahrscheinlich ..." angezeigt wird

    2 Mal editiert, zuletzt von ::1 (9. Februar 2025 um 12:42)

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Das dürfte dann dieser hier sein: 94.31.113.142

    Code
    marcel@g3-rig06:~$ curl ipv4.icanhazip.com
    curl: (7) Failed to connect to ipv4.icanhazip.com port 80 after 8 ms: Couldn't connect to server
    marcel@g3-rig06:~$ curl ipv4.icanhazip.com
    curl: (7) Failed to connect to ipv4.icanhazip.com port 80 after 41 ms: Couldn't connect to server
    marcel@g3-rig06:~$ curl ipv4.icanhazip.com
    curl: (7) Failed to connect to ipv4.icanhazip.com port 80 after 8 ms: Couldn't connect to server
    marcel@g3-rig06:~$ curl ipv4.icanhazip.com
    94.31.113.142
  • Ich bin gerade auf der Suche nach Quellen, die das CGNAT-Thema beleuchten. Hier z.B. geht es um das Thema, von dem ich spreche. Und hier noch ein wenig RFC-Hintergrund.

    Spamhaus spricht hier auch despektierlich von "Clown Grade NAT" ...

    Hier noch was zu CGNAT aus ISP-Sicht: Im 4. Absatz werden "port-block exceeded errors" erwähnt.

    2 Mal editiert, zuletzt von ::1 (9. Februar 2025 um 13:34)

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Ich frage mich ja, wie man das dem DG Support erklären will.. die verstehen das doch nicht.

    Spoiler anzeigen

    ISP: HTP Surf & Fon 1.000 MBit/s Download / 500 MBit/s Upload (Glasfaser)

    Router: MikroTik CCR2004-16G-2S+ (RouterOS 7.22.1) + Genexis Fibertwist F2110-2 (Rev2.0) @ AON (1000BASE-BX)

    VoIP: Gigaset N670 IP Pro Mini Multicell (Firmware 2.67.0), Cisco ATA-191-MPP 2-Port Phone Adapter (Firmware 11-3-2MPP0001-225), Gigaset Fusion (Firmware 2.0.1)

    Handset: Gigaset SL800H Pro (Firmware 131.013.04)

  • Hmm wenn ich mit den Beitrag im Forum durchlese mit "nur" 4*256 tcp Verbindungen (gleichzeitig) per NAT-IP könnte ich mir sehr gut vorstellen, daß ich evtl. an dieses Limit komme da ich noch etliche Server etc. im Heimnetz habe die nach draußen telefonieren und viele established states haben..

    Die Frage ist nur, wie erklärt man das DG bzw. wie kommt man an einen Mitarbeiter der einem dieses Limit erhöhen kann oder überhaupt erst über dieses Limit bescheid weiß :)

    Derzeit behelfe ich mir, indem ich eine Wireguard-Verbindung zu einer VPS aufbaue und all meinen IPv4 Traffic durch diese Wireguard Verbindung jage, das klappt sehr gut, das Problem ist nur, daß die VPS IP bei vielen Anbietern wie z:B. Netflix geblockt ist wegen GeoIP.. Idealerweise muss man also eine VPS finden die NICHT in einem Blacklist-Bereich ist und man verliert natürliche in paar MBIt's bei dem Tunnel...

  • Die Frage ist nur, wie erklärt man das DG bzw. wie kommt man an einen Mitarbeiter der einem dieses Limit erhöhen kann oder überhaupt erst über dieses Limit bescheid weiß :)

    Vergiss es. Wenn es überhaupt ein Limit pro Kunde gibt - was ich nicht glaube -, dann wird es garantiert nicht für einen einzelnen Kunden geändert. Ich vermute eher, es gibt eine Anzahl Kunden auf einer öffentlichen IP, die sich die Ports teilen, und im Mittel wird das passen. Wenn dann allerdings ein oder zwei Kunden auf einer IP sind, die besonders viele Ports öffnen, dann reicht es nicht mehr.

    das Problem ist nur, daß die VPS IP bei vielen Anbietern wie z:B. Netflix geblockt ist wegen GeoIP.

    Oder du filterst clever und schickst nur den Traffic über den VPN Tunnel, der von den Port-Problemen betroffen ist.

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Wireshark hab ich mal laufen lassen und der Host im Netz der DG 94.31.72.86 meldet "Destination unreachable" und bricht somindest die Verbindung ab.

    Das dürfte dann dieser hier sein: 94.31.113.142

    Das sind beides Adressen, die im CGNAT-Pool 94.31.64.0/18 (netname: DE-DGW-20100203) liegen. Wundert mich ein wenig, dass das Problem bei zwei CGNAT-Adressen auftritt. Welche Zeitspanne liegt denn zwischen den Beobachtungen der Verbindungsabbrüche bezogen auf diese unterschiedlichen CGNAT-Adressen? Normalerweise ist es so, dass man für relativ lange Zeiträume auf derselben CGNAT-Adresse hängt - in meinem Fall (94.31.113.235) z.B. seit 16.01.2025.

    Einmal editiert, zuletzt von ::1 (9. Februar 2025 um 17:17)

  • Zitat

    root@g3-rig06:/home/marcel# netstat -rn
    Kernel-IP-Routentabelle
    Ziel            Router          Genmask         Flags   MSS Fenster irtt Iface
    0.0.0.0         192.168.12.1    0.0.0.0         UG        0 0          0 enp2s0
    192.168.12.0    0.0.0.0         255.255.252.0   U         0 0          0 enp2s0
    root@g3-rig06:/home/marcel# 

    192.168.12.0/22 mit 1022 möglichen IP-Adressen ist nun allerdings auch kein kleines Netz. Wie viele Clients gibt es denn in dem Netz?