Peering/Transit - wie gut verbindet Dein ISP Dich mit dem Rest des Internets

  • Liebes Forum,

    Transit/Peering/Interconnect ist ein Thema das letztlich fuer alle ISP unabhaengig der Zugangstechnologie theoretisch relevant ist. I.d.R. ist der Zustand des Interconnects bei vielen ISPs befriedigend bis gut, so dass man da praktisch wenig Gedanken dran verschwenden muss. Aber nichts desto trotz ist das einer der Punkte in dem sich ISP unterscheiden und daher ist es hilfreich das selber fuer den eigenen ISP abschaetzen zu koennen.

    Erst mal zur Terminologie, Peering bezeichnet i.d.R. eine (meist kostenneutrale) Verbindung zwischen zwei Autonomen System (AS, quasi die Baussteine des Internets, meist betreibt ein ISP ein eigenes AS) bei dem Pakete ausgetauscht werden die jeweils im Netz des anderen Terminieren. Transit hingegen bezeichnet eine (i.d.R. fuer den kleineren Partner kostenpflichtige) Verbindung zwischen 2 AS, bei denen einer der Partner nicht nur Pakete ins eigene Netz handelt, sondern auch generell Pakete in den Rest des Internets (oder bestimmte begrenzte Adressbereiche des Internets). (Das ist jetzt recht grob und damit im Detail inkorrekt, aber ich hoffe die generelle Idee wird verstanden). Die groesssten ISPs koennen quasi das ganze Internet ueber kostenneutrale Peerings errreichen (die sogenannten Tier-1 ISP) muesssen also nominell nirgendwo Transit einkaufen, bzw. die grossen T1-ISP verkaufen i.d.R. alle Transit (zusaetzlich gibt es noch andere grosse Transitanbieter wie Cogent die selber keine vollen T1-ISP sind).

    Fuer Endkunden ist das erstmal egal welche wirtschaftlichen Beziehungen der eigene ISP aufbauen muss um Zugang zum ganzen Internet zu organisieren... fuer den ISP selber ist es relevant weil i.d.R. Transit teurer ist als Peerings aber zum Peering gehoeren immer zwei, d.h. man kann nur dann kostenneutral peeren wenn beide Seiten dazu bereit sind, und gerade die grossen T1-ISP verkaufen lieber Transit. Jetzt ist es so, dass die T1 zwingend kostenneutral miteinander Peeren (sonst erreichen sie nicht das ganze Internet), d.h. im Prinzip sind die Kunden eines T1 immer auch per Transit von den anderen T1 ISP erreichbar. Manche T1, die selber auch viele Endkunden haben (z.B. AT&T, ComCast, Deutsche Telekom) versuchen die grossen Inhalteanbieter dazu zu motivieren direkten Zugang beim T1 zu kaufen, statt dessen Netz per Transit zu erreichen. Damit das funktioniert und die Inhalteanbieter daran ein Interesse haben Zugang zu kaufen werdend dabei manchmal die Peerings zu den anderen T1-ISP absichtlich leicht unterdimensioniert, so dass es gerade zu den Spitzenlastzeiten zu erhoehtem Paketverlust und Latenz/Jitter kommt, so wie zu geringerem Durchsatz.


    Wie kann man nun als Endnutzer selber nachsehen wie gut einen der eigene ISP mit dem Internet verbindet? Idealerweise misst man Durchsatz, Paketverlust, und Latenz zu allen anderen AS, aber das ist bei ca 90000 aktiven AS ein aussichtsloses Unterfangen, zudem enthalten nur wenige dieser AS Server die ein individueller Nutzer erreichen will. Und nicht alle AS sind gleich gut and den Rest des Internets angeschlossen. Man kann vom eigenen ISP schon erwarten, dass er keine Hindernisse aufbaut, aber fuer die Anbindung beliebiger Server in anderen AS ist er schwerlich verantwortlich.

    Weil prinzipiell das ganze Internet per Transit von den grossen T1-ISP erreichbar ist, sollte es in erster Naeherung reichen zu ueberpruefen wie gut/schlecht man Servern die direkt un diesen T1 Netzen gehostet werden verbunden ist, bzw. welchen Durchsatz und welche Latenz man in der Primetime zu solchen System messen kann. Bei ca. 15 vollen T1 und ca. 15 "regionalen" T1 waeren das immer noch ca. 30 Messpunkte, was fuer eine schnelle Messung immer noch etwas aufwendig ist. (Auch weil man erst mal Messpunkte in diesen ~30 AS finden muss die zuverlaessige Daten liefern und die ebenso zuverlaessig nur ueber dieses AS erreicht werden koennen).

    Um einen solchen Messpunkt zu nutzen sollte man idealerweise zur Primetime:

    1. den Durchsatz fuer einen grossen Datentransfer messen
    2. die idle Latenz zu diesem Messpunkt (d.h. ohne zusaetzliche Last)
    3. die working Latenz zu diesem Messpunkt (d.h. waehrend eines Kapazitaetstests der die Leitung auslastet)
    4. den Paketverlust messen
    5. den Netzwerkpfad in Vorwaerts-Richtung (zum Server) dokumentieren
    6. den Netzwerkpfad in Rueckwerts-Richtung (vom Server) dokumentieren (z.B. mittels Looking-Glass Server beim Messpunktbetreiber)

    Dabei sind die Punkte 3, 4, und 6 besonders knifflig.

    Da kaum ein Server im Internet echte Garantien zur bereit gestellten Kapazitaet macht, reicht es nicht aus eine solche Messung von einem ISP in Isolation zu machen, sondern man sollte (zu aehnlichen Zeiten gemachte) Messungen zum selben Messpunkt von verschiedenen ISP vergleichen.

    Das war jetzt eher abstrakt, daher im Folge-Post mal eine Beispiel Messung und in Post 3 eine Liste mit einfachen Messungen (Durchsatz oder Latenz) die sich als nuetzlich erwiesen haben um ISP miteinander zu vergleichen.


    Bezueglich 2/3, und 5 bieten sich MTR/Trippy als Messtools an, die messen die Latenz und den Vorwaertsnetzwerkpfad:

    MTR

    Code
    #IPv4:
    mtr -ezb4 -o LSNBAWVJMXI example.com
    #IPv6:
    mtr -ezb6 -o LSNBAWVJMXI example.com

    TRIPPY

    Code
    # Unter https://github.com/fujiapple852/trippy/releases zur aktuellen Release navigieren und unter Assets das passende Archiv fuer das eigene Endsystem (Windows, Macos, Linux) runterladen und lokal entpacken.
    # Unter Windows CMD als Administrator starten, ins Verzeichnis mit der Datei trip.exe wechseln und folgendes aufrufen, die Firewall muss eventuell fuer Trippy geoeffnet werden.
    trip --mode tui --icmp-extensions --dns-lookup-as-info --tui-address-mode both --tui-icmp-extension-mode all --tui-preserve-screen --dns-resolve-method cloudflare -4 --tui-custom-columns holsravbwdtKM --icmp --tos 181 example.com 
    # Linux/Macos
    trip --mode tui --icmp-extensions --dns-lookup-as-info --tui-address-mode both --tui-icmp-extension-mode all --tui-preserve-screen --dns-resolve-method cloudflare -6 --tui-custom-columns holsravbwdtKM --icmp --tos 181 example.com 
    # Windows
    trip --mode tui --icmp-extensions --dns-lookup-as-info --tui-address-mode both --tui-icmp-extension-mode all --tui-preserve-screen --dns-resolve-method cloudflare -6 example.com 
    # jeweils nach ca. 100 Messungen Trippy einfrieren (mit CTRL-f) und einen Screenshot machen und posten

    2 Mal editiert, zuletzt von pufferueberlauf (24. Mai 2025 um 11:54)

  • Post 2 detaillierte Beispielmessung

    Hoster FDCServers in Frankfurt (FDC war mal single-homed ueber Cogent und damit ein guter Messpunkt fuer die worstcase Erreichbarkeit, aber inzweischen hat FDC deutlich mehr Provider und ist ganz gut vernetzt)

    1: Durchsatz:

    85.7 Mbps (theoretisches Limit: 100 * ((1500-8-20-20-12)/(1500+34)) = 93.87) Messung bei aktivem Heimnetz, daher voll innerhalb der Erwartung

    2/3 idle/working Latenz:

    Die Messung erfolgte waehrend des Downloads

    4. Paketverlust:

    Ist mit wget schwer zu messen... (aber erhoehter Paketverlust bewirkt i.d.R. verringerten Durchsatz und der gemessene Durchsatz ist wie erwartet).

    5. Netzwerkpfad in Vorwaerts-Richtung

    siehe 2/3, hier ISP(AS6805, O2/Telefonica) -> Telxius (AS12956, T1-ISP, ebenfalls Telefonica-Tochter) -> TATA Communications (AS6453, T1-ISP) -> FDCServer (AS30058)

    6. Netzwerkpfad in Rueckwaerts-Richtung

    https://www.fdcservers.net/looking-glass bietet eigentlich einen reversen traceroute/mtr an, aber der will gerade nicht "An error occurred".


    Das Beispiel zeigt eine unproblematische Verbindung, d.h. O2 ist gut mit Telxius (erwartbar) und indirekt auch gut mit TATA verbunden.

    3 Mal editiert, zuletzt von pufferueberlauf (17. April 2025 um 12:10)

  • Post 3: interessante Messpunkte:

    Cloudflare free-tier: 2025 momentan laange Latenz bei Telekom-Anschluessen, da Servernodes in den USA verwendet werden, waehrend z.B. bei O2 CDN-Nodes in Hamburg oder Frankfurt genutzt werden:

    dietpi.com

    nordee.de

    2 Mal editiert, zuletzt von pufferueberlauf (22. April 2025 um 17:46)

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Gute Beispiele für Cloudflare wäre noch pcgh.de und pcgameshardware.de, eins free das andere nicht. Bei Twitch.com und twitch.tv bin ich mir unsicher obs Cloudflare ist, aber das Bild ist das gleiche:

    pcgh.de / pcgameshardware.de

    Twitch.tv / Twitch.com

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Die Twitch addresses sind einmal bei fastly:

    FASTLY (AS54113) IP Connectivity — Radar by Qrator

    und einmal bei Amazon:

    AMAZON-02 (AS16509) IP Connectivity — Radar by Qrator

    da sind die AS Nummern im MTR Resultat hilfreich und dann bei

    Qrator.Radar – Real-Time BGP Monitoring & Analytics
    Discover real-time BGP monitoring and analytics with Qrator.Radar. Track network incidents, optimize routing, and ensure internet stability.
    radar.qrator.net

    und/oder

    PeeringDB
    The Interconnection Database
    www.peeringdb.com

    nach dem AS suchen. qrator versucht auch anzugeben wer bei wem Transit kauft (provider) und wer mit wem peert (Peerings)

  • Aber nur, wenn man Telekom-Kunde ist, für DGN-Kunden geht es gut.

    Bei dem ganzen Geschimpfe auf das schlechte Telekom Peering, hat schonmal jemand drüber nachgedacht das die schlechte Erreichbarkeit von Cloudflare FREE tiers aus dem Telekom Netz, evtl. von Cloudflare bewusst beabsichtigt ist?

    Dadurch gibt es einem guten Grund das Cloudflare Kunden von einem Free auf einen "Kostenpflichtigen" (keine ahnung wie das da heisst) Tier wechseln und Cloudflare hat mehr Geld in der Kasse.

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Warum sollte Cloudflare das selektiv nur fuer Telekomkunden so machen? Ein moeglicher Grund koennte in der Groesse liegen, aber IMHO macht Cloudflare so keine Werbung fuer sich, und dazu dient IMHO der free tier, oder?

  • aber IMHO macht Cloudflare so keine Werbung fuer sich, und dazu dient IMHO der free tier, oder?

    Da hast du wohl recht, aber wenn nur ein paar Accounts von Deutschen Kunden so vom free zum kostenpflichtigen tier wechseln hat es sich für Cloudflare doch schon gelohnt.

    Ausserdem entscheidet doch Cloudflare wo der Traffic für einen free Tier in ihr Netz geleitet wird. Sie könnten ja auch einen "Einstiegspunkt" irgendwo in Europa für die Free Tiers anbieten

  • hat schonmal jemand drüber nachgedacht das die schlechte Erreichbarkeit von Cloudflare FREE tiers aus dem Telekom Netz, evtl. von Cloudflare bewusst beabsichtigt ist?

    Ich glaube, das ist falsch herum gedacht. Warum betrifft es denn nur die Telekom und nicht z.B. Vodafone, die auch nen großen Marktanteil in Deutschland haben?

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Bei dem ganzen Geschimpfe auf das schlechte Telekom Peering, hat schonmal jemand drüber nachgedacht das die schlechte Erreichbarkeit von Cloudflare FREE tiers aus dem Telekom Netz, evtl. von Cloudflare bewusst beabsichtigt ist?

    Dadurch gibt es einem guten Grund das Cloudflare Kunden von einem Free auf einen "Kostenpflichtigen" (keine ahnung wie das da heisst) Tier wechseln und Cloudflare hat mehr Geld in der Kasse.

    Es betrifft ja nicht nur Cloudflare, sondern auch andere Provider, die keine solche Unterscheidung haben.

  • Wie der Name schon sagt: Cloudflare FREE-tier. Wenn der Cloudflare-Kunde schon nichts zahlen will, dann bekommt man eben auch nix!

    Der Cloudflare-Kunde zahlt ja, nur nichts extra nochmal an die Telekom und der Telekom-Kunde am anderen Ende der Leitung zahlt auch erstmal direkt an die Telekom.

    Hier geht es schlicht darum, dass der Telekom-Kunde nochmal extra an die Telekom zahlt, damit das Internet auch funktioniert. Denn letztlich zahlt ja nicht Cloudflare oder der Cloudflare-Kunde an die Telekom, sondern der Telekom-Kunde nochmal an Cloudflare (und die weiter an die Telekom) oder an den Cloudflare-Kunden (und die weiter an Cloudflare und die weiter an die Telekom). Die Sause zahlt aber am Ende immer der Endkunde am Ende der Leitung.

    Das sieht dann so aus: Der Telekom-Kunde bucht ein Premium-Abo bei seinem Content-Anbieter, das nicht im Cloudflare-Free-Tier gehostet ist (anders als die werbefinanzierte Kostenlos-Seite). Ein der Teil dieser Abogebühren geht zurück an die Telekom. Der Telekom-Kunde, der schon an die Telekom für seinen Internetzugang zahlt, zahlt also nochmal zusätzlich an die Telekom für seinen Internetzugang, denn zu den Inhalten des Premium-Abos trägt die Telekom naturgemäß nichts bei.

    Gleiches Prinzip, wenn der Telekom-Kunde einfach direkt an Cloudflare zahlt. Denn wem der Free Tier zu langsam ist, kann auch ein Abo bei https://one.one.one.one/ buchen. Auch hier fließt dann ein Teil der Einnahmen an die Telekom zurück. Hier zahlt der Telekom-Kunde direkt zusätzlich zum Monatsentgelt nochmal doppelt an seinen ISP, um Cloudflare-Seiten erreichen zu können. Netterweise kann er darüber auch den Rest des Internets (schnell) erreichen, so dass der Telekom-Kunde nicht bei jedem Content-Anbieter ein extra Abo abschließen muss.

    Es ist aber beruhigend zu wissen, dass man bei Easybell an die Telekom zahlt für die GPON-Zugang zum BNG aber darüber hinaus nicht noch einmal für den Zugang zum ganzen Internet. Das ist nämlich bereits vollumfänglich im Bruttomonatspreis enthalten.

  • Moin,

    der Cloudflare Kunde zahlt eben nichts an Cloudflare bei den Plänen, deren Routen zum Schluss über die USA laufen. Cloudflare hat Bezahlpläne und kostenlose Pläne. Bei den kostenlosen Plänen will Cloudflare natürlich nichts zubuttern und routet den Traffic so, dass kein kostenpflichtiger Transit stattfinden muß.

    Irgendwo hier im Forum hat das mal jemand auseinandergenommen.

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • der Cloudflare Kunde zahlt eben nichts an Cloudflare bei den Plänen, deren Routen zum Schluss über die USA laufen.

    Der zahlt natürlich nichts an Cloudflare, aber an jemand anders. Irgendwer muss auch diesen Internetanschluss schließlich bezahlen.

  • Bei den kostenlosen Plänen will Cloudflare natürlich nichts zubuttern und routet den Traffic so, dass kein kostenpflichtiger Transit stattfinden muß.

    Was nahezu unmoeglich ist, wenn Clouflare versucht Endkunden der Telekom zu bedienen... gibt zwischen Cloudflare und der Telekom keine (oeffentlich bekannte) direkte Verbindung, das geht immer ueber andere Vermittler (letztlich die anderen T1-ISPs) und mindestens einer von denen muesste kostenneutral mit Cloudflare peeren um kostenpflichtigen Transit zu umgehen... das einzige was Cloudflare da IMHO beeinflussen kann ist wie teuer der Transit ist...

    Wobei momentan unklar ist, wer hier fuer den Umweg ueber die USA verantwortlich ist Cloudflare, oder die Telekom

  • Gute Beispiele für Cloudflare wäre noch pcgh.de und pcgameshardware.de, eins free das andere nicht.

    Wird bei Easybell beides in Frankfurt übergeben, das eine über https://inter.link/ als Transit (Eigenwerbung "Connectivity is in the cloud era now. It’s time to go beyond the Tier1 vs Tier2 debate"), das andere (.com) direkt am DE-CIX.

  • Tipp: Jetzt kostenlos registrieren, mitmachen und das Forum ohne Werbebanner nutzen.
  • Normalerweise zahle ich als Website-Betreiber Geld an einen CDN-Betreiber wie Cloudflare, damit dieser mir Speicherplatz und Abrufbandbreite für meine Site möglichst nahe am Kunden bereitstellt. Cloudflare bietet allerdings auch kostenlose Modelle an, die dann natürlich NICHT möglichst nah am Kunden liegen und auch noch andere Beschränkungen aufweisen.

    U.a. wählt Cloudflare für diesen, überwiegend ausgehenden Traffic, andere (billigere) Wege aus, als für seine zahlenden Kunden.

    Das beeinflusst ebenfalls den Transitpreis! Einen ganz guten Enblick in diese Marktverhältnisse gibt auch diese Studie von WIK: https://www.bundesnetzagentur.de/DE/Fachthemen/…icationFile&v=1