Mmmmh, hier die Beschreibung des Crowdsourcing Teils des Connect Tests:
Festnetztest 2024: So testen wir & Experten-Meinung
Das ist letztlich ein WLAN Test:
Festnetz-Crowdsourcing
Die Datenbasis für die Analysen wird auf Smartphones und Tablets ermittelt. Auf ihnen erfolgt bei der Nutzung von Tausenden populären Apps im Hintergrund eine Erfassung der im Folgenden beschriebenen Parameter – sofern der Nutzer der vollkommen anonymen Datenerhebung zugestimmt hat. In bestimmten Intervallen (von einer Sekunde bis zu 15 Minuten) werden Stichproben erzeugt und täglich an die Cloud-Server von umlaut gesendet, wo die Daten weiterverarbeitet werden.
Durch Filterung der Netzzugangstechnik auf Samples, die während einer WLAN-Verbindung gesammelt wurden (im Gegensatz zu mobilen Netzverbindungen) und die Identifikation des Netzbetreibers lassen sich die Samples auf Festnetzverbindungen einschränken. Ein komplexes Regelwerk und umfangreiche Prüfungen stellen dann die Validität der Auswertungen sicher. So werden zum Beispiel auffällig langsame Anschlüsse ausgefiltert – der Schwellenwert leitet sich dabei aus der durchschnittlichen Leistung aller in einem Land beobachteten Leitungen ab.
Die Analyse von WLAN-Verbindungen trägt der Tatsache Rechnung, dass die meisten Internetverbindungen heute per WLAN stattfinden. Da die mit aktuellen Smartphones erreichbaren WLAN-Geschwindigkeiten zudem meist deutlich höher sind als die beobachteten Gesamtdatenraten, ist der Einfluss der WLAN-Link Geschwindigkeit auf die Messergebnisse zu vernachlässigen.
Das ist schlimmer/schlechter als ich gedacht hatte...
a) "So werden zum Beispiel auffällig langsame Anschlüsse ausgefiltert" das ist ein naheliegender Gedanke, aber wenn es um Durchsatzmessungen geht, dann darf mann so eine Filterung nicht basierend auf dem Kriteriumn Durchsatz vornehmen, sondern braucht zusaetzliche Kriterien, ansonsten luegt mann sich die Welt zurecht...
b) "Da die mit aktuellen Smartphones erreichbaren WLAN-Geschwindigkeiten zudem meist deutlich höher sind als die beobachteten Gesamtdatenraten, ist der Einfluss der WLAN-Link Geschwindigkeit auf die Messergebnisse zu vernachlässigen." Hier ist der Wunsch wohl Vater des Gedanken, der theoretisch moegliche Durchsatz eines Endgeraets ist wenig relevant wenn die Linkrate der WLAN Verbindung unterhalb der Linkrate des Festnetzzugangs liegt, und bei mehr und mehr Anschluesse in der > 250 Mbps Klasse wird das auch mehr und mehr relevant.
Die passive Erfassung der Datenraten für Downloads und Uploads findet im Hintergrund statt, während der Nutzer auf seinem Gerät alltägliche Anwendungen wie Webbrowsing, Streaming oder Gaming nutzt. Um die beobachteten Datenraten zu klassifizieren, hat umlaut anwendungsbezogene Geschwindigkeitsklassendefiniert:
UHD Video erfordert 20 Mbit/s und High Speed erfordert 50 Mbit/s. Für die typischerweise langsameren Uploads werden dagegen die Geschwindigkeitsklassen HD Video (min. 5 Mbit/s) und UHD Video (min. 20 Mbit/s) berücksichtigt. Die passiv beobachteten Download-Geschwindigkeiten machen 9 % des Gesamtergebnisses aus, die Upload-Geschwindigkeiten tragen 5 % bei.
Das ist zwar nicht uninteressant, aber hier wird der Durchsatz dadurch bestimmt was der Nutzer gerade so mit dem Geraet macht, und da der Umlaut Test genau das nicht weiss ist dieser Datenpunkt IMHO komplett unbrauchbar, weil er gleichzeitig von Nutzerverhalten und erzielbarem Durchsatz beeinflusst wird aber keines davon wirklich misst... das ist echte Gruetze.
Bei den passiv erfassten Download- und Upload-Datenraten gleichen sich die Werte zwischen den vier Kandidaten deutlicher an – die von ihren Nutzern eingesetzten Anwendungen liegen in ihren Bandbreiten-Anforderungen unabhängig von der Zugangstechnologie offenbar näher beieinander.
D.h. Connect/Umlaut sehen zwar die Daten, sind aber nicht in der Lage den logischen Schluss zu ziehen, dass dieser "Messwert" eher nutzlos ist fuer das Ziel des Connect Tests... bin kein Fan von simplizistischen KPIs, aber hier ist IMHO klar, dass mann das Bewertungssystem haette vereinfachen koennen wenn mann diesen Wert ignoriert haette.
Aktive Datenraten
Neben den passiven Beobachtungen der von Apps angeforderten Datenraten erfolgen einmal im Monat auch aktive Messungen der Up- und Download-Datenraten. Sie ermitteln die Datenmenge, die in 3,5 Sekunden übertragen werden kann, und leiten daraus die Datenrate ab. Unser Scoring berücksichtigt für die ermittelten Messwerte die durchschnittliche Datenrate, den P10-Wert (90 % der Werte liegen über dem angegebenen Schwellenwert, eine gute Annäherung an die typische Mindestgeschwindigkeit) und den P90-Wert (10 % der Werte liegen über diesem Schwellenwert, ein Blick auf die Spitzenwerte). Die ermittelten aktiven Download- Geschwindigkeiten machen 36 % des Gesamtergebnisses aus, die aktiven Upload-Tests tragen 20 % dazu bei.
Einmal im Monat... Messdauer 3.5 Sekunden... (Das sind bei 24 Wochen Messdauer und Teilnehmer bestenfalls 3 Messwerte, unklar ob die mitten in der Nacht gezogen werden, oder zur Hauptnutzungszeit) Die Verwendung von Perzentilen macht durchaus Sinn, nur ist maximal unklar ueber welche Menge hier die Verteilung betrachtet wird: alle Messungen, alle Messungen eines ISPs, alle Messungen einer Geschwindigkeitsstufe? Der Test zeigt dass pro ISP wohl alle Messwerte aggregiert und daraus P10 und P90 bestimmt wurden. Das ist grosse Gruetze, weil es ignoriert, dass Endkunden (freiwillig oder aus Mangel an Alternativen) unterschiedliche Tarifstufen buchen... was kein Mass fuer die Qualitaet eines ISPs ist oder fuer die Guete des Netzes...
Latenzen
Latenzmessungen erfolgen alle 15 Minuten – dazu werden „Pings“ in direktem Anschluss an die Verbindungstests durchgeführt. Dabei wird der durch WLAN beeinträchtigte erste „Hop“ herausgerechnet. Die Ergebnisse ordnet umlaut ebenfalls einer anwendungsbezogenen Klasse zu: Roundtrip-Zeiten von weniger als 50 ms qualifizieren ein Sample für Standard Gaming und weniger als 20 ms für Highend Gaming.
Ist die Latenz kürzer als 10 ms, wird das Sample als Ultra Low Latency (ULL)gezählt, was für echtzeitnahe Anwendungen ausreicht. Unsere Tabellen zeigen den prozentualen Anteil der Verbindungen, die die geforderten Schwellenwerte in den genannten Klassen erreichten oder besser abschnitten. Die Latenz-Wertung macht 25 % des Ergebnisses aus.
Nette Idee, aber der Grossteil der Latenzmessungen duerfen ausserhalb der echten Nutzungszeiten gemessen werden, und es fehlt die Angabe wie die Latenzwerte aggregiert werden... Problematischer ist allerdings, dass die Latenz ohne Last kein guter Indikator dafuer ist wie sich ein Link zur Hauptnutzungszeit fuer latenz-sensible Anwendung anfuehlt, dafuer muss mann die Responsivitaet/working latency messen. Und um es klar zu sagen gerade die Qualitaet eines Internetanschlusses fuer's Gaming ist nicht so sehr von der absoluten Latenz abhaengig und mehr vom Jitter.
Ach ja, keine Information zu welchen Gegenstellen die Latenz gemessen wurde... d.h. theoretisch koennten das Reflektoren im Netz des jeweiligen ISPs sein.
Der Test fabuliert oefters, dass langsamere Latenzen die Konsequenz unterschiedlicher Zugangstechniken sein koennten, aber vergisst dabei, dass GPON/XGS-PON/DOCSIS/VDSL2 mit G.INP alle Zugangslatenzen im aehnlichen niedrigen einstelligen Millisekundenbereich haben, also nicht der Grund fuer die gemessenen Unterschiede sein duerften. Auch das ein Anfaengerfehler.
Stabilität
Basierend auf den ermittelten Datenraten und zusätzlichen Browsing- und Verbindungstests untersucht umlaut zudem, wann eine Breitbandverbindung überhaupt zur Verfügung steht. Die gemittelten und gewichteten Ergebnisse definieren den prozentualen Anteil der Erfolgsquote von Internet-Transaktionenund machen 5 % der Gesamtpunktzahl aus.
Mmmh, "zusätzlichen Browsing- und Verbindungstests" die nicht weiter beschrieben werden...
Zuverlässigkeit
Alle erhobenen Messwerte unterteilt umlaut in Basisanforderungen („Qualifier KPis“) und auf Höchstleistungen bezogene Werte („Differentiator KPIs“). Die Darstellung der Zuverlässigkeit berücksichtigt allein die „Qualifier KPIs“ und erlaubt somit eine Aussage, wie gut das Netz eines Anbieters die reinen Basisanforderungen erfüllt.
Auch wieder ganz suess, aber ohne Information darueber welche Messwerte in welche Kategorie fallen ist das wenig informativ.
Interessanterweise splittet der Test in Bundesweite und Regionale Anbieter auf, was IMHO aus Endkundensicht verwunderlich ist (unter den zu verfuegungstehenden Anbietern sollte es nur einen Besten geben, und da ist es egal ob dieser Anbieter auch von anderen Adressen gebucht werden kann oder nicht), aber aus Connect Sicht Sinn macht, mann kann damit zwei erste Plaetze verleihen...
Der Crowdsourcing-Test ist IMHO qualitativ aehnlich einzuschaetzen wie der Test mit den Raspberry Testgeraeten, fuer den Connect Test voll ausreichend, aber ansonsten wenig nuetzlich und schon gleich gar nicht fuer die Bewertung der Qualitaet der Uebergaben eines ISPs zum Rest des Internet, d.h. zum Thema vorsaetzliches Unterpeering laesst sich hier nichts lernen.
P.S.: Es scheint von Accenture/Umlaut selber gar keine Dokumente/Beschreibungen zu den Tests zu geben, daher basieren meine Bewertungen auf den Beschreibungen auf den Connect Seiten. Wenn jemand einen Link zu detaillierteren Informationen hat, gerne her damit. Sollte sich dadurch etwas an meiner Einschaetzung aendern so passe ich den Text hier gerne an.