Globalconnect überträgt mit Nokia 600 Gigabit pro Sekunde über eine Farbe

Gut. Dann müssen wir die DG nur noch davon überzeugen, diese Technik in die PoPs einzubauen. 28800 GBit/s reichen wahrscheinlich für die nächsten paar Jahre.

Zitat von frank_m

Gut. Dann müssen wir die DG nur noch davon überzeugen, diese Technik in die PoPs einzubauen. 28800 GBit/s reichen wahrscheinlich für die nächsten paar Jahre.

Wäre ich auch dafür

Zitat

Scalable architecture enabling up to 38.4Tbit/s

duplex capacity per fiber pair.

Noch dazu ein deutscher Hersteller

Na ja, der Historie nach schon, jedoch wurde ADVA von ADTRAN übernommen. Und letztere Firma ist US-amerikanisch und war einmal eine Siemens-Tochter.

Einerlei, das sind gut Produkte im WDM-Umfeld. Unverständlich ist es mir aber immer noch, das es bei ADVA keine 25 und 50 G Einstecktarten für die FSP 3000 Serie gibt und für alles andere Lieferzeiten von 6 Monaten und mehr.

Da hier ja der Profi-Bereich angesprochen ist. Hat jemand von euch schon mit OM 5 Erfahrung gesammelt?

Mir erscheint im RZ- und Access-Bereich der Wechsel von OM 4 auf OS 2 irgendwie sinnvoller als OM 5 in Planungen einzubeziehen.

Zitat von HubeBube

Na ja, der Historie nach schon, jedoch wurde ADVA von ADTRAN übernommen. Und letztere Firma ist US-amerikanisch und war einmal eine Siemens-Tochter.

Einerlei, das sind gut Produkte im WDM-Umfeld. Unverständlich ist es mir aber immer noch, das es bei ADVA keine 25 und 50 G Einstecktarten für die FSP 3000 Serie gibt und für alles andere Lieferzeiten von 6 Monaten und mehr.

Ja aber erst kürzlich.

25 und 50 G sind zumindest im Provider-Umfeld und bei den großen Hyperscalern nur spärlich vorhanden, da geht man lieber gleich auf 100G bzw. von den Leaf zum Core mit 400G. Aber soweit ich weiß sind die QSFP28 Ports auch abwärtskompatibel zu 25G.

Die Lieferzeiten sind derzeit überall sehr lange, Cisco, Juniper und Arista ebenfalls. Bei Letzteren muss man sogar über 1 Jahr Zeit einplanen.

Zitat von HubeBube

Da hier ja der Profi-Bereich angesprochen ist. Hat jemand von euch schon mit OM 5 Erfahrung gesammelt?

Mir erscheint im RZ- und Access-Bereich der Wechsel von OM 4 auf OS 2 irgendwie sinnvoller als OM 5 in Planungen einzubeziehen.

Soweit ich das von den bisherigen DENOG Stammtischen und von Präsentationen der großen Scaler erfahren hab, wird im DC nur noch Singlemode verlegt. OM5 vielleicht als Patch innerhalb eines Racks ?

OS2 war ja schon immer sinnvoller, da es definierte Upgrade-Pfade von 1G bis 400G, und künftig auch 800G, gibt.

Zitat von kingpin42

Soweit ich das von den bisherigen DENOG Stammtischen und von Präsentationen der großen Scaler erfahren hab, wird im DC nur noch Singlemode verlegt. OM5 vielleicht als Patch innerhalb eines Racks ?

OS2 war ja schon immer sinnvoller, da es definierte Upgrade-Pfade von 1G bis 400G, und künftig auch 800G, gibt.

Die Mehrzahl der mir bekannten RZ Infrastrukturen benutzt für die Anbindung der ToR oder EoR Switche an die Server Duplex OM Verkabelung. Aktuell sind da 25 Gbit/s für die Masse und 40 Gbit/s NICs für SAP HANA und vergleichbar die üblichen Bandbreiten. Dafür reicht der OM 4 Standard völlig aus. Für die Anbindung zu den Core Routern ist in der Tat SM-Faser vorteilhafter, ebenso für die Anbindung eventueller Stockverkverteiler.

Die generelle Aussage zu OS2 teile ich nicht, die notwendigen SFP Module sind immer noch sehr teuer. Lediglich das Kabel ist billiger geworden.

Und wenn ich mir Ansehe wie ich 40 G über aus dem Muxer auskoppele, dann ist das auch nicht gerade trivial. Mit MM über 4 x 10 Gbit (8 Fasern , Duplex), im SM Bereich habe ich die Wahl über 4 Fasern mit jeweils einer Wellenlänge zu gehen oder über eine Faser mit 4 Wellenlängen. Zwischen 10 und 40 G ist ein Gap, ebenso zwischen 40 und 100G.

Bei OM5 habe ich nun zwei Wellenlängen auf einer MM Faser, benötige aber auch die passenden Module. Habe ich die nicht, dann ziehe ich keinen Nutzen aus der OM5 Verkabelung und kann bei OM4 bleiben.

Die CWDM4 Transceiver sind nicht viel teurer als 100GBase-SR4, das gibt sich durch die evtl. deutlich höheren Kabelkosten im Endeffekt nix. Ich würde generell nur noch SM verlegen, haben wir in unseren DCs auch gemacht, die Kunden bekommen Cat6a + OS2 in ihren Cabinets. Ich kann da jetzt allerdings auch nur von großen Datacentern und Carrier Hotels reden, in Unternehmensnetzen ist das ja scheinbar anders.

So ist es. Es gibt eben nicht nur Hyperscaler bzw. deren RZs.

Ich meinte aber jetzt auch die Anbindung Server <-> Switch und nicht nur Switch <-> Switch/Mux/Router.

Die Serverkönnen bei euch auch via SM angebunden werden? Welche NICs und SFP-Module werden denn da verwendet?

Achso okay, ich dachte es ginge nur um die Verbindung Switch/Leaf zu Spine/Backbone. Unsere Server sind meistens entweder via DAC oder AOC mit dem ToR verbunden, in Einzelfällen, wenn sie direkt mit dem Backbone verbunden werden müssen, sind es aber auch SM LC-Duplex Kabel.

NICs ist eine Intel X710 OEM mit Flexoptics 10GBase-LR Modul:

[xxx@xxx ~]# lspci -s 5d:00 -k
5d:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
        DeviceName: Embedded FlexibleLOM 1 Port 1
        Subsystem: Hewlett-Packard Company Ethernet 10Gb 2-port 562FLR-SFP+ Adapter
        Kernel driver in use: i40e
        Kernel modules: i40e
5d:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
        DeviceName: Embedded FlexibleLOM 1 Port 2
        Subsystem: Hewlett-Packard Company Ethernet 10Gb 562SFP+ Adapter
        Kernel driver in use: i40e
        Kernel modules: i40e
[xxx@xxx ~]# ethtool -i eno5
driver: i40e
version: 5.13.8-200.fc34.x86_64
firmware-version: 10.3.5
expansion-rom-version:
bus-info: 0000:5d:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes
[xxx@xxx ~]# ethtool -m eno5
        Identifier                                : 0x03 (SFP)
        Extended identifier                       : 0x04 (GBIC/SFP defined by 2-wire interface ID)
        Connector                                 : 0x07 (LC)
        Transceiver codes                         : 0x20 0x00 0x00 0x02 0x00 0x00 0x00 0x00 0x00
        Transceiver type                          : 10G Ethernet: 10G Base-LR
        Transceiver type                          : Ethernet: 1000BASE-LX
        Encoding                                  : 0x06 (64B/66B)
        BR, Nominal                               : 10300MBd
        Rate identifier                           : 0x00 (unspecified)
        Length (SMF,km)                           : 10km
        Length (SMF)                              : 10000m
        Length (50um)                             : 0m
        Length (62.5um)                           : 0m
        Length (Copper)                           : 0m
        Length (OM3)                              : 0m
        Laser wavelength                          : 1310nm
        Vendor name                               : Intel Corp
        Vendor OUI                                : 00:1b:21
        Vendor PN                                 : P.1396.10
        Vendor rev                                : A
        Option values                             : 0x00 0x1a
        Option                                    : RX_LOS implemented
        Option                                    : TX_FAULT implemented
        Option                                    : TX_DISABLE implemented
        BR margin, max                            : 0%
        BR margin, min                            : 0%
        Vendor SN                                 : XXXXXXXX
        Date code                                 : 201021

Danke für die ausführlichen Infos der HP DL(?) Servernics. Die Intel X710 ist ein sehr gute NIC, sofern nur Ethernet benötigt wird.

Ich bin ein großer Freund der Qlogic NICs. NIC Partitioning und FCoE sind da ganz hervorragend gelöst, auch Bandbreitenmanagement direkt auf der Karte ist möglich. TCP Offloading können die besseren Karten ja eh alle.

Im 25G Bereich, ich traue es mich kaum zu sagen, hat Broadcom die Vorherrschaft.

Die Darmstädter Flexoptix hat bei den Systemhäusern einen guten Ruf, gerade wenn man nicht die Cisco Originalmodule verwenden möchte.

Aber ja, bis jetzt habe ich tatsächlich noch nie SMF bei Servern gesehen. Irgendwie ist das im Rack bei 10GbE auch oversized....

Noch zwei Fragen: Supported HP die Verwendung von Fremdmodulen in deren Systemen? Gibt es einen Supportcall bei HP, wenn das SFP Modul defekt ist oder nehmt ihr das auf eure Kappe?

Hier sieht das wie folgt aus:

[qqqqqqq@wwwwwww:~] esxcli network nic list
Name PCI Device Driver Admin Status Link Status Speed Duplex MAC Address MTU Description
------ ------------ ------- ------------ ----------- ----- ------ ----------------- ---- -----------
vmnic0 0000:1a:00.0 bnxtnet Up Up 25000 Full DE:AD:BE:EF:CA:FE 1500 Broadcom BCM57414 NetXtreme-E 10Gb/25Gb RDMA Ethernet Controller
vmnic1 0000:1a:00.1 bnxtnet Up Up 25000 Full DE:AD:BE:EF:CA:FE 1500 Broadcom BCM57414 NetXtreme-E 10Gb/25Gb RDMA Ethernet Controller
vmnic2 0000:af:00.0 i40en Up Down 0 Half DE:AD:BE:EF:CA:FE 1500 Intel(R) Ethernet Controller X710/X557-AT 10GBASE-T
vmnic3 0000:af:00.1 i40en Up Down 0 Half DE:AD:BE:EF:CA:FE 1500 Intel(R) Ethernet Controller X710/X557-AT 10GBASE-T
vmnic4 0000:af:00.2 i40en Up Down 0 Half DE:AD:BE:EF:CA:FE 1500 Intel(R) Ethernet Controller X710/X557-AT 10GBASE-T
vmnic5 0000:af:00.3 i40en Up Down 0 Half DE:AD:BE:EF:CA:FE 1500 Intel(R) Ethernet Controller X710/X557-AT 10GBASE-T
vmnic6 0000:86:00.0 bnxtnet Up Up 25000 Full DE:AD:BE:EF:CA:FE 1500 Broadcom BCM57414 NetXtreme-E 10Gb/25Gb RDMA Ethernet Controller
vmnic7 0000:86:00.1 bnxtnet Up Up 25000 Full DE:AD:BE:EF:CA:FE 1500 Broadcom BCM57414 NetXtreme-E 10Gb/25Gb RDMA Ethernet Controller
vusb0 Pseudo cdce Up Up 100 Full DE:AD:BE:EF:CA:FE 1500 DellTM iDRAC Virtual NIC USB Device

Leider gibt es unter ESXi nicht den Schalter -m des Kommandos ethtool, daher muss ich die SFP-Infos der Broadcom NICs schuldig bleiben. Da stecken die Herstellermodule (LC Duplex) drin.

Verkabelung ist OM4 und auf der Gegenseite ein Cisco Nexus aus der 9k-Serie, leider kann der kein RS-FEC! Daher kann nur FC-FEC genutzt und es mussten Cisco CSR-S Module anstatt der günstigeren SR-S verwendet werden. 70 Meter OM4 reichen im Rack jedoch locker aus

Zitat von HubeBube

Die Darmstädter Flexoptix hat bei den Systemhäusern einen guten Ruf, gerade wenn man nicht die Cisco Originalmodule verwenden möchte.

Aber ja, bis jetzt habe ich tatsächlich noch nie SMF bei Servern gesehen. Irgendwie ist das im Rack bei 10GbE auch oversized....

Noch zwei Fragen: Supported HP die Verwendung von Fremdmodulen in deren Systemen? Gibt es einen Supportcall bei HP, wenn das SFP Modul defekt ist oder nehmt ihr das auf eure Kappe?

OEM Module sind für uns nicht sehr viel teurer als Welche von Flexoptics. Der Support bei Flexoptics in Kombination mit deren Flexbox ist jedoch genial und extrem schnell. Für wichtige Verbindungen bei denen der Support besonders wichtig ist setzen wir natürlich nur Module der Hersteller ein, bei allem Anderen Flexoptics. Es gab hier und da Geräte (Cisco ASR 900 hab ich da noch im Kopf), bei denen wollten 1000Base-T Module nicht laufen. Da mussten dann temporär Module von Cisco gesteckt werden. Der Flexiptics-Support hat uns dann jedoch eine geänderte Firmware für ihr Modul zukommen lassen, mit der hat der Router das Flexoptics-Modul dann erkannt.

Wir setzen im RZ wie im Metro/Weitstrecken-Netz nur auf SM. Auch Kunden unseres RZ bekommen nur Cat6a und OS2 Patchfelder für die Verkabelung zwischen den Cabinets und als Uplink zur Verfügung. So müssen wir die Verkabelung nicht bei jeder neuen Geschwindigkeitsstufe tauschen. MTP/MPO Kabel sind auch um einiges teurer in entsprechenden Längen als SM LC-Duplex.

Zu den HP-Fragen: ich glaube nicht das sie es tun, wir hatten diesbezüglich aber noch nie Probleme in dieser Art. Wenn dann war die Optik defekt und wurde gegen ein neues Flexoptics-Modul getauscht. Wir nehmen das also „auf unsere Kappe“.