Broadcom P425G NIC Link is Down bei Firmware 220.0.83.0

Unter Linux kann es bei Broadcom P425G Netzwerkkarten (Thor IC) mit Firmware bis 220.0.83.0 nach Reboots zu NIC Link is Down Meldungen kommen. Wir haben das Problem in einem ASUS RS500A-E10-RS12U System beobachtet. Andere 25Gbit/s Broadcom Netzwerkkarten mit Wh+ IC wie die M225G sind von diesem Problem nicht betroffen.

Ab Firmware Version 221.1.28.0 tritt das Problem nicht mehr auf. Wir empfehlen vor allem beim Einsatz von Linux Broadcom P425G Netzwerkkarten auf Firmware Version 221.1.28.0 oder höher zu aktualisieren. Information zum Updaten finden Sie im Wiki Artikel Firmware Update Broadcom Netzwerkkarte.

Betroffene Hardware

• Broadcom P425G Quadport 25Gbit/s Netzwerkkarten (BCM575xx)
  • Firmware 220.0.83.0
• Proxmox VE 7.1.2 (Linux Kernel 5.13.9)
• Proxmox VE 7.1.2 (Linux Kernel 5.15 Opt-In-Kernel)
• Getestet in einem ASUS RS500A-E10-RS12U Server mit AMD EPYC CPU
• Getestet in einem ASUS RS500A-E11-RS12U Server mit AMD EPYC CPU

Problem

Die Probleme äußern sich erst wenn man Server rebootet / shutdowned oder direkt den Strom zieht und die Nodes wieder einschaltet. Die NICs kommen dann nicht mehr sauber hoch und bleiben im DOWN Status, obwohl Netzwerkkonfiguration und Verkabelung korrekt ist. Es sieht so aus als würde die Karte Probleme machen und auch während des Betriebs teilweise den Up-Status verlieren. Hier ein Beispiel Log:

root@ps-pmx3:~# dmesg | grep enp1s0f2
[    1.821570] bnxt_en 0000:01:00.2 enp1s0f2np2: renamed from eth2
[    8.522841] bnxt_en 0000:01:00.2 enp1s0f2np2: NIC Link is Up, 25000 Mbps full duplex, Flow control: none
[    8.523304] bnxt_en 0000:01:00.2 enp1s0f2np2: FEC autoneg off encoding: None
[    8.540588] IPv6: ADDRCONF(NETDEV_CHANGE): enp1s0f2np2: link becomes ready
[  581.409311] bnxt_en 0000:01:00.2 enp1s0f2np2: NIC Link is Down

root@ps-pmx3:~# dmesg | grep enp1s0f2
[    1.821570] bnxt_en 0000:01:00.2 enp1s0f2np2: renamed from eth2
[    8.522841] bnxt_en 0000:01:00.2 enp1s0f2np2: NIC Link is Up, 25000 Mbps full duplex, Flow control: none
[    8.523304] bnxt_en 0000:01:00.2 enp1s0f2np2: FEC autoneg off encoding: None
[    8.540588] IPv6: ADDRCONF(NETDEV_CHANGE): enp1s0f2np2: link becomes ready
[  581.409311] bnxt_en 0000:01:00.2 enp1s0f2np2: NIC Link is Down
[  885.015764] bnxt_en 0000:01:00.2 enp1s0f2np2: NIC Link is Up, 25000 Mbps full duplex, Flow control: none
[  885.015791] bnxt_en 0000:01:00.2 enp1s0f2np2: FEC autoneg off encoding: None

root@ps-pmx3:~# uptime
 11:07:15 up 15 min,  1 user,  load average: 0.15, 0.16, 0.11

Lösung

Firmware Update auf Version 221.1.28.0 oder höher.

Autor: Werner Fischer Werner Fischer arbeitet im Product Management Team von Thomas-Krenn. Er evaluiert dabei neueste Technologien und teilt sein Wissen in Fachartikeln, bei Konferenzen und im Thomas-Krenn Wiki. Bereits 2005 - ein Jahr nach seinem Abschluss des Studiums zu Computer- und Mediensicherheit an der FH Hagenberg - heuerte er beim bayerischen Server-Hersteller an. Als Öffi-Fan nutzt er gerne Bus & Bahn und genießt seinen morgendlichen Spaziergang ins Büro.