wikiQPLIB: bnxt re is fw stalled: FW STALL Detected
Beim Einsatz von Ubuntu 24.04 LTS (Linux Kernel 6.8) kann es auf Servern mit Supermicro H12SSL-NT Mainboard (mit onboard Broadcom Netzwerkkarten BCM57416) zu verlängerten Bootzeiten kommen. Ursache ist ein Problem im bnxt_re0 Modul.
Problem
Das Starten des Servers dauert länger als gewöhnlich, im System Log sind folgende Einträge ersichtlich:
[ 308.644788] bnxt_en 0000:45:00.0: QPLIB: bnxt_re_is_fw_stalled: FW STALL Detected. cmdq[0xe]=0x3 waited (137918 > 100000) msec active 1 [ 308.644801] bnxt_en 0000:45:00.0 bnxt_re0: Failed to modify HW QP [ 308.645509] infiniband bnxt_re0: Couldn't change QP1 state to INIT: -110 [ 308.646160] infiniband bnxt_re0: Couldn't start port [ 308.646578] bnxt_en 0000:45:00.0 bnxt_re0: Failed to destroy HW QP [ 308.647557] ------------[ cut here ]------------ [...] [ 308.649008] ---[ end trace 0000000000000000 ]--- [ 308.649016] bnxt_en 0000:45:00.0 bnxt_re0: Free MW failed: 0xffffff92 [ 308.649843] infiniband bnxt_re0: Couldn't open port 1 [ 308.651052] infiniband bnxt_re0: Device registered with IB successfully
Ursache
Die Verzögerung wird durch Probleme mit dem bnxt_re0 Modul verursacht, welches für RDMA over Converged Ethernet (RoCE) gewöhnlich genutzt wird.[1]
Die genaue Ursache liegt voraussichtlich in Änderungen des Infiniband-Treibers.[2][3]
Lösung
Da in der Regel die RoCE Funktionalität ohnedies nicht erforderlich ist, empfehlen wir einfach das Modul bnxt_re nicht automatisch zu laden.
Dies kann einfach durch folgende Konfiguration durchgeführt werden:
echo "blacklist bnxt_re" >> /etc/modprobe.d/blacklist-bnxt_re.conf update-initramfs -u
Abschließend führen Sie einen Neustart durch.
Einzelnachweise
- ↑ Validating RDMA over Converged Ethernet (RoCE) Network on Linux (techdocs.broadcom.com)
- ↑ The Broadcom 'bnxt' Ethernet driver and RDMA (in Ubuntu 24.04) (utcc.utoronto.ca/~cks/space/blog, 09.08.2024)
- ↑ (TUTORIAL) Broadcom NICs down after PVE 8.2 (Kernel 6.8) - Comment #13 (forum.proxmox.com)
Weitere Informationen
 |
Autor: Werner Fischer Werner Fischer arbeitet im Product Management Team von Thomas-Krenn. Er evaluiert dabei neueste Technologien und teilt sein Wissen in Fachartikeln, bei Konferenzen und im Thomas-Krenn Wiki. Bereits 2005 - ein Jahr nach seinem Abschluss des Studiums zu Computer- und Mediensicherheit an der FH Hagenberg - heuerte er beim bayerischen Server-Hersteller an. Als Öffi-Fan nutzt er gerne Bus & Bahn und genießt seinen morgendlichen Spaziergang ins Büro.
|
