Known Issues Proxmox VE

In Proxmox VE kann es in Kombination mit dem Kernel 6.8, welcher nun standardmäßig aktiv ist, zu Freezes des Systems kommen. Die Hintergründe dafür sind leider noch nicht komplett ergründet - bis dahin sollte jeder Kunde mit Freezes auf den vorherigen Kernel zurück wechseln. Zusätzlich gibt es Known Issues (2) in der Kategorie Netzwerk. Netzwerkkarten Namen können sich ändern und bei Broadcom Netzwerkkarten ist das Netzwerk nach einem Reboot nicht funktional.

Known Issues

Netzwerk: Die Namen der Netzwerkkarten können sich nach dem Update von 8.1 auf 8.2 ändern, dadurch ist die Netzwerkverbindung verloren nach dem Update
Netzwerk: Bei Broadcom Netzwerkkarten kommt es zu Schwierigkeiten, das Netzwerk funktioniert nicht nach einem Neustart
Kernel: Es gibt nicht reproduzierbare Kernel Freezes sowohl bei AMD als auch bei Intel Systemen
Q-Device: beim Aufsetzen eines Q-Devices in Proxmox VE 8.2 kommt es zu Fehlermeldungen bei der Erstellung: siehe Bugreport https://bugzilla.proxmox.com/show_bug.cgi?id=5461

Kernel-Empfehlung

Aktuell empfehlen wir den Einsatz mit Kernel 6.8 unter folgenden Bedingungen:

# alle Updates einspielen, um den letzten Kernel zu erhalten
apt update && apt dist-upgrade

# Verwendung folgender Kernel-Parameter via Snippet
sed -i '$ s/$/ pcie_port_pm=off/' /etc/kernel/cmdline
sed -i '$ s/$/ pcie_aspm.policy=performance/' /etc/kernel/cmdline
sed -i '$ s/$/ libata.force=noncq/' /etc/kernel/cmdline
update-initramfs -u -k all &&
proxmox-boot-tool refresh

danach muss der Server einmal neugestartet werden, damit die Parameter aktiv werden.

Netzwerk Broadcom Down

In Kombination mit Proxmox 8.2 und Kernel 6.8 kommt es zu einem Problem mit Broadcom Netzwerkkarten. Dieses kann behoben werden, indem man den RDMA-Driver blacklistet und ein Firmware Upgrade durchführt.

Firmware Update (Addon-Card)

Wichtiger Hinweis: dieses Snippet bitte nur für Broadcom-Zusatzkarten verwenden, dieses Script ist nicht funktional bei onBoard-NICs des Herstellers Broadcom.

apt install unzip
cat << 'EOF' > bcm-nic-update.sh
wget https://www.thomas-krenn.com/redx/tools/mb_download.php/ct.YuuHGw/mid.y9b3b4ba2bf7ab3b8/bnxtnvm.zip
unzip bnxtnvm.zip
chmod +x bnxtnvm
for i in $(./bnxtnvm listdev | grep 'Device Interface Name' | awk '{print $5}')
do
./bnxtnvm -dev=$i install -online -y
done
EOF

chmod +x bcm-nic-update.sh
./bcm-nic-update.sh

Treiber Blacklisting (Addon-Card & onBoard)

Achtung: dies deaktiviert komplett RDMA und Infiniband (!) - im Proxmox VE Kontext kein Problem. Das Blacklisting des RDMA-Treibers hilft sowohl bei den Zusatzkarten als auch bei den onBoard-Netzwerkkarten bei Supermicro-Motherboards-

echo "blacklist bnxt_re" >> /etc/modprobe.d/blacklist-bnxt_re.conf
update-initramfs -u

Netzwerk Naming

Diese Snippet pinnt die Netzwerkkarten Benamung auf die "PCI"-Location. Das bedeutet, solange man keine Netzwerkkarten auf andere PCI-Slots umsteckt, sollten die Namen der Netzwerkkarten immer gleich bleiben (auch nach Updates). Achtung: Durch das Snippet werden einmalig einmal die Namen der Netzwerkkarten anhand der PCI-Location bestimmt und müssen danach von Ihnen einmalig neu konfiguriert (umbenannt werden):

cp /usr/lib/systemd/network/99-default.link /etc/systemd/network/99-default.link
sed -i 's/NamePolicy=keep kernel database onboard slot path/NamePolicy=path/' /etc/systemd/network/99-default.link
update-initramfs -u

Autor: Jonas Sterr

Ich beschäftige mich mit den Themen Software Defined Storage, Proxmox Virtualisierung auf Basis von KVM, QEMU & Ceph im Produktmanagement der Thomas-Krenn.AG in Freyung. Proxmox ist meine absolute Leidenschaft und ich freue mich gerne über Kontaktanfragen und einen Austausch auf LinkedIn.