AMD EPYC 7003 Milan Workload Profile NIC Throughput Intensive

Beim Betrieb von AMD EPYC 7003 Milan basierten Servern kann es in der Standardkonfiguration zu kurzzeitigen Einbrüchen beim Netzwerk-Datendurchsatz kommen. Abhilfe schafft hier im BIOS die Workload Profile Einstellung NIC Throughput Intensive. Diese deaktiviert die dynamische Anpassung der Infinity Fabric P-States (Algorithm Performance Boost (APB) Energiesparfunktion) und setzt weitere Parameter. Erforderlich ist diese Einstellung beispielsweise beim Betrieb von Broadcom P225P oder NVIDIA ConntectX-5 (MCX512A-ACAT) Netzwerkkarten.

ASUS RS700A-E11-RS12U basierter Server: Produkt nicht mehr verfügbar.

Das Workload Profile NIC Throughput Intensive ermöglicht einen hohen Netzwerk-Datendurchsatz.

Problembeschreibung

Beim Betrieb von mehreren ASUS RS700A-E11-RS12U Servern in einem geswitchten 25 Gigabit Netzwerk kommt es wiederholt zu Einbrüchen des Datendurchsatzes:

# iperf -m -i 1 -f G -t 60 -c 192.168.10.161
------------------------------------------------------------
Client connecting to 192.168.10.161, TCP port 5001
TCP window size:  325 KByte (default)
------------------------------------------------------------
[  1] local 192.168.10.160 port 45634 connected with 192.168.10.161 port 5001 (MSS=8960)
[ ID] Interval       Transfer     Bandwidth
[  1] 0.0000-1.0000 sec  2.79 GBytes  2.79 GBytes/sec
[  1] 1.0000-2.0000 sec  2.68 GBytes  2.68 GBytes/sec
[...]
[  1] 18.0000-19.0000 sec  2.86 GBytes  2.86 GBytes/sec
[  1] 19.0000-20.0000 sec  0.997 GBytes  0.997 GBytes/sec
[  1] 20.0000-21.0000 sec  0.166 GBytes  0.166 GBytes/sec
[  1] 21.0000-22.0000 sec  0.152 GBytes  0.152 GBytes/sec
[  1] 22.0000-23.0000 sec  0.117 GBytes  0.117 GBytes/sec
[  1] 23.0000-24.0000 sec  0.319 GBytes  0.319 GBytes/sec
[  1] 24.0000-25.0000 sec  2.31 GBytes  2.31 GBytes/sec
[...]

Bei einer Direktverkabelung zweier Server (ohne Switch) kommt es nicht zu diesen Problemen.

Testaufbau

• Server (4 Stück):
  • ASUS RS700A-E11-RS12U mit BIOS 1201 (Release Date 09/07/2022, Milan Agesa code 1.0.0.9)
  • 2x AMD EPYC 7313 (3,00 GHz, 16-Core, 128 MB)
  • 512 GB (8x 64GB) ECC Reg DDR4 2933 RAM
  • 2x 25 Gigabit Broadcom P225P oder NVIDIA ConnectX-5 MCX512A-ACAT (bei Tests mit NVIDIA ConnectX-6 MCX621102AN-ADAT traten keine Probleme auf)
  • Betriebssystem: Ubuntu 22.04 LTS mit Linux Kernel 5.15
• Switch:
  • MikroTik CRS518-16XS-2XQ-RM mit RouterOS 7.8 (Build Time Feb/24/2023 09:03:00)

Lösung

Um eine durchgängig stabile Netzwerk-Durchsatz-Performance zu erreichen, wählen Sie im BIOS folgende Einstellungen:

• 

  Gehen Sie im BIOS auf den Menüpunkt Advanced.

• 

  Wählen Sie dort AMD CBS.

• 

  Gehen Sie auf Workload Tuning und wählen Sie anschließend Workload Profile.

• 

  Wählen Sie NIC Throughput Intensive.

• 

  Nachdem die Einstellung gesetzt ist, wählen Sie [F10] um den Server neu zu starten.

Das Workload Profile NIC Throughput Intensive deaktiviert durch APBDIS=1 das dynamische Anpassen der Infinity Fabric P-States und setzt diese permanent auf P0.

Das Aktivieren des Workload Profiles NIC Throughput Intensive setzt unter anderem folgende Parameter:

• xGMI Force Link Width = x16
• APBDIS = 1
• Fixed SOC P-State = P0
• DF C-States = Enabled
• Determinism Slider = Power
• IOMMU = Disabled (Linux)

Einzelnachweise

Autor: Werner Fischer Werner Fischer arbeitet im Product Management Team von Thomas-Krenn. Er evaluiert dabei neueste Technologien und teilt sein Wissen in Fachartikeln, bei Konferenzen und im Thomas-Krenn Wiki. Bereits 2005 - ein Jahr nach seinem Abschluss des Studiums zu Computer- und Mediensicherheit an der FH Hagenberg - heuerte er beim bayerischen Server-Hersteller an. Als Öffi-Fan nutzt er gerne Bus & Bahn und genießt seinen morgendlichen Spaziergang ins Büro.