Um die Datenintegrität in einem Ceph-Cluster zu gewährleisten, führt Ceph sogenannte health checks durch. Dabei wird u.a. der Füllgrad der OSDs geprüft. Werden dabei gewisse Schwellwerte erreicht, dann startet Ceph Prozesse, die vor Datenverlust schützen.
In diesem Artikel werden diese Schwellwerte und ihre Auswirkungen innerhalb eines Proxmox VE Ceph-Clusters erläutert.
Die Schwellwerte für den Füllgrad der OSDs in einem Ceph-Cluster sind:
wikimon_osd_nearfull_ratio: Ab dieser Schwelle werden Warnungen über den Füllstand der OSDs ausgegeben.mon_osd_backfillfull_ratio: Ab dieser Schwelle wird kein Backfill mehr auf OSDs durchgeführt.mon_osd_full_ratio: Ist diese Schwelle erreicht, darf auf diesen und anderen OSDs im selben Pool nicht mehr geschrieben werden. Der Pool wird read only.Im Folgenden werden die einzelnen Schwellwerte näher erläutert.
Standardwert: 85 %
Hat ein oder mehrere OSDs diesen Schwellwert erreicht, dann wird auf dem Ceph-Dashboard des Clusters eine Warnmeldung ausgegeben. Ist der Schwellwert erreicht, sollte spätestens dann der Speicherplatz des Clusters erweitert werden.
Beim Einsatz von Ceph-Clustern ist zu prüfen, ob der Standardwert von 85% zu hoch gewählt ist. Eine Analyse dazu ist im folgenden Artikel zu finden: Optimale nearfull ratio im Proxmox Ceph 3-Node Cluster bestimmen.
mon_osd_nearfull_ratio Schwellwert wurde erreicht.Standardwert: 90 %
Hat ein OSD diesen Schwellwert erreicht, dann wird auf diesem OSD kein Backfill mehr durchgeführt[1]. Das schließt sowohl Backfilling durch Erweiterung des Clusters als auch Recovery bei Ausfall eines OSD oder eines Hosts ein.
Schreibvorgänge neuer Daten oder deren Replikate werden weiterhin durchgeführt.
Der Schwellwert soll verhindern, dass die mon_osd_full_ratio frühzeitig erreicht wird[1].
mon_osd_backfillfull_ratio Schwellwert ist erreicht.Standardwert: 95 %
Hat ein OSD diesen Schwellwert erreicht, dann gilt er als voll. Um Datenverlust zu verhindern, werden von diesem Zeitpunkt an keine Daten mehr auf den Pool geschrieben[2][3].
Schreibvorgänge werden erst wieder möglich nach Erweiterung des Clusters oder durch die Freigabe von Speicherplatz.
mon_osd_full_ratio Schwellwert ist erreicht.
 |
Autor: Stefan Bohn Stefan Bohn ist seit 2020 bei der Thomas-Krenn.AG beschäftigt. Ursprünglich als Berater für IT-Lösungen im PreSales beheimatet, wechselte er 2022 zum Product Management. Dort widmet er sich dem Wissenstransfer und treibt dabei auch das Thomas-Krenn Wiki voran.
|
