Home ITHome ServerProxmox mit Zabbix überwachen: Template, API-Token, VMs und die TLS-Falle

Proxmox mit Zabbix überwachen: Template, API-Token, VMs und die TLS-Falle

by Dimitri Roschkowski
0 Kommentare

Zwei Proxmox-Hosts, 19 VMs, ein Backup-Server. Ich will wissen, ob eine VM steht, die nicht stehen soll, wie voll die ZFS-Pools sind, ob der Cluster Quorum hat und, vor allem, wie es um den RAM steht. Letzteres hat sich als die wichtigste Frage herausgestellt.

Zabbix bringt dafür das Template „Proxmox VE by HTTP“ mit. Es fragt die Proxmox-API ab und braucht keinen Agent in den VMs. Zusätzlich läuft auf jedem Host der Agent 2 für die Linux-Grundwerte, denn die Proxmox-API verrät nichts über den Host selbst, was über CPU und RAM hinausgeht.

Schritt 1: Ein API-Token mit Leserechten

Auf einem Proxmox-Host, bei einem Cluster reicht einer, denn Benutzer und Token gelten clusterweit:

pveum user add zabbix@pve --comment "Zabbix Monitoring"
pveum acl modify / --users zabbix@pve --roles PVEAuditor
pveum user token add zabbix@pve zabbix --privsep 0

Die Rolle PVEAuditor darf alles lesen und nichts ändern. --privsep 0 bedeutet, dass der Token dieselben Rechte wie der Benutzer hat, statt einer eigenen, leeren Rechtemenge. Der letzte Befehl gibt die Token-ID (zabbix@pve!zabbix) und das Secret aus. Das Secret wird nur einmal angezeigt.

Testen:

curl -sk -H "Authorization: PVEAPIToken=zabbix@pve!zabbix=<secret>" \
  https://pve1.example.de:8006/api2/json/cluster/resources?type=node

Kommt eine Liste der Nodes, passt es.

Schritt 2: Host in Zabbix

Der Host für den Proxmox-Node hat bei mir schon den Agent 2 (siehe Agent-Artikel, mit PSK-Verschlüsselung). Dazu kommt das Template „Proxmox VE by HTTP“ und vier Makros:

Makro Wert
{$PVE.URL.HOST} IP oder Name des Proxmox-Hosts
{$PVE.URL.PORT} 8006
{$PVE.TOKEN.ID} zabbix@pve!zabbix
{$PVE.TOKEN.SECRET} das Secret, als Secret-Makro

Das Template auf einem Node reicht für den ganzen Cluster. Es fragt /cluster/resources ab und findet darüber alle Nodes, alle VMs, alle Container und alle Storages. Für meinen Zwei-Node-Cluster steht das Template nur auf pve1.

Die TLS-Falle

Nach dem Verlinken passierte: nichts. Alle Cluster-Werte auf 0, keine VMs, keine Fehlermeldung im Frontend. Erst im Server-Log stand es:

[ Proxmox ] ERROR: cannot get URL: SSL certificate OpenSSL verify result: unable to get local issuer certificate

Proxmox hat ein selbstsigniertes Zertifikat, und das Template prüft es standardmäßig. Das Makro dafür heißt {$HTTP.TLS.VERIFY} und steht auf full. Für einen Host mit eigenem Zertifikat auf none setzen. Wer ein Let’s-Encrypt-Zertifikat auf Proxmox hat, lässt es auf full.

Mein erster Versuch war der Wert 0, weil ich das von anderen Templates kannte. Das Template akzeptiert nur full, host oder none. Mit 0 passierte wieder nichts, wieder ohne Fehlermeldung. Nach dem Umstellen auf none kamen innerhalb einer Minute 143 Items mit Daten.

Was das Template liefert

Server und Proxmox im Dashboard
Die Proxmox-Hälfte der Dashboard-Seite: alle VMs mit Status und RAM, daneben die vollsten Datenträger. Hostnamen, Domains und IP-Adressen sind unkenntlich gemacht.

Cluster: Quorum, Anzahl Nodes online, CPU-Kerne gesamt, RAM gesamt, laufende und gestoppte VMs und Container.

Pro Node: CPU, RAM, Uptime, Status, Zertifikatsablauf des Proxmox-Zertifikats, alle Storages mit Belegung, physische Disks mit SMART-Status.

Pro VM und Container (per Low-Level Discovery): Status, CPU, RAM, Netzwerk, Disk-IO, Uptime. Und einen Trigger „Not running“, der feuert, wenn eine VM steht.

Zwei Dinge liefert es nicht: Die Benutzerliste (403 mit PVEAuditor, die Discovery dafür habe ich deaktiviert) und USB-Hardware (ebenfalls 403). Beides ist für Monitoring egal.

Das Rauschen abstellen

Nach dem ersten Lauf standen 23 neue Probleme in der Liste. Drei davon waren echt. Der Rest:

„Agent is not enabled“ für jede VM ohne QEMU-Guest-Agent. Der Guest-Agent ist praktisch, aber in meinen VMs größtenteils nicht installiert, und Zabbix braucht ihn nicht. Den Trigger-Prototyp im Template deaktiviert.

„Not running“ für drei VMs, die absichtlich aus sind: eine Dev-VM, eine alte Vorlage, ein stillgelegter Dienst. Das Makro {$PVE.FILTER.QEMU.NOTMATCH} auf ^(DevVM|Vorlage|Altdienst)$ nimmt sie aus der Discovery.

„Memory usage high“ für fünf VMs über 90 Prozent. Aus Sicht des Hosts belegt eine Linux-VM fast immer ihren ganzen RAM, weil der Gast den Rest als Cache nutzt. Das Makro {$PVE.TRIGGER.MEMORY.WARNING} auf 97 gesetzt. Wer es pro VM will, nutzt den Kontext: {$PVE.TRIGGER.MEMORY.WARNING:"DB"}.

Das echte Problem

Nach dem Abstellen des Rauschens blieb eine Meldung übrig, und zwar eine vom Linux-Template auf dem Host selbst: „High memory utilization (>90% for 5m)“ auf pve1. Mein Reflex war, auch das als ZFS-ARC-Effekt abzutun, denn ZFS füllt den RAM mit Cache und Linux zählt das als belegt.

Nachgeschaut:

free -g:   total 125, used 119, available 5
ARC:       0,7 GB
VMs:       152 GB zugewiesen

Der ARC war auf unter ein Gigabyte gedeckelt. Der RAM war wirklich weg, weil den laufenden VMs zusammen 152 GB zugewiesen sind bei 125 GB im Host. Das lief seit Monaten gut, weil nicht alle VMs ihren RAM nutzen, aber es ist eine Überbuchung, die beim nächsten Lastspitze eine VM in den Swap oder den OOM-Killer schickt.

Ich hätte das ohne Zabbix nicht gesehen. Das Proxmox-Dashboard zeigt RAM pro VM, aber nicht die Summe gegen das Physische. Jetzt steht die Liste aller VMs mit RAM auf der Dashboard-Seite, und ich arbeite sie ab.

Proxmox Backup Server

Für PBS gibt es in 7.4 kein eigenes Template. Ich habe den Agent 2 installiert, das Linux-Template und das systemd-Template für proxmox-backup und proxmox-backup-proxy. Die Belegung des Datastores kommt über die Dateisystem-Discovery des Linux-Templates, mit Warnung ab 85 Prozent statt der üblichen 80, weil ein Backup-Datastore eben voll ist.

Was mir noch fehlt: ob das letzte Backup geklappt hat. Das ginge über die PBS-API oder über ein Skript, das proxmox-backup-manager task list auswertet. Steht auf der Liste.

Was man sich sparen kann

Einen Agent in jeder VM nur wegen Proxmox. Status, CPU, RAM und Disk-IO pro VM kommen über die API. Einen Agent braucht eine VM erst, wenn man in sie hineinschauen will: Dienste, Datenbanken, Container, Dateisysteme. Bei mir hat jede produktive VM einen, die Dev-VMs nicht.

Im letzten Teil der Serie geht es nach außen: Websites und Zertifikate überwachen, für alle 30 Domains, die auf diesen VMs laufen.

You may also like

Hinterlasse einen Kommentar