Home ITHome ServerWebsite- und SSL-Monitoring mit Zabbix: 30 Domains, Antwortzeiten, Zertifikatsablauf und Mail-Ports

Website- und SSL-Monitoring mit Zabbix: 30 Domains, Antwortzeiten, Zertifikatsablauf und Mail-Ports

by Dimitri Roschkowski
0 Kommentare

Alles bisher in der Serie schaute nach innen: Server, Dienste, Netzwerkgeräte. Aber was der Kunde sieht, ist die Website. Und die kann kaputt sein, während jeder Server grün ist: ein abgelaufenes Zertifikat, ein Redirect-Loop, ein Reverse-Proxy, der 502 liefert, ein Cloudflare-Tunnel, der steht.

In diesem Teil baut Zabbix die Außensicht: 30 Websites, jede Minute geprüft, mit Antwortzeit, HTTP-Code, Zertifikatsablauf, und daneben die Mail-Ports eines Mailservers, so wie ein Mailclient sie sieht.

Ein Host pro Website

Zabbix denkt in Hosts. Eine Website ist kein Server, aber man legt sie trotzdem als Host an, weil nur Hosts Web-Szenarien, Items und Trigger haben können. Das fühlt sich zuerst falsch an und ist dann sehr praktisch: Jede Website hat ihre eigene Seite mit Verlauf, und im Dashboard sind sie als Gruppe „Websites“ filterbar.

Der Host bekommt eine Agent-Schnittstelle auf 127.0.0.1. Das ist kein Tippfehler. Die Zertifikatsprüfung läuft über den Agent 2 auf dem Zabbix-Server selbst, und der sitzt auf localhost. Die Web-Szenarien laufen ohnehin im Server. So prüft Zabbix jede Website vom Rechenzentrum aus, also von außen.

Web-Szenarien

Unter dem Host der Reiter „Web“ → Create web scenario:

  • Name: Erreichbarkeit
  • Update interval: 1m
  • Attempts: 2, damit ein einzelner Timeout keinen Alarm auslöst
  • Agent: Zabbix

Dann die Steps. Ein Step ist ein HTTP-Aufruf mit Erwartung:

  • Startseite: URL https://example.de/, Required status codes 200, Follow redirects an, Timeout 15s
  • www-Redirect: URL https://www.example.de/, ebenfalls 200 mit Follow redirects. So prüft man, dass die www-Variante sauber auf die Hauptdomain umleitet.

Wer einen Text auf der Seite erwarten will, trägt ihn unter „Required string“ ein. Für meinen Webmail-Login steht dort „Roundcube“. Liefert die Seite 200, aber ohne diesen Text, etwa weil PHP tot ist und nginx eine leere Seite zeigt, schlägt der Check fehl.

Zabbix Web-Monitoring
Monitoring → Web: alle Szenarien mit Status, Antwortzeit und letztem Fehler. Hostnamen, Domains und IP-Adressen sind unkenntlich gemacht.

Jedes Szenario erzeugt automatisch Items: Antwortzeit und Response-Code pro Step, Download-Geschwindigkeit, und die beiden wichtigen web.test.fail[Erreichbarkeit] (Nummer des fehlgeschlagenen Steps, 0 wenn alles gut) und web.test.error[Erreichbarkeit] (der Fehlertext).

Trigger

Das Szenario allein alarmiert nicht. Zwei Trigger pro Website:

Nicht erreichbar, Schweregrad High:

last(/example.de/web.test.fail[Erreichbarkeit])>0
and length(last(/example.de/web.test.error[Erreichbarkeit]))>=0

Der zweite Teil ist immer wahr und dient nur dazu, den Fehlertext als zweites Item in die Meldung zu bekommen: {ITEM.LASTVALUE2} im Trigger-Namen zeigt dann „Couldn’t resolve host“ oder „Response code 502″.

Langsam, Schweregrad Warning:

min(/example.de/web.test.time[Erreichbarkeit,Startseite,resp],5m)>5

Fünf Minuten lang über fünf Sekunden. Das fängt einen überlasteten Server, ohne bei einem einzelnen Ausreißer zu melden.

Zertifikate

Zabbix liefert das Template „Website certificate by Zabbix agent 2″. Es nutzt den Item-Key web.certificate.get, der im Agent 2 eingebaut ist, und liefert Aussteller, Gültigkeit, Fingerprint, Alternative Names und ein Validierungsergebnis. An den Website-Host hängen, zwei Makros setzen:

  • {$CERT.WEBSITE.HOSTNAME}: example.de
  • {$CERT.EXPIRY.WARN}: 14, Standard ist 7

Der Trigger im Template meldet ab 14 Tagen vor Ablauf und sofort, wenn das Zertifikat ungültig ist. Bei Let’s Encrypt mit automatischer Verlängerung bleibt es still, solange die Verlängerung läuft. Bricht sie, hat man zwei Wochen Vorwarnung.

Dasselbe Template funktioniert für jeden TLS-Port. Für den LDAP-Server steht {$CERT.WEBSITE.PORT} auf 636, für einen Mailserver könnte es 993 sein.

Ein Detail für das Dashboard: Die Items des Templates heißen [example.de]: Expires on, pro Host anders. Das Top-hosts-Widget braucht aber identische Namen. Deshalb hat jeder Website-Host ein berechnetes Item „Zertifikat: Tage bis Ablauf“:

(last(//cert.not_after[example.de])-now())/86400

Daraus wird im Dashboard die Spalte, die bei 14 gelb und bei 0 rot wird.

Web und Zertifikate im Dashboard
Alle Websites links, alle Zertifikate nach Restlaufzeit rechts. Hostnamen, Domains und IP-Adressen sind unkenntlich gemacht.

30 Domains in einem Durchgang

Von Hand dauert das pro Website zehn Minuten. Per API geht es für alle in einem Skript. Vorher die Frage: Welche Domains sind überhaupt online? Auf meinem Shared-Hosting-Server liegen 85 vhosts, davon antworten 28 mit 200, 7 mit 403 oder 404, der Rest hat kein DNS mehr. Ein Schleifendurchlauf mit curl vom Zabbix-Server aus liefert die Liste:

while read d; do
  printf "%s " "$d"
  curl -s -o /dev/null -m 12 -L -w "%{http_code} %{url_effective}\n" "https://$d/"
done < vhosts.txt

Für jede Domain mit 200 legt das Skript dann per API den Host an (host.create mit Interface 127.0.0.1, Gruppe Websites, Zertifikats-Template und den Makros), das Web-Szenario (httptest.create), die beiden Trigger (trigger.create) und das berechnete Item (item.create). Für 22 Domains lief das in 40 Sekunden. Die Domains mit 403 habe ich mit erwartetem Status 200,403 aufgenommen, weil 403 dort der Normalzustand ist. Die mit 404 gar nicht, das sind tote Projekte.

Der eine Sonderfall: Eine API-Subdomain liefert auf / immer 404 und auf /health 200. Dort zeigt der Step auf /health. Vorher prüfen, was die Seite auf der Startseite liefert, sonst alarmiert ein Check, der nie grün war.

Hinter Cloudflare

Mehrere meiner Domains laufen über Cloudflare-Tunnel. Das Zertifikat, das Zabbix sieht, ist das von Cloudflare, nicht das Origin-Zertifikat. Das ist richtig so, denn das ist auch, was der Browser sieht. Cloudflare verlängert es selbst. Was man dabei nicht sieht: ob das Origin-Zertifikat zwischen Cloudflare und dem Server noch gültig ist. Dafür braucht es einen Check vom Server selbst, mit dem Agent 2 dort und dem Zertifikats-Template auf Port 443 der internen Adresse. Bei mir sind das Cloudflare-Origin-Zertifikate mit 15 Jahren Laufzeit, also kein Thema.

Mail-Ports von außen

Ein Mailserver kann intern laufen und von außen unerreichbar sein. Deshalb ein eigener Host „mail-extern“ mit Simple Checks, das sind TCP-Verbindungen vom Zabbix-Server aus:

Item Key
SMTP 25 net.tcp.service[smtp,203.0.113.20,25]
Submission 587 net.tcp.service[tcp,203.0.113.20,587]
SMTPS 465 net.tcp.service[tcp,203.0.113.20,465]
IMAPS 993 net.tcp.service[tcp,203.0.113.20,993]
POP3S 995 net.tcp.service[tcp,203.0.113.20,995]
SMTP-Antwortzeit net.tcp.service.perf[smtp,203.0.113.20,25]

Jeder liefert 1 oder 0. Trigger: max(/mail-extern/net.tcp.service[...],3m)=0, Schweregrad High. Drei Minuten lang 0 heißt Alarm.

Eine Falle: Der Dienstname imaps ist in net.tcp.service nicht erlaubt, nur ssh, ldap, smtp, ftp, http, pop, nntp, imap, tcp, https, telnet. Für die TLS-Ports nimmt man tcp. Der smtp-Check wartet dagegen auf das 220-Banner und ist damit mehr als ein Port-Scan.

Im Dashboard sind das sechs Kacheln in einer Reihe. Sechs Einsen bedeuten, dass der Mailserver von außen vollständig erreichbar ist.

Was ein Web-Check nicht sieht

Ein 200 mit dem richtigen Text heißt, dass die Seite ausgeliefert wird. Es heißt nicht, dass das Kontaktformular funktioniert, dass der Login geht oder dass die Datenbank dahinter Schreibzugriffe annimmt. Dafür gibt es mehrstufige Szenarien mit Login-Formular und Session-Cookie, das kann Zabbix, aber das ist ein eigener Artikel. Für die Frage „ist die Website da“ reicht das hier.

Die Serie im Rückblick

Das war der letzte Teil. In acht Artikeln ist aus einer leeren Ubuntu-VM ein Monitoring geworden, das 15 Server, zwei Proxmox-Hosts, 17 UniFi-Geräte, 30 Websites, zwei Datenbanken und einen Mailserver überwacht, an vier Standorten, mit Alarm auf dem Handy und einem Dashboard, das man einem Chef zeigen kann. Zwei Tage Arbeit, null Euro Lizenz.

Was noch fehlt und vielleicht nachkommt: ein Totmann-Schalter für Zabbix selbst, mehrstufige Web-Szenarien mit Login, Log-Überwachung und ein Blick auf Zabbix 8.0, sobald es final ist.

You may also like

Hinterlasse einen Kommentar