Eskalationsrichtlinien

Eine Eskalationsrichtlinie sorgt dafür, dass ein Vorfall, den niemand bestätigt, weiter die Kette hochklettert, bis jemand reagiert. Statt eines einzelnen Alarms, der untergehen kann, feuert die Richtlinie eine zeitlich gestaffelte Abfolge von Schritten -- jeder Schritt erreicht ein größeres oder anderes Publikum -- und stoppt in dem Moment, in dem der Vorfall bestätigt wird.

Eskalationsrichtlinien sind vor allem für kritische, kundenseitige Dienste sinnvoll, bei denen ein verpasster Alarm mitten in der Nacht keine Option ist.

So funktioniert die Eskalation

Wenn ein Vorfall entsteht, schickt die zugehörige Benachrichtigungsregel wie gewohnt die erste Alarmrunde raus. Hängt eine Richtlinie daran und wird der Vorfall nicht rechtzeitig bestätigt, beginnt Hoppla, die Schritte der Richtlinie abzuarbeiten:

1. Jeder Schritt wartet seine konfigurierte Zeit ab und benachrichtigt dann sein Ziel.
2. Solange der Vorfall unbestätigt (und ungelöst) bleibt, geht Hoppla zum nächsten Schritt über.
3. Sobald jemand den Vorfall bestätigt -- oder er sich von selbst löst -- stoppt die Eskalation sofort. Es feuern keine weiteren Schritte.

So ist garantiert, dass ein ernster Vorfall auch wirklich eine echte Person erreicht, während ein schnell erledigter nie über den ersten Alarm hinaus eskaliert.

Schritte

Eine Richtlinie ist eine geordnete Liste von Schritten. Jeder Schritt hat:

• Wartezeit -- Wie viele Minuten gewartet wird, bevor dieser Schritt feuert (gemessen ab dem Start der Eskalation). Ein Schritt mit 10 Minuten Wartezeit benachrichtigt sein Ziel also 10 Minuten nach Beginn eines unbestätigten Vorfalls.
• Ziel -- Wer benachrichtigt wird. Ein Schritt kann entweder zeigen auf:
  • einen Benachrichtigungskanal (z. B. einen Slack-Channel, eine E-Mail-Adresse, einen PagerDuty-Service) oder
  • einen Rufbereitschaftsplan -- der genau die Person piept, die gerade Dienst hat.

Eine typische Richtlinie startet sanft und wird dringlicher: nach 5 Minuten den Team-Chat benachrichtigen, nach 15 die Person in Rufbereitschaft piepen, nach 30 eine Vertretung.

Die Richtlinie wiederholen

Über die einzelnen Schritte hinaus kann eine Richtlinie die ganze Abfolge wiederholen:

• Wiederholungsanzahl -- Wie oft alle Schritte nach dem letzten Schritt erneut durchlaufen werden.
• Wiederholungsintervall -- Wie lange (in Minuten) nach dem letzten Schritt vor jeder Wiederholung gewartet wird. 0 wartet so lange, wie die Schritte dauern.

Eine Wiederholung durchläuft die Schritte in derselben Reihenfolge mit denselben Wartezeiten, gezählt ab Beginn der Wiederholung. Beispiel: Slack sofort, PagerDuty nach 10 Minuten, Wiederholungsintervall 0: Slack bei 0, PagerDuty bei 10, dann Slack bei 20 und PagerDuty bei 30.

Das ist das Sicherheitsnetz für einen Vorfall, der nach dem letzten Schritt immer noch unbestätigt ist -- die Richtlinie springt zurück an den Anfang, statt zu verstummen. Und wie immer gilt: Ein bestätigter Vorfall stoppt die Schleife.

Aktivieren und Deaktivieren

Jede Richtlinie hat einen Ein-/Aus-Schalter. Eine deaktivierte Richtlinie bleibt konfiguriert, wird aber übersprungen -- praktisch, um einen Eskalationsweg während geplanter Arbeiten zu pausieren, ohne ihn löschen und neu aufbauen zu müssen.

Eine Richtlinie an eine Regel hängen

Eskalationsrichtlinien feuern nicht von allein; du hängst sie an eine Benachrichtigungsregel:

1. Leg deine Eskalationsrichtlinie und ihre Schritte an.
2. Öffne (oder erstelle) eine Benachrichtigungsregel und wähle im Feld Eskalationsrichtlinie deine Richtlinie aus.
3. Speichere die Regel.

Ab dann folgt jeder Vorfall, der zu dieser Regel passt -- und nicht rechtzeitig bestätigt wird -- der Richtlinie. Verschiedene Regeln können verschiedene Richtlinien nutzen: So eskalierst du Produktionsvorfälle aggressiv, während Staging-Alarme eine einzige Benachrichtigung bleiben.

Bestätigen stoppt die Eskalation

Das Bestätigen eines Vorfalls ist der Aus-Schalter für die Eskalation. Wer einen Vorfall übernimmt, sollte ihn (auf der Vorfall-Detailseite) bestätigen, damit der Rest des Teams -- und die Rufbereitschaft -- nicht unnötig gepiept wird.