Guide til Grafana Alert Routing

Lucas Simon

Tirsdag den 16. april 2024 kl. 12.03.24

Konfiguration af dobbelte e-mail-advarsler i Grafana
Håndtering af advarselskonfigurationer i Grafana kan ofte kræve finjustering, især når forskellige forhold nødvendiggør notifikationer for at adskille kontaktpunkter. I øjeblikket er alarmsystemet sat op til at håndtere alle situationer ensartet ved at underrette et enkelt kontaktpunkt, uanset den specifikke alarmtilstand.
Udfordringen er nu at forbedre denne opsætning ved at dirigere advarsler til to adskilte e-mailadresser baseret på arten af advarselstriggeren – fejl i forhold til matchende forhold. Denne justering vil hjælpe i målrettet kommunikation og sikre, at det rigtige team løser de specifikke problemstillinger effektivt.

Kommando Beskrivelse

require('nodemailer') Indlæser Nodemailer-modulet, der bruges til at sende e-mails fra Node.js.

require('express') Indlæser Express-rammen til at håndtere webserverfunktionaliteter i Node.js.

express.json() Middleware i Express til at parse indgående JSON-nyttelast.

createTransport() Opretter et genanvendeligt transportobjekt ved hjælp af standard SMTP-transport.

sendMail() Sender en e-mail ved hjælp af transportobjektet.

app.post() Definerer en rute og binder den til en specifik funktion, der skal udføres, når ruten udløses af en POST-anmodning.

app.listen() Begynder at acceptere forbindelser på den angivne port.

fetch() Indbygget browserfunktion, der bruges til at lave webanmodninger og håndtere svar.

setInterval() Planlægger gentagen udførelse af en funktion med faste intervaller.

Kommando	Beskrivelse
require('nodemailer')	Indlæser Nodemailer-modulet, der bruges til at sende e-mails fra Node.js.
require('express')	Indlæser Express-rammen til at håndtere webserverfunktionaliteter i Node.js.
express.json()	Middleware i Express til at parse indgående JSON-nyttelast.
createTransport()	Opretter et genanvendeligt transportobjekt ved hjælp af standard SMTP-transport.
sendMail()	Sender en e-mail ved hjælp af transportobjektet.
app.post()	Definerer en rute og binder den til en specifik funktion, der skal udføres, når ruten udløses af en POST-anmodning.
app.listen()	Begynder at acceptere forbindelser på den angivne port.
fetch()	Indbygget browserfunktion, der bruges til at lave webanmodninger og håndtere svar.
setInterval()	Planlægger gentagen udførelse af en funktion med faste intervaller.

Forklaring af Grafana Alert Scripts

De leverede scripts fungerer som en backend- og frontend-løsning til styring af Grafana-advarsler med forskellige kontaktpunkter baseret på alarmtilstanden. Backend-scriptet bruger Node.js med Express-frameworket og Nodemailer-modulet. Denne opsætning giver mulighed for at oprette en webserver, der lytter efter POST-anmodninger på en specificeret port. Når en alarm udløses i Grafana, sender den data til denne server. Serveren analyserer derefter arten af advarslen – uanset om det skyldes en fejl eller en matchende tilstand – og dirigerer e-mailen til det relevante kontaktpunkt ved hjælp af Nodemailer.

Frontend-scriptet er designet til at vise advarselsstatusser dynamisk på en webside ved hjælp af almindelig HTML og JavaScript. Den henter periodisk advarselsstatus fra backend og opdaterer websiden i overensstemmelse hermed. Dette er især nyttigt til overvågning i realtid i miljøer, hvor forskellige teams muligvis skal informeres hurtigt om specifikke typer advarsler. Brugen af 'fetch()' til at lave webanmodninger og 'setInterval()' til indstilling af opdateringshastigheden sikrer, at dashboardet forbliver opdateret uden manuel indgriben.

Dynamisk e-mail-routing i Grafana Alerts

Node.js med Nodemailer og Grafana Webhook

const nodemailer = require('nodemailer');
const express = require('express');
const app = express();
const port = 3000;
app.use(express.json());
const transporter = nodemailer.createTransport({
  service: 'gmail',
  auth: {
    user: 'your-email@gmail.com',
    pass: 'your-password'
  }
});
app.post('/alert', (req, res) => {
  const { alertState, ruleId } = req.body;
  let mailOptions = {
    from: 'your-email@gmail.com',
    to: '',
    subject: 'Grafana Alert Notification',
    text: `Alert Details: ${JSON.stringify(req.body)}`
  };
  if (alertState === 'error') {
    mailOptions.to = 'contact-point1@example.com';
  } else if (alertState === 'ok') {
    mailOptions.to = 'contact-point2@example.com';
  }
  transporter.sendMail(mailOptions, (error, info) => {
    if (error) {
      console.log('Error sending email', error);
      res.status(500).send('Email send failed');
    } else {
      console.log('Email sent:', info.response);
      res.send('Email sent successfully');
    }
  });
});
app.listen(port, () => console.log(`Server running on port ${port}`));

Frontend visualisering til Grafana Alert Status

JavaScript med HTML

<html>
<head>
<title>Grafana Alert Dashboard</title>
</head>
<body>
<div id="alertStatus"></div>
<script>
const fetchData = async () => {
  const response = await fetch('/alert/status');
  const data = await response.json();
  document.getElementById('alertStatus').innerHTML = `Current Alert Status: ${data.status}`;
};
fetchData();
setInterval(fetchData, 10000); // Update every 10 seconds
</script>
</body>
</html>

Avanceret alarmstyring i Grafana

I avancerede Grafana-konfigurationer kan administration af advarsler baseret på flere forhold og afsendelse af meddelelser til forskellige slutpunkter forbedre den operationelle effektivitet betydeligt. Ved at bruge Grafanas fleksible varslingsramme kan brugere opsætte komplekse regler, der reagerer forskelligt afhængigt af specifikke datamønstre eller systemtilstande. Denne fleksibilitet er afgørende for systemer, der kræver forskellige niveauer af reaktionsgrad eller afdelinger, der har brug for specifik information. Grafana giver mulighed for at oprette flere notifikationskanaler, som kan dirigeres til forskellige e-mailadresser eller andre notifikationssystemer som Slack, PagerDuty eller SMS.

Opsætning af sådanne konfigurationer involverer at definere alarmbetingelser i Grafana og bruge eksterne scripts eller Grafana API for at forbedre funktionaliteten. For eksempel, ved at integrere Grafana med scriptløsninger som Node.js, som vist, kan brugere programmere tilpasset logik til at håndtere forskellige alarmtilstande. Denne metode giver en mere nuanceret tilgang til advarselsstyring, der sikrer, at de rigtige personer får den rigtige information på det rigtige tidspunkt, potentielt før et problem eskalerer.

Hvordan opretter jeg en underretning i Grafana?
Du kan oprette advarsler direkte fra Grafana-dashboardet ved at vælge det panel, du ønsker at advare på, og derefter klikke på fanen "Alert" og indstille de betingelser, der skal udløse advarslen.
Kan Grafana sende advarsler til flere modtagere?
Ja, Grafana kan sende advarsler til flere modtagere ved at konfigurere flere notifikationskanaler og knytte dem til dine advarselsregler.
Er det muligt at tilpasse Grafana-advarsler baseret på sværhedsgrad?
Ja, du kan tilpasse advarsler baseret på alvor ved at bruge forskellige betingelser inden for advarselsreglerne og dirigere dem til passende kanaler.
Kan jeg integrere eksterne API'er med Grafana for mere kompleks advarsel?
Ja, Grafana understøtter integration med eksterne API'er, hvilket giver mulighed for mere komplekse advarselsmekanismer og tilpasset notifikationslogik.
Hvordan sikrer jeg, at Grafana-advarsler altid sendes, selv under servernedetid?
For at sikre, at der sendes advarsler under servernedetid, bør du overveje at hoste din Grafana-instans og dens database på servere med høj tilgængelighed eller bruge Grafana Cloud, som tilbyder robuste oppetidsgarantier.

Muligheden for at tilpasse alarmmeddelelser i Grafana til forskellige modtagere baseret på alarmtilstanden giver betydelige fordele for systemovervågning og hændelsesrespons. Gennem brugen af scripting i Node.js og integration af Grafanas fleksible varslingsfunktioner kan administratorer sikre, at kritisk information videresendes hurtigt til de relevante interessenter, hvorved den operationelle effektivitet og reaktionsevne forbedres.