Мониторинг и логи: Prometheus, Grafana, оповещения

Узнать раньше пользователей

Худший способ узнать о сбое — от покупателя, который не смог оплатить заказ. В «Чайной лавке» так и было: сайт тормозил полдня, а команда узнала об этом из отзывов.

Мониторинг — постоянное наблюдение за сервисом, чтобы проблему заметила система, а не пользователь. Он отвечает на два вопроса: «всё ли сейчас в порядке?» и «что случилось?», если не в порядке.

Метрики и логи

Обычно по метрикам замечают проблему, а по логам находят её причину.

Четыре золотых сигнала

Если метрик сотни, с чего начать? Инженеры, которые строили большие сервисы, советуют смотреть на четыре золотых сигнала:

• Задержка — сколько времени занимает ответ. Страница заказа открывается за 0,3 секунды или за 5?
• Трафик — сколько запросов приходит. Резкий рост — распродажа или атака, резкое падение — что-то сломалось.
• Ошибки — какая доля запросов завершается неудачей.
• Насыщенность — насколько загружены ресурсы: процессор, память, диск. Диск заполнен на 95% — скоро всё остановится.

Prometheus и Grafana

Самая распространённая связка для метрик:

• Prometheus регулярно опрашивает приложения и серверы, собирает метрики и хранит их;
• Grafana строит по ним графики и дашборды — экраны с главными показателями сервиса.

Prometheus понимает запросы на своём языке. Например, доля ошибок сайта за последние 5 минут:

sum(rate(http_requests_total{status=~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))

На дашборде «Чайной лавки» — четыре графика по золотым сигналам и отдельно — число оплаченных заказов в час. Последний график понятен даже владелице: если он упал до нуля в рабочее время, что-то точно не так.

Оповещения

Смотреть на графики круглосуточно никто не будет. Поэтому настраивают оповещения: при выполнении условия система присылает сообщение дежурному. Пример правила для Prometheus:

groups:
  - name: shop
    rules:
      - alert: ManyErrors
        expr: sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) > 0.05
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "Больше 5% запросов к сайту завершаются ошибкой"

Тревога сработает, если доля ошибок больше 5% пять минут подряд — for: 5m отсеивает короткие случайные всплески.

Главное правило оповещений: каждое должно требовать действия. Если тревоги приходят по десять раз в день и ничего не значат, команда начнёт их игнорировать — и пропустит настоящую. Настройка мониторинга — это постоянная работа по удалению лишнего шума.