User-impact SLI, error budgets và burn-rate alerts
Alert phải báo một user-impacting objective đang cháy đủ nhanh để cần hành động, không chỉ một resource threshold vượt số đẹp.
SLI design
Good events / valid events cho availability/correctness; latency events dưới threshold; freshness/completeness cho pipelines. Define scope, exclusions, measurement point và window. HTTP 200 không đủ nếu response sai/stale.
SLO and budget
SLO target trong rolling/calendar window; budget = allowed bad fraction. 100% thường harmful vì cản change và impossible dependencies. Budget policy quyết định release/reliability investment, không dùng để đổ lỗi team.
Burn rate
Burn rate = tốc độ tiêu budget so với đều đặn. Multi-window/multi-burn alerts kết hợp short window nhanh với long window xác nhận, bắt fast/slow burns và giảm noise. Page khi action urgent; ticket khi slow degradation.
Symptom vs cause
Page on checkout success/latency; CPU/pool/disk alerts support diagnosis/capacity. Resource saturation có thể page nếu imminent hard failure và runbook rõ. Alert có owner, severity, context, dashboard/runbook và dedupe.