36 câu hỏi observability và production debugging

Monitoring kiểm tra known conditions; observability cho phép suy luận internal state từ outputs để điều tra cả unknown failure. Hệ thống cần cả hai.

Metrics phát hiện xu hướng, logs giải thích events, traces nối request path, profiles chỉ ra nơi CPU/allocation/time được tiêu; correlation context liên kết chúng.

SLI là phép đo service level, SLO là target nội bộ, SLA là cam kết có hậu quả kinh doanh/pháp lý.

Khoảng unreliability còn được phép giúp cân bằng release velocity và reliability; burn rate cho biết budget đang bị tiêu nhanh đến đâu.

Latency/error/availability phản ánh user impact và actionable hơn alert mọi cause; cause metrics vẫn hữu ích khi chẩn đoán.

Cửa sổ ngắn phát hiện burn nhanh, cửa sổ dài lọc spike; kết hợp severity với mức budget bị đe dọa.

RED: rate/errors/duration cho request services. USE: utilization/saturation/errors cho resources; cả hai cần gắn với SLO.

Counter tăng tích lũy rồi rate; gauge lên/xuống; histogram phân phối theo buckets để aggregate quantile phía server.

Label values không giới hạn như user/request ID tạo quá nhiều time series, tăng memory/cost và làm query chậm.

Percentile đã tính thường không merge đúng giữa instances; histogram buckets có thể sum rồi tính quantile với sai số bucket.

Prometheus scrape, lưu time series, chạy PromQL và rules. Grafana query Prometheus cùng data sources khác để visualize và có thể evaluate Grafana-managed alerts. Grafana không tự thu thập metrics ứng dụng.

Counter reset xảy ra riêng trên từng instance. rate xử lý reset theo series; sum trước có thể che reset và tạo spike hoặc kết quả sai.

Khi PromQL đắt hoặc dùng lặp lại cho dashboard/SLO/alert. Rule giảm query latency nhưng thêm độ trễ evaluation và cần versioning, naming, dependency review.

Kiểm tra time range, variables và query inspector; chạy selector đơn giản trong Explore; sau đó kiểm tra target scrape, labels, data-source permission và transformations. No data không đồng nghĩa value bằng zero.

Regex All/multi-value, label cardinality cao và repeat panels có thể tạo query explosion. Dashboard critical cần default/scope rõ và bounded dimensions.

Chọn một ownership model rõ theo data source, portability và operations. Prometheus rules gần metrics và Alertmanager; Grafana alerting thuận tiện cho multi-data-source. Không duplicate cùng condition nếu không có dedupe và silence strategy.

Timestamp chuẩn, level, service/version/environment, event, trace/span hoặc correlation ID, outcome/error taxonomy; tránh secrets và PII.

Giữ errors/security/audit cần thiết, sample high-volume success theo policy; dynamic verbosity phải time-bound, audited và có cost/privacy guardrail.

Audit log ghi actor/action/resource/outcome để truy vết và có yêu cầu integrity/retention/access riêng; không nên trộn tùy tiện với debug log.

Qua standardized headers và message metadata; async fan-out có links/parent semantics, không nhét request ID vào metric label.

Head quyết định sớm, rẻ nhưng có thể bỏ rare errors; tail xem completed trace để giữ slow/error nhưng cần buffering và collector capacity.

Không propagate context qua HTTP/message/executor, instrumentation version lệch, sampling không thống nhất hoặc collector/export failure.

So sánh CPU/allocation/lock theo thời gian và version; profile cần sampling overhead control và symbol/context đủ để giải thích.

Xác nhận scope/user impact, correlate deploy/load, lấy process/thread CPU và JFR/profile, phân biệt compute, spin, GC, lock rồi thử mitigation có kiểm soát.

Leak có retained set tăng qua các chu kỳ GC; load tăng có thể giảm khi traffic/queue/cache giảm. Dùng GC trend, class histogram và heap dump/dominator evidence.

Có thể pause/IO lớn, chứa secrets/PII và làm đầy disk; cần capacity check, access/retention/encryption và ưu tiên histogram/JFR trước khi phù hợp.

RUNNABLE hotspots, BLOCKED owner/contended monitor, WAITING/TIMED_WAITING theo pool/queue, deadlock và nhiều stacks giống nhau; lấy nhiều snapshots.

Xem allocation rate, heap-after-GC, pause/concurrent phase, promotion và CPU. Pause là symptom; root cause có thể object churn, leak, sizing hoặc collector behavior.

Không; tăng concurrency có thể đẩy saturation sang DB/downstream, tăng memory/context switch. Phải xét accept queue, active threads, latency và Little's Law.

Khi worker capacity bận, accepted requests chờ trong connector/OS queues đến giới hạn; đầy queue dẫn timeout/refusal. Các lớp backlog và timeout cần đo riêng.

Acquire wait/timeouts tăng, active gần max, downstream latency/transactions kéo dài; chỉ tăng pool có thể overload database.

Timeout/retry không budget, nhiều layers retry đồng bộ làm traffic khuếch đại lúc dependency yếu; dùng deadline, bounded retry, backoff+jitter và load shedding.

Có thể blocked I/O, partition imbalance, poison message, lock, downstream throttle hoặc consumer rebalance; cần per-partition/processing-stage evidence.

Xác định impact/severity, thiết lập roles/channel/timeline, ưu tiên mitigation an toàn và giữ investigation hypotheses/evidence tách khỏi phỏng đoán.

Có thể config/data/dependency/capacity issue, rollback chưa hoàn tất hoặc telemetry lag. Verify version/traffic và mở rộng hypotheses thay vì rollback lặp.

Blameless timeline, impact/detection/response, contributing system conditions, what worked/failed và actions có owner/deadline/verification.