Supplement · Networking
Khoanh vùng trước khi thay đổi
Mục tiêu incident không phải tìm một câu chuyện hợp lý, mà thu evidence đủ mạnh để loại trừ layer và giảm blast radius.
Production
Failure matrix
| Pattern | Khoanh vùng đầu tiên |
|---|---|
| Mọi client, một service | Listener, rollout, LB/backend |
| Một AZ/subnet | Route, ACL, NAT capacity |
| Một hostname | DNS answer, SNI/certificate |
| Chỉ payload lớn | MTU, proxy/body limit |
| P99 tăng, error thấp | Queue, loss/retransmit, dependency |
Safe incident loop
- Định nghĩa impact, timeline và known-good comparison.
- Vẽ path, lập giả thuyết có prediction quan sát được.
- Thu evidence ít xâm lấn trước; giới hạn capture theo thời gian/kích thước.
- Mitigate bằng change nhỏ, reversible; ghi owner và rollback trigger.
- Verify user-facing SLO và secondary effects, không chỉ dashboard đã xanh.
Anti-pattern
Flush firewall/conntrack, disable TLS verify, tăng timeout/retry hàng loạt hoặc restart ngẫu nhiên có thể xóa evidence và khuếch đại tải. “Ping được” chỉ chứng minh một ICMP path tại một thời điểm.