Secrets, audit, telemetry và incident response
Security vận hành là khả năng giảm blast radius, phát hiện hành vi bất thường, giữ evidence và khôi phục có kiểm soát; không chỉ là đặt secret vào một biến môi trường.
1. Secret management
Secret không nằm trong Git, image, plain config hay log. Dùng secret manager/KMS/workload identity, least privilege và short-lived credentials. Application phải reload/roll credentials không downtime; bootstrap identity là trust root cần bảo vệ riêng.
- Phân tách read/use permission theo service và environment.
- Scan commit/image/log nhưng coi scanner là signal, không phải proof secret đã bị revoke.
- Khi leak: xác định scope, revoke/rotate, tìm usage và kiểm tra persistence/backups.
2. Key và certificate lifecycle
Tách signing với encryption keys, version bằng kid, kiểm soát access và audit. Private key dùng HSM/KMS khi risk yêu cầu. Certificate automation theo dõi expiry, chain, hostname và emergency rotation; overlap cũ/mới tránh outage nhưng phải có ngày retire rõ.
publish new verification key -> switch signer -> observe overlap
wait for old token/certificate horizon -> revoke/retire old key3. Structured logging và audit
Debug log phục vụ chẩn đoán; audit log cần actor accountability, tamper-evidence, retention và access policy mạnh hơn. Structured event nên có timestamp, actor, action, resource, decision, trace/request ID và source. Redact authorization header, cookie, password, reset token, secret và regulated PII; structured encoding chống log forging.
| Event | Evidence tối thiểu |
|---|---|
| Admin/config/key change | Actor, approval, before/after version, source, result, correlation ID |
| Authentication/recovery/MFA | Principal/risk decision, device/network context đã redacted, outcome |
| Authorization deny/sensitive read | Action/resource class, policy decision, tenant, trace; không log secret payload |
| Incident action | Operator, timestamp, command/change ID, rollback/recovery result |
4. Security telemetry
Theo dõi authentication failure/recovery/MFA, authorization denies, rate-limit decisions, anomalous object access, SSRF blocks, dependency errors và WAF signals. Alert theo behavior/baseline và severity; tránh high-cardinality raw IDs/PII. Clock synchronization và correlation ID quyết định chất lượng forensic.
5. Supply chain và secure delivery
Pin/verify dependency và image, tạo SBOM, vulnerability/license scan, signed provenance, minimal base và patch SLA. Đánh giá exploitability/context thay vì bỏ qua hoặc fail máy móc mọi finding. Threat model ở design, security tests trong CI, environment parity, canary, feature flag và rollback.
6. Incident response
- Prepare: runbook, owner/contact, access break-glass, evidence retention và tabletop.
- Detect/triage: xác nhận signal, scope account/resource/time, tạo timeline.
- Contain: revoke/rotate, block route/IP/key, giảm blast radius và preserve evidence.
- Eradicate: fix root cause, patch dependency/config, invalidate persistence.
- Recover: canary, verify invariant/telemetry, mở traffic dần và theo dõi recurrence.
- Learn: blameless postmortem, action owner/deadline và test regression.
Rotation có thứ tự để không tự gây outage: publish/accept key mới, chuyển signer/client, quan sát, rồi retire cũ. Giữ logs, traces, config versions và deployment metadata trước khi cleanup.
7. Readiness checklist
- API/secret/key có inventory, owner, expiry và revoke path chưa?
- Audit log có tamper/access policy và redaction test chưa?
- Incident có evidence, canary, rollback và business recovery gate chưa?
- Deprecated API/version có usage telemetry và decommission thật chưa?