Lewati ke isi

Runbook Disaster Recovery — OS-v1.0

Last verified: 2026-09-12. Target runbook; NOT REHEARSED / NOT CERTIFIED. Acuan: baseline D06/D09, capacity. Runbook ini menggantikan instruksi lama yang mencampur pg_dump dengan physical PITR, menyarankan drop target, dan memperpanjang deadline. Tidak ada restore/restart yang dijalankan saat finalisasi.

1. Sasaran dan prasyarat

RPO ≤5 menit, RTO ≤60 menit adalah target engineering untuk disaster; bukan bukti sudah tercapai. Restart API/worker/Redis wajib nol ACK loss; site loss dinilai terpisah. RTO diukur sejak deklarasi insiden sampai aplikasi/data/akses aman siap melayani, bukan durasi pg_restore saja.

Sebelum drill/incident action: named owner, exact isolated target host/DB/object namespace/service dan izin, candidate manifests, backup chain/integrity/encryption key recovery, previous release, recovery point, retention/hold policy, firewall/network isolation. Jangan menyalin hostname/database/service Scola Odoo sebagai target CBT.

2. Backup architecture yang harus dibuktikan OS-072

  • Physical base backup yang konsisten + seluruh WAL yang dibutuhkan untuk PostgreSQL PITR; atau layanan managed dengan restore-to-time setara dan evidence.
  • Logical pg_dump adalah backup tambahan/export. Tidak dapat langsung digabung dengan recovery.signal/WAL replay seolah physical base backup.
  • Dasar teknis: PostgreSQL continuous archiving/PITR menjelaskan perbedaan physical base backup dan logical dump. Physical PITR berlaku pada cluster; target cluster harus terisolasi, bukan mencoba replay WAL langsung ke satu database dalam cluster Odoo bersama. Pilih dokumentasi versi actual saat implementasi.
  • Scheduled/pre-event backups, encrypted remote storage dan restore credentials sesuai DEC-11; monitor backup age, failed WAL archive dan recoverable point.
  • Backup/restore metadata dan binaries question media, evidence, exports, policy, tombstones dan holds. Tentukan object version/expiry dan consistency boundary.
  • App role bukan superuser/migration owner. Restore memakai scoped operator identity; secret tidak dicetak di log/evidence.
  • Jangan mengklaim pg_dump terenkripsi hanya karena format custom/compression.

3. Prosedur gate-based (bukan perintah siap dijalankan)

  1. Deklarasi incident: catat start UTC, impact, commander dan candidate. Lindungi accepted data; isolasi writes atau trafik sesuai approved incident action. Jangan menjanjikan sisa waktu aman/tidak berkurang.
  2. Validasi exact backup/recovery chain dan target baru yang disposable/isolated. Tidak drop/overwrite source atau DB existing; destructive cleanup membutuhkan target dan izin tersendiri.
  3. Restore backup chain ke isolated target, dengan network egress dibatasi: outbox notifications/webhooks dan scheduled external side effects jangan aktif sebelum reconciliation. Stop pada error/nonzero exit; tidak mengabaikan pg_restore exit 1.
  4. Verifikasi nilai/checksum dan FK/tenant relation: competition/config, form items/question/rubric/scoring versions, attempt/deadline, accepted answer revisions, grade/moderation, ranking/publications, audit/idempotency/receipts/outbox, media/evidence dan access/retention policies. Missing table/object = FAIL, bukan count nol.
  5. Ukur RPO dari actual restored commit/recovery point vs incident timestamp; identifikasi accepted responses yang tidak ada di recovered state. Ukur RTO sampai authorized application checks dan safe service readiness.
  6. Reapply deletion tombstones/expired evidence policy sebelum membuka evidence access; jangan menghidupkan kembali data yang sudah dihapus karena restore backup.
  7. Reconcile outbox/dedupe agar publikasi/ekspor/webhook tidak dikirim dua kali. Revoke/refresh compromised sessions bila diperlukan sesuai incident approval, bukan global reset tanpa scope.
  8. App smoke dan negative tenant/role/runner/evidence probes pada candidate; verify FE/BE/migration/launcher/config identity. Source rollback saja tidak membatalkan data migration.
  9. Customer incident authority menilai fairness dan affected participants. Tidak mengubah server_deadline/window_end untuk menambah waktu. Jika data hilang/ujian tidak fair, keputusan stop/retest/new session harus approved sebagai tindakan terpisah; bukan auto-resume.
  10. Traffic switch ke target recovered hanya dengan approval operasional eksplisit, backup/previous binding dan rollback criteria; observe satu target dan stop-on-first-failure. Simpan incident/evidence/closeout.

4. Bukti drill

Record backup IDs/chain/hash, exact source & isolated target identities tersanitasi, timestamps, commands/exit codes, row-content checksums, missing objects, recovery point/ACK-loss analysis, application probe evidence, RPO/RTO riil, retention/outbox reconciliation, reviewer, decision dan residual.

Script existing scripts/ops/dr_restore_drill.py belum boleh menjadi satu-satunya bukti dan tidak dijalankan tanpa perbaikan guard/target/evidence melalui OS-072. Nama service/path/DB/restore command final harus diinspeksi dan ditambahkan oleh platform owner ketika topology tersedia; tidak mengarang runnable command sekarang.