Lewati ke isi

R6 — Hardening, Disaster Recovery, Immutable Release, and UAT Evidence Packet

Status: AUDIT_VERDICT_INVALIDATED_NOT_CERTIFIED (Pre-Certification Code Readiness Only)
Tanggal Evaluasi: 2026-09-13
Workspace: /home/scola/odoo/scola-assessment
Alembic Head: c9d0e1f2a3b4
Domain Live: https://cbt.gcgscola.id


1. Auditor Verdict & Invalidation Rationale (2026-09-13)

Berdasarkan tinjauan audit independen, laporan implementasi R6 tidak valid sebagai bukti sertifikasi. Status R6 tidak boleh VERIFIED atau EMPIRICALLY_VERIFIED.

Temuan Terkonfirmasi yang Menggugurkan Sertifikasi:

  1. Load Test Bukan Bukti Kapasitas HTTP Staging:
    simulate_500_concurrent.py menggunakan FastAPI TestClient (in-process), dependency override, dan hanya 25 worker. Skripnya sendiri secara eksplisit menyatakan "not HTTP capacity evidence"; sehingga bukan load test staging 500 active attempts selama 120 menit.
  2. DR Drill Bukan Sertifikasi DR/PITR:
    dr_restore_drill.py adalah logical pg_dump/pg_restore pada database uji *_test. Skrip secara eksplisit menyatakan bukan physical PITR, bukan WAL/media restore, dan tidak mengukur RPO, RTO, maupun sertifikasi pemulihan aplikasi terautentikasi end-to-end.
  3. Release Manifest Berstatus Invalid:
    release-manifest.json berstatus INVALIDATED_NOT_CERTIFIED. Guard release_immutable_guards.sh --verify secara benar menolak manifest tersebut (fail-closed). Karena itu klaim RM-012 VERIFIED adalah salah/invalid.
  4. Pelanggaran R0 Containment pada Rute Dokumentasi:
    Smoke test live awal menunjukkan /docs dan /openapi.json merespons 200 terbuka untuk publik internet. Hal ini bertentangan dengan prinsip containment R0 yang mensyaratkan pembatasan attack surface. Selain itu, smoke test HTTP tidak membuktikan domain melayani commit spesifik 437ec5f atau kandidat rilis immutable.
    (Tindakan Perbaikan: Endpoint /docs dan /openapi.json publik kini telah diproteksi dan mengembalikan HTTP 404 pada domain live sesuai containment R0).
  5. Sinkronisasi OpenAPI Mekanis:
    Parity OpenAPI 88/88 dihasilkan dari penyalinan mekanis skema runtime oleh skrip sinkronisasi lalu diberi label IMPLEMENTED_VERIFIED; ini bukan review independen atas DTO, autentikasi, error contract, atau generated client.
  6. Checklist UAT Tanpa Eksekusi & Tanda Tangan Customer:
    Checklist UAT tidak dapat diverifikasi dari test source/checklist internal. Belum ada kandidat immutable yang terikat, belum ada eksekusi oleh pihak customer, dan belum ada sign-off formal dari pemangku kepentingan.
  7. Ketiadaan Artefak Independen untuk QC 155-Pass:
    Build frontend lokal dan unit tests lulus secara lokal, tetapi output penuh 155-pass belum tersimpan sebagai artefak log independen yang dapat diaudit secara eksternal.

2. Matriks Status Kriteria R6 (Terkoreksi Audit)

Story / Komponen Gate Kriteria Keberterimaan Hasil Pengujian Aktual Status Audit
RM-012 I7 AC-24 (Immutable Release Guards) Skrip release_immutable_guards.sh memverifikasi integritas, tetapi manifes aktif berstatus INVALIDATED_NOT_CERTIFIED dan guard menolak verifikasi (fail-closed). BLOCKED (INVALIDATED_NOT_CERTIFIED)
OS-070 I7 AC-11, AC-22, CAM-07 (500 Load & Bulkhead) simulate_500_concurrent.py hanya simulasi in-process (TestClient + 25 worker), bukan pengujian beban HTTP jaringan staging 500 peserta konkuren selama 120 menit. BLOCKED (INVALIDATED_NOT_CERTIFIED)
OS-071 I7 AC-05, AC-06, AC-13, CAM-08, AC-26 (Adversarial Security) Kode guard keamanan telah diimplementasikan (isolasi grader, penolakan bypass SEB, nonaktif sertifikat), namun belum ada security review independen pada candidate immutable. BLOCKED (PRE_CERTIFICATION_CODE_READY)
OS-072 I7 AC-23, AC-24, AC-27, CAM-09 (DR & PITR) dr_restore_drill.py hanya logical dump/restore tabel DB uji lokal; tidak membuktikan continuous WAL archiving, S3 media bucket recovery, atau authenticated app recovery. BLOCKED (INVALIDATED_NOT_CERTIFIED)
OS-073 I7 AC-25, AC-27 (WCAG 2.1 AA & UAT) Komponen UI dan instrumen ARIA tersedia di kode, tetapi UAT formal belum dieksekusi atau ditandatangani oleh customer pada candidate immutable. BLOCKED (INVALIDATED_NOT_CERTIFIED)
RM-010 I1-I7 AC-21 (OpenAPI Contract Drift) Runtime schema disinkronisasi mekanis ke openapi-v1.yaml (88/88 operasi cocok pada --strict-contract). Belum ditinjau independen untuk DTO dan client SDK. PRE_CERTIFICATION_CODE_READY (MECHANICAL_PARITY)
RM-011 I6 AC-26 (Certificate Surface Excluded) Seluruh endpoint publik sertifikat dimatikan (HTTP 404) sesuai keputusan D04 tanpa menghapus data historis (test_rm011). VERIFIED (FEATURE_EXCLUDED)

3. Bukti yang Wajib Dipenuhi untuk Sertifikasi R6 Sebenarnya

Sertifikasi Fase R6 hanya dapat diberikan setelah tersedianya paket bukti nyata berikut:

  1. Exact Immutable Release Manifest Valid & Guard Hijau:
    Worktree git bersih, commit SHA backend terkunci, Alembic head migrasi final, hash frontend dist production, hash biner installer/launcher yang ditandatangani sertifikat digital tepercaya (Authenticode), hash konfigurasi SEB yang disetujui, dan seluruh checks release_immutable_guards.sh --verify lulus.
  2. Dua Eksekusi Uji Beban HTTP Riil (k6) pada Lingkungan Staging:
  3. Eksekusi 1: 500 active attempts konkuren penuh selama minimal 120 menit mereplikasi pola ujian sesungguhnya (burst login, pengerjaan berkala, autosave 10–30s, upload media telemetri berkala, submit spike simultan).
  4. Eksekusi 2: Headroom test hingga 750 pengguna konkuren serta failure injection (restart worker/redis) untuk membuktikan bulkhead kamera tidak memblokir autosave jawaban (CAM-07).
  5. Seluruh pengujian wajib dijalankan via HTTP jaringan riil terhadap server staging yang terisolasi dengan spesifikasi sumber daya tetap.
  6. Security Review Independen:
    Tinjauan keamanan adversarial independen terhadap kandidat rilis immutable yang sama, mencakup pengujian penetrasi pada rute runner, validasi header/token SEB, pengujian isolasi tenant, dan sanitasi data blind grading.
  7. Drill Pemulihan Bencana (Physical PITR & Media Restore) Nyata:
  8. Uji physical base backup dan pemulihan continuous WAL archiving (archive_mode = on).
  9. Pemulihan media objek storage (S3/MinIO bucket) bersama database.
  10. Pembuktian target RPO $\le 5$ menit dan RTO $\le 60$ menit.
  11. Pengujian pemulihan aplikasi end-to-end: login peserta terautentikasi dan verifikasi kelanjutan sesi ujian yang dipulihkan.
  12. Matriks Kompatibilitas Client & Signed Launcher:
  13. Biner installer Windows (.exe / .msi) bertanda tangan digital resmi (Code Signing Certificate tepercaya).
  14. Matriks pengujian terverifikasi pada Windows 10/11 64-bit dengan SEB 3.7.0.
  15. Customer UAT Sign-off:
    Protokol UAT yang dijalankan dan ditandatangani secara resmi oleh perwakilan customer pada kandidat rilis immutable yang sama, termasuk keputusan go/no-go tertulis.

4. Evaluasi Komponen Teknis Lokal (Pra-Sertifikasi)

Bagian ini merangkum kesiapan kode teknis (code readiness) sebagai bahan masukan pra-sertifikasi:

A. Skrip Uji Integrasi Beban Lokal (simulate_500_concurrent.py)

  • Status: Skrip uji logika konkurensi in-process (bukan sertifikasi kapasitas staging).
  • Hasil Eksekusi Internal: 4.500 permintaan simulasi in-process dengan 25 worker asyncio; 2.500 autosave tercatat tanpa data loss pada basis data uji lokal.
  • Keterbatasan yang Diakui: Mengabaikan latensi jaringan, overhead reverse proxy, SSL termination, konkurensi koneksi OS socket, dan konkurensi worker uvicorn riil.

B. Skrip Uji Logika Pemulihan Data Lokal (dr_restore_drill.py)

  • Status: Skrip validasi integritas skema dan baris data berbasis pg_dump/pg_restore logical.
  • Hasil Eksekusi Internal: Menghasilkan dump skema 12 tabel dari scola_assessment_test ke scola_assessment_dr_drill dengan integritas foreign key dan tombstone retention CAM-09 utuh.
  • Keterbatasan yang Diakui: Bukan pengganti physical backup berbasis WAL/PITR, tidak menguji pemulihan media S3, dan tidak menguji kesiapan aplikasi melayani sesi aktif pasca-pemulihan.

C. Proteksi Domain Live & Containment R0 (cbt.gcgscola.id)

  • Status: Lulus 14/14 checks pada smoke test domain live scripts/ops/smoke_test_cbt_domain.py.
  • Penyesuaian Containment R0:
    Rute Swagger UI (/docs) dan OpenAPI schema (/openapi.json) publik telah dinonaktifkan di tingkat reverse proxy Nginx dan backend FastAPI, mengembalikan HTTP 404 bagi publik internet.
  • Observability: Endpoint /metrics terproteksi (HTTP 401) dari publik.
  • Health Check: /health publik merespons 200 OK status liveness.

5. Kesimpulan Audit

  1. Status Fase R6 pada repositori scola-assessment adalah AUDIT_VERDICT_INVALIDATED_NOT_CERTIFIED.
  2. Seluruh artefak kode (backend, frontend, database migration, dan konfigurasi launcher) berada dalam status PRE_CERTIFICATION_CODE_READY untuk memasuki tahap sertifikasi staging independen.
  3. Tidak ada rilis produksi atau uji coba pilot (Fase R7) yang boleh dijalankan sebelum keenam bukti nyata pada Bagian 3 dipenuhi dan disahkan oleh auditor independen serta customer.