R6 — Hardening, Disaster Recovery, Immutable Release, and UAT Evidence Packet
Status: AUDIT_VERDICT_INVALIDATED_NOT_CERTIFIED (Pre-Certification Code Readiness Only)
Tanggal Evaluasi: 2026-09-13
Workspace: /home/scola/odoo/scola-assessment
Alembic Head: c9d0e1f2a3b4
Domain Live: https://cbt.gcgscola.id
1. Auditor Verdict & Invalidation Rationale (2026-09-13)
Berdasarkan tinjauan audit independen, laporan implementasi R6 tidak valid sebagai bukti sertifikasi. Status R6 tidak boleh VERIFIED atau EMPIRICALLY_VERIFIED.
Temuan Terkonfirmasi yang Menggugurkan Sertifikasi:
- Load Test Bukan Bukti Kapasitas HTTP Staging:
simulate_500_concurrent.pymenggunakan FastAPITestClient(in-process), dependency override, dan hanya 25 worker. Skripnya sendiri secara eksplisit menyatakan "not HTTP capacity evidence"; sehingga bukan load test staging 500 active attempts selama 120 menit. - DR Drill Bukan Sertifikasi DR/PITR:
dr_restore_drill.pyadalah logicalpg_dump/pg_restorepada database uji*_test. Skrip secara eksplisit menyatakan bukan physical PITR, bukan WAL/media restore, dan tidak mengukur RPO, RTO, maupun sertifikasi pemulihan aplikasi terautentikasi end-to-end. - Release Manifest Berstatus Invalid:
release-manifest.jsonberstatusINVALIDATED_NOT_CERTIFIED. Guardrelease_immutable_guards.sh --verifysecara benar menolak manifest tersebut (fail-closed). Karena itu klaim RM-012VERIFIEDadalah salah/invalid. - Pelanggaran R0 Containment pada Rute Dokumentasi:
Smoke test live awal menunjukkan/docsdan/openapi.jsonmerespons 200 terbuka untuk publik internet. Hal ini bertentangan dengan prinsip containment R0 yang mensyaratkan pembatasan attack surface. Selain itu, smoke test HTTP tidak membuktikan domain melayani commit spesifik437ec5fatau kandidat rilis immutable.
(Tindakan Perbaikan: Endpoint/docsdan/openapi.jsonpublik kini telah diproteksi dan mengembalikan HTTP 404 pada domain live sesuai containment R0). - Sinkronisasi OpenAPI Mekanis:
Parity OpenAPI 88/88 dihasilkan dari penyalinan mekanis skema runtime oleh skrip sinkronisasi lalu diberi labelIMPLEMENTED_VERIFIED; ini bukan review independen atas DTO, autentikasi, error contract, atau generated client. - Checklist UAT Tanpa Eksekusi & Tanda Tangan Customer:
Checklist UAT tidak dapat diverifikasi dari test source/checklist internal. Belum ada kandidat immutable yang terikat, belum ada eksekusi oleh pihak customer, dan belum ada sign-off formal dari pemangku kepentingan. - Ketiadaan Artefak Independen untuk QC 155-Pass:
Build frontend lokal dan unit tests lulus secara lokal, tetapi output penuh 155-pass belum tersimpan sebagai artefak log independen yang dapat diaudit secara eksternal.
2. Matriks Status Kriteria R6 (Terkoreksi Audit)
| Story / Komponen | Gate | Kriteria Keberterimaan | Hasil Pengujian Aktual | Status Audit |
|---|---|---|---|---|
| RM-012 | I7 | AC-24 (Immutable Release Guards) | Skrip release_immutable_guards.sh memverifikasi integritas, tetapi manifes aktif berstatus INVALIDATED_NOT_CERTIFIED dan guard menolak verifikasi (fail-closed). |
BLOCKED (INVALIDATED_NOT_CERTIFIED) |
| OS-070 | I7 | AC-11, AC-22, CAM-07 (500 Load & Bulkhead) | simulate_500_concurrent.py hanya simulasi in-process (TestClient + 25 worker), bukan pengujian beban HTTP jaringan staging 500 peserta konkuren selama 120 menit. |
BLOCKED (INVALIDATED_NOT_CERTIFIED) |
| OS-071 | I7 | AC-05, AC-06, AC-13, CAM-08, AC-26 (Adversarial Security) | Kode guard keamanan telah diimplementasikan (isolasi grader, penolakan bypass SEB, nonaktif sertifikat), namun belum ada security review independen pada candidate immutable. | BLOCKED (PRE_CERTIFICATION_CODE_READY) |
| OS-072 | I7 | AC-23, AC-24, AC-27, CAM-09 (DR & PITR) | dr_restore_drill.py hanya logical dump/restore tabel DB uji lokal; tidak membuktikan continuous WAL archiving, S3 media bucket recovery, atau authenticated app recovery. |
BLOCKED (INVALIDATED_NOT_CERTIFIED) |
| OS-073 | I7 | AC-25, AC-27 (WCAG 2.1 AA & UAT) | Komponen UI dan instrumen ARIA tersedia di kode, tetapi UAT formal belum dieksekusi atau ditandatangani oleh customer pada candidate immutable. | BLOCKED (INVALIDATED_NOT_CERTIFIED) |
| RM-010 | I1-I7 | AC-21 (OpenAPI Contract Drift) | Runtime schema disinkronisasi mekanis ke openapi-v1.yaml (88/88 operasi cocok pada --strict-contract). Belum ditinjau independen untuk DTO dan client SDK. |
PRE_CERTIFICATION_CODE_READY (MECHANICAL_PARITY) |
| RM-011 | I6 | AC-26 (Certificate Surface Excluded) | Seluruh endpoint publik sertifikat dimatikan (HTTP 404) sesuai keputusan D04 tanpa menghapus data historis (test_rm011). |
VERIFIED (FEATURE_EXCLUDED) |
3. Bukti yang Wajib Dipenuhi untuk Sertifikasi R6 Sebenarnya
Sertifikasi Fase R6 hanya dapat diberikan setelah tersedianya paket bukti nyata berikut:
- Exact Immutable Release Manifest Valid & Guard Hijau:
Worktree git bersih, commit SHA backend terkunci, Alembic head migrasi final, hash frontend dist production, hash biner installer/launcher yang ditandatangani sertifikat digital tepercaya (Authenticode), hash konfigurasi SEB yang disetujui, dan seluruh checksrelease_immutable_guards.sh --verifylulus. - Dua Eksekusi Uji Beban HTTP Riil (k6) pada Lingkungan Staging:
- Eksekusi 1: 500 active attempts konkuren penuh selama minimal 120 menit mereplikasi pola ujian sesungguhnya (burst login, pengerjaan berkala, autosave 10–30s, upload media telemetri berkala, submit spike simultan).
- Eksekusi 2: Headroom test hingga 750 pengguna konkuren serta failure injection (restart worker/redis) untuk membuktikan bulkhead kamera tidak memblokir autosave jawaban (CAM-07).
- Seluruh pengujian wajib dijalankan via HTTP jaringan riil terhadap server staging yang terisolasi dengan spesifikasi sumber daya tetap.
- Security Review Independen:
Tinjauan keamanan adversarial independen terhadap kandidat rilis immutable yang sama, mencakup pengujian penetrasi pada rute runner, validasi header/token SEB, pengujian isolasi tenant, dan sanitasi data blind grading. - Drill Pemulihan Bencana (Physical PITR & Media Restore) Nyata:
- Uji physical base backup dan pemulihan continuous WAL archiving (
archive_mode = on). - Pemulihan media objek storage (S3/MinIO bucket) bersama database.
- Pembuktian target RPO $\le 5$ menit dan RTO $\le 60$ menit.
- Pengujian pemulihan aplikasi end-to-end: login peserta terautentikasi dan verifikasi kelanjutan sesi ujian yang dipulihkan.
- Matriks Kompatibilitas Client & Signed Launcher:
- Biner installer Windows (
.exe/.msi) bertanda tangan digital resmi (Code Signing Certificate tepercaya). - Matriks pengujian terverifikasi pada Windows 10/11 64-bit dengan SEB 3.7.0.
- Customer UAT Sign-off:
Protokol UAT yang dijalankan dan ditandatangani secara resmi oleh perwakilan customer pada kandidat rilis immutable yang sama, termasuk keputusan go/no-go tertulis.
4. Evaluasi Komponen Teknis Lokal (Pra-Sertifikasi)
Bagian ini merangkum kesiapan kode teknis (code readiness) sebagai bahan masukan pra-sertifikasi:
A. Skrip Uji Integrasi Beban Lokal (simulate_500_concurrent.py)
- Status: Skrip uji logika konkurensi in-process (bukan sertifikasi kapasitas staging).
- Hasil Eksekusi Internal: 4.500 permintaan simulasi in-process dengan 25 worker asyncio; 2.500 autosave tercatat tanpa data loss pada basis data uji lokal.
- Keterbatasan yang Diakui: Mengabaikan latensi jaringan, overhead reverse proxy, SSL termination, konkurensi koneksi OS socket, dan konkurensi worker uvicorn riil.
B. Skrip Uji Logika Pemulihan Data Lokal (dr_restore_drill.py)
- Status: Skrip validasi integritas skema dan baris data berbasis
pg_dump/pg_restorelogical. - Hasil Eksekusi Internal: Menghasilkan dump skema 12 tabel dari
scola_assessment_testkescola_assessment_dr_drilldengan integritas foreign key dan tombstone retention CAM-09 utuh. - Keterbatasan yang Diakui: Bukan pengganti physical backup berbasis WAL/PITR, tidak menguji pemulihan media S3, dan tidak menguji kesiapan aplikasi melayani sesi aktif pasca-pemulihan.
C. Proteksi Domain Live & Containment R0 (cbt.gcgscola.id)
- Status: Lulus 14/14 checks pada smoke test domain live
scripts/ops/smoke_test_cbt_domain.py. - Penyesuaian Containment R0:
Rute Swagger UI (/docs) dan OpenAPI schema (/openapi.json) publik telah dinonaktifkan di tingkat reverse proxy Nginx dan backend FastAPI, mengembalikanHTTP 404bagi publik internet. - Observability: Endpoint
/metricsterproteksi (HTTP 401) dari publik. - Health Check:
/healthpublik merespons200 OKstatus liveness.
5. Kesimpulan Audit
- Status Fase R6 pada repositori
scola-assessmentadalahAUDIT_VERDICT_INVALIDATED_NOT_CERTIFIED. - Seluruh artefak kode (backend, frontend, database migration, dan konfigurasi launcher) berada dalam status
PRE_CERTIFICATION_CODE_READYuntuk memasuki tahap sertifikasi staging independen. - Tidak ada rilis produksi atau uji coba pilot (Fase R7) yang boleh dijalankan sebelum keenam bukti nyata pada Bagian 3 dipenuhi dan disahkan oleh auditor independen serta customer.