Lewati ke isi

CBT Independen × Olympiad Secure Astra: review dan rencana konsolidasi

Tanggal: 12 September 2026. Status: HISTORICAL REVIEW — D01–D09 telah disetujui pengguna; controlled revision dokumentasi selesai.

Catatan tindak lanjut: rekomendasi pada review ini disetujui pengguna setelah review disampaikan. Acuan aktif dan status keputusan terkini berada di baseline OS-v1.0, backlog implementasi, dan finding ledger. Pernyataan “menunggu persetujuan” dalam isi di bawah adalah catatan saat review, bukan status terkini. I9 kini memisahkan connector setelah I8. Review historis dipertahankan agar bukti dan alasan keputusan tidak hilang; ini bukan tracker aktif atau bukti kelulusan runtime.

Ini adalah hasil review dan overlay rencana implementasi, bukan PRD kedua, bukan keputusan mengganti stack, dan bukan izin implementasi atau produksi. Dokumen sumber, dokumen aktif, dan aplikasi belum ditulis ulang untuk mengikuti usulan ini.

1. Kesimpulan

PROCEED WITH CONDITIONS untuk arah pengembangan; NO-GO untuk pilot/produksi saat ini.

Rekomendasi: lanjutkan satu codebase scola-assessment, pertahankan Vue/FastAPI/SQLAlchemy/Alembic, tutup gap integritas R0–R5, lalu tambahkan Windows launcher + SEB dan manual dual-view sebagai profil rilis Olympiad Secure. Integrasi Scola tetap setelah pilot independen stabil. Keputusan stack dan perubahan cakupan harus dikonfirmasi sebelum arsitektur baru dibekukan.

Alasannya bukan semata mempertahankan investasi lama: sumber baru menguatkan prinsip transaksi, otorisasi, dan audit yang sama. Rewrite Next.js/NestJS tidak dengan sendirinya menyelesaikan pelanggaran invariants di implementasi saat ini, sementara menambah pekerjaan migrasi, kontrak, dan pengujian ulang. Bagian yang benar-benar baru adalah secure environment, bukti kamera, pengawasan per ruang, dan operasi proctor.

Tidak semua kode lama layak dipertahankan apa adanya. Model, fixture, UI, dan endpoint dapat menjadi bahan pengembangan, tetapi runner, authoring, grading, auth, publication, dan worker harus diperbaiki serta diuji ulang. Persentase reuse dan estimasi tanggal belum dapat dipertanggungjawabkan sebelum spike dan slicing selesai.

2. Ruang lingkup, sumber, dan tingkat bukti

  • Mode: server. Workspace: /home/scola/odoo; repo mandiri: /home/scola/odoo/scola-assessment.
  • Baseline sumber: branch main, commit 78e9e4689f912732e3495f78f2e2959f53eff0c7. HEAD masih sama dengan audit sebelumnya; tidak ada implementasi remediasi R0–R5 baru pada baseline ini.
  • Sumber baru: DOCX Architect Review Pack dan seluruh 39 file ZIP. Provenance/hash: indeks referensi.
  • Referensi proyek: ADR, data ownership, authorization/acceptance/capacity specifications, source backend/frontend, dan temuan audit sebelumnya A01–A13 beserta rencana R0–R5.
  • Panduan kerja dibaca: scola-fe-v2/docs/ai-guidelines/AI_AGENT_MASTER_GUIDE.md, development-guide.md, workspace-governance.md, architecture-api.md, serta workspace-rules.md.
  • Batas perubahan pekerjaan ini: ekstraksi referensi dan penulisan review/rencana. Tidak ada perubahan aplikasi, database, layanan, repositori Scola FE/BE, commit, push, atau deployment.

Klasifikasi: Confirmed from code/document = ditemukan langsung; Inferred from code = risiko yang belum direproduksi pada runtime target; Requires business confirmation = keputusan pemilik produk/customer; Missing or unclear = bukti/kontrak belum tersedia. Hasil probe audit sebelumnya tidak disebut sebagai pengujian ulang hari ini. Review hari ini memverifikasi identitas source dan melakukan pembacaan kode terarah, bukan sertifikasi runtime.

Prioritas sumber: instruksi eksplisit pengguna dan keputusan yang telah disepakati → governance workspace → dokumen aktif yang konsisten → usulan dari paket baru. Jika bertentangan, catat keputusan terbuka; jangan menganggap label dalam attachment sebagai persetujuan otomatis.

Dalam tabel di bawah, pack/... berarti path relatif terhadap docs/references/2026-09-12-astra/olympiad-secure-astra-input-pack/.

3. Baseline audit yang tetap harus ditutup

ID A01–A13 dan R0–R5 dipertahankan agar pekerjaan sebelumnya tidak terhapus oleh penomoran paket baru.

ID / prioritas Bukti dan gap baseline Tindak lanjut
A01 / P0 backend/app/api/v1/runner.py:182: start memilih session lewat ID tanpa membuktikan relasi event/enrollment dan status publish/freeze. Probe audit sebelumnya berhasil mengakses sesi event lain. R1: unified authorization context pada seluruh runner commands.
A02 / P0 backend/app/models/event.py: ExamForm tidak menyimpan item; forms.py:77 menerima ID tetapi tidak membuat relasi; runner.py:289 mengambil semua soal frozen organizer. R2: ExamFormItem, immutable version, attempt snapshot; grading mengikuti snapshot yang sama.
A03 / P0 Device lock pada start tidak ditegakkan setara di items/autosave/heartbeat/submit; credential reset belum membatalkan token terbit. R1/R2: validasi device dan revocation pada setiap request, termasuk secure-context lifecycle.
A04 / P0 frontend/src/views/runner/ExamRunner.vue:132: soal dan timer lokal; status saved memakai timeout; submit memakai alert. Halaman lain juga masih mock pada audit sebelumnya. R4 lintas fase: UI tersambung API nyata, ACK/receipt nyata, E2E.
A05 / P0 backend/app/api/v1/grading.py:158: validasi criterion/range/total dan lifecycle grading tidak lengkap. Probe sebelumnya menerima skor di luar rubrik. R3: rubric immutable, bounds/finite/uniqueness, assignment dan moderation.
A06 / P1 Blind grading dapat dibongkar lewat akses enrollment yang terlalu luas; probe sebelumnya mengembalikan identitas kepada grader. R1/R3: deny identity/evidence endpoints untuk grader, scope assignment.
A07 / P1 Read-then-write runner tanpa serialisasi yang memadai; grade revision tanpa constraint unik yang sesuai; retry revision bukan idempotency lengkap; grace 5 detik masih ada. R2: transaksi dan lock, constraints, strict deadline, deterministic retries. Race adalah risiko dari kode; duplikasi grade PostgreSQL tidak terbukti dalam audit sebelumnya.
A08 / P1 core/tenancy.py, core/config.py, auth: token type/membership revocation, enforcement MFA, safe production config, rate limit perlu diperkuat. R0/R1: fail-closed config, least privilege, auth lifecycle dan negative tests.
A09 / P1 results.py:153 menghapus publication lama; implementasi certificate memakai kode, dengan komentar QR mockup. R3: append-only result snapshots; certificate diusulkan ditunda melalui D04, bukan dinyatakan selesai.
A10 / P1 workers/celery_app.py masih placeholder; outbox belum menjadi handoff transaksi bisnis; private storage belum terintegrasi pada baseline audit. R0/R3: worker/outbox nyata; fondasi bukti kamera dan export.
A11 / P0 sertifikasi Bukti 500 sebelumnya memakai in-process TestClient/25 worker dan skenario singkat, bukan 500 active attempts melalui deployment selama 120 menit. R5: real HTTP + workload penuh + command center/kamera setelah penambahan scope.
A12 / P1 DR drill sebelumnya tidak membuktikan PITR, integritas lengkap, dan application recovery; ada default destructive target serta penanganan restore error lemah. R5: isolated restore, fail-closed, verifikasi isi/relasi dan waktu recovery nyata. Jangan menjalankan script lama ke DB aktif.
A13 / P1 backend/app/main.py:9 create_all saat import; fixture destruktif, contract drift, dan evidence CI/UAT belum memadai. R0/R5: migration-only, ephemeral tests, contract drift gates, signed UAT.

Source readiness, runtime readiness, dan certification adalah tiga status berbeda. Dokumen berlabel PASS maupun build frontend yang sukses tidak menutup tabel ini.

4. Konflik yang memerlukan keputusan pengguna

Semua rekomendasi berikut belum menjadi keputusan baru. D01–D09 adalah ID rekonsiliasi, bukan pengganti DEC-01–DEC-12 dari paket.

ID Konflik dan sumber Rekomendasi Dampak / kapan diperlukan
D01 Vue/FastAPI/SQLAlchemy/Alembic existing ADR vs Next.js/NestJS/Prisma (pack/docs/07, ADR-001, OS-012). Pertahankan stack existing dan satu repo; adopsi prinsip modular monolith/contract-first. C#/.NET hanya komponen launcher baru. Sebelum architecture freeze. Rewrite hanya jika ada alasan strategis tim/platform yang eksplisit; perlu rebaseline biaya dan QA.
D02 Produk olympiad + tryout vs Olympiad Secure only, Windows launcher/SEB dan dual-view (pack/docs/00, 19, ADR-004). Pilot pertama hanya secure olympiad Windows. Tetap satu core; tryout/mobile ditunda dari cakupan sertifikasi, bukan dihapus permanen. Adopsi arah dual-view secara bersyarat hasil spike. Sebelum scope freeze. Menambah support perangkat, pengawas, privacy, storage dan rehearsal. Tidak otomatis mengizinkan capture peserta nyata.
D03 Pengguna sebelumnya memilih esai; DEC-04 default deferred; FR-QST-001 juga menambah multi-select. Pertahankan PG satu jawaban, numerik, dan esai. Tunda PG multi-jawaban sampai formula disepakati. Sebelum exam/scoring build; kapasitas penilai manusia menjadi gate. Jangan mengganti pilihan esai secara diam-diam.
D04 Sertifikat ada di rencana lama dan sebagian endpoint vs explicit non-goal paket baru. Tunda certificate dari rilis v1; laporan hasil/ekspor tetap wajib. Kode historis tidak dihapus otomatis; saat implementasi, keluarkan endpoint/UI certificate dari release surface yang disertifikasi. Sebelum backlog freeze. Re-scope bagian certificate A09/R3 tanpa menutup defect sebagai fixed.
D05 Ranking bersama tanpa speed tie-break existing acceptance vs FR-SCR-004/008 configurable chain dan live leaderboard. Pertahankan standard competition ranking dengan shared rank; hanya hasil frozen dan approved yang dipublikasikan. Tunda live leaderboard dan tie-break alternatif. Sebelum scoring/result build. Customer menyetujui contoh peringkat dan aturan pembulatan.
D06 Keputusan strict deadline tanpa grace vs old acceptance 5s dan FR-EXM-002/009 authorized extension. Tidak ada grace answer, pause, atau perpanjangan individual pada pilot. Recovery hanya device/session access tanpa mengubah deadline. Interupsi kamera/Zoom adalah incident, bukan tambahan waktu. Sebelum R2. Jika extension dibutuhkan, keputusan terpisah harus mendefinisikan fairness, approver, timing dan audit.
D07 Dua belas DEC sumber terbuka; prior target 500, RPO 5 menit/RTO 60 menit; seluruh parameter kamera belum diputuskan. Pertahankan angka lama sebagai target engineering, bukan SLA atau kapasitas terbukti. Setujui model privacy/operasi sebelum capture produksi. Nilai cadence/retention tidak ditebak. Windows matrix sebelum spike; kebijakan kamera sebelum build terkait; staffing/hosting sebelum rehearsal.
D08 Freeze versi saat publish di existing data ownership vs baru wajib immutable setelah first attempt (FR-QST-007). Pertahankan freeze lebih awal: sebelum publish/admission; perubahan membuat versi baru, bukan mengubah versi yang sudah dipakai. Sebelum authoring migration. Memperkuat requirement baru, bukan melonggarkannya.
D09 Nol kehilangan acknowledged answers existing SLO vs disaster RPO sampai 5 menit; paket belum mendefinisikan fairness saat restore kehilangan data. Nol kehilangan ACK untuk restart aplikasi/worker/Redis; disaster site loss dinilai terpisah terhadap RPO. Jangan menjanjikan nol kehilangan pada disaster jika desain belum membuktikan itu. Recovery dengan kehilangan jawaban tidak otomatis melanjutkan lomba; perlu keputusan incident/retest dari otoritas customer. Sebelum SLA dan go-live. Jika customer meminta nol kehilangan pada bencana, re-desain durability/replication dan uji kegagalan perlu persetujuan biaya.

Keputusan lain yang perlu customer, tanpa mengarang angka: mandatory webcam per round, identitas minimum, jadwal/trigger/jumlah maksimum snapshot, retention tiap kelas data, siapa boleh melihat/menghapus/menahan bukti sengketa, akomodasi peserta, SOP gagal kamera/Zoom, rasio proctor, jumlah/kapasitas room, hosting/domain/support, authority freeze/publish/dispute. Gunakan DEC-02 dan DEC-05–DEC-12 sumber sebagai register detail.

5. Temuan review paket baru

ID / severity Bukti langsung Konsekuensi dan koreksi yang diusulkan Backlog / tes / owner
N01 / BLOCKER untuk freeze pack/docs/00 menyebut confirmed; ADR-004 masih proposed dan memerlukan spike; DOCX berstatus proposed baseline. ADR-001 paket menetapkan NestJS tetapi existing ADR menetapkan FastAPI. Status persetujuan tidak konsisten. Buat decision log tunggal, jangan menyalin AGENTS/prompt sebagai instruksi aktif. OS-000; D01/D02; product owner + architect.
N02 / HIGH Logical model pack/docs/08 belum memuat CameraEvidence, CapturePolicy, consent/admission evidence, upload authorization, atau deletion lifecycle meskipun CAM-01–10 ada. Evidence tanpa model/ACL/lifecycle berisiko bocor atau tidak dapat dihapus. Tambahkan kontrak metadata, policy version, authorized access dan retention sebelum implementasi. OS-064/065, CAM-03/08/09; security/platform; replay, scope, expiry/deletion tests.
N03 / HIGH OpenAPI 0.1.0-draft tidak mendefinisikan securitySchemes/security, jawaban answer: {}, dan sebagian response belum memiliki schema. Kamera/readiness/scoring/publication/recovery juga belum tercakup. Skeleton bukan kontrak siap generate untuk seluruh produk. Extend contract per slice dengan typed answer, auth/CSRF policy, error/status dan idempotency. OS-020/030–033/040/060–065; API/QA; contract + negative tests.
N04 / HIGH ExamSessionResponse.state mencampur READY/ACTIVE/OFFLINE/SUBMITTED/EXPIRED; current code memakai ExamSession untuk jadwal, paket memakai ExamSession untuk attempt. Naming collision dan presence berpotensi menjadi otoritas ujian. Pisahkan lifecycle, presence, admission/security status; buat mapping tanpa rename tabel massal. OS-021/030/050; architect; transition/property tests.
N05 / HIGH OS-070 hanya bergantung OS-033/050; OS-071 hanya OS-042/061; OS-073 tidak menjamin OS-065 diuji. OS-065 periodic/event snapshots P1 walau CAM-04/05 bagian v1. Pilot bisa lolos sebelum attack surface kamera ikut diuji. Wajibkan camera/security/load dependencies; P1 bukan berarti boleh dilewatkan bila masuk release scope. OS-065/070/071/072/073; QA/security/PO.
N06 / HIGH docs/09 menjelaskan retry original result tetapi belum mendefinisikan scope key, fingerprint, retention, concurrent same-key, atau response setelah revocation. Replay berbeda payload, race, dan akses response lama dapat salah. Persist idempotency record pada transaksi; scope principal/tenant/command/resource, reject key reuse berbeda payload, recheck authorization. OS-002/030–033/060/061/063; backend; concurrent/fault-injection tests.
N07 / HIGH FR-SEC-004 dan launcher spike meminta secure-context validation tetapi mekanisme/config key rotation/proxy URL dan handoff binding belum dikunci. User-agent, boolean readiness, atau header yang hanya dicek keberadaannya tidak cukup. Pilih mekanisme resmi versi SEB yang diuji, bind launch authorization ke enrollment, anti-replay, server enforcement pada protected runner paths. OS-001/040–042; security; forged/expired/replayed context tests.
N08 / HIGH DEC-07/08/09/10 terbuka; SOP memakai istilah grace, sementara CAM policy melarang perubahan timer. Privacy, fairness, staffing dan failure decisions belum operasional. Pisahkan camera grace dari answer deadline, definisikan approval/fallback sebelum rehearsal. OS-000/052/064–066/073; PO/privacy/operations.
N09 / HIGH FR-SCR-005 immutable snapshot; PRD menyebut rollback policy; roles dual control bersyarat customer tetapi DEC-12 default separation of duties. Publication supersession/withdrawal, review authority dan dispute disposition belum lengkap. Jangan update/delete snapshot lama; buat publikasi pengganti dengan reason dan approver. OS-060–063; scoring + customer; immutable history/golden dataset tests.
N10 / HIGH NFR-REL-004 dan DEC-11 TBC; belum ada workload evidence images, proctor fan-out, retention backup ataupun fairness pasca data loss. Sizing/DR tidak boleh hanya answer traffic. Extend capacity/restore manifest dan keputusan D09. OS-070/072; platform/operations; real load + isolated PITR.
N11 / MEDIUM Competition→category→round→exam lengkap pada model baru; existing event→session→form belum memiliki room/category/round nyata. Tidak bisa dianggap sekadar label UI; perlu relasi, scope dan migrasi. Bangun hierarki minimum untuk event pilot yang disepakati, bukan tournament engine umum. OS-021/022/024; competition owner; assignment/overlap/tenant tests.
N12 / MEDIUM docs/11 non-goal webcam untuk launcher; docs/19 mewajibkan webcam dalam web; dokumen melarang WebRTC tanpa membedakan browser media capture dan live transport. Bukan konflik bila tanggung jawab jelas. Camera milik web runner; launcher tidak merekam. Larangan diarahkan ke live media transport/platform, bukan API capture still. OS-004/041/064; architect; ADR dan dependency review.

Sepuluh risiko pilot teratas: kebocoran lintas enrollment; soal di luar form; jawaban hilang/submit race; nilai esai salah; UI menyatakan tersimpan palsu; bypass/replay secure context; bukti kamera bocor; overload saat answer+evidence+monitoring; kegagalan perangkat/proctor tanpa SOP; restore atau publikasi yang menghasilkan hasil tidak defensible. A01–A13 dan N01–N12 memberi owner/gate penutupnya.

6. Integrasi arsitektur dan model — usulan setelah persetujuan

6.1 Batas komponen

Komponen existing Keputusan reuse/remediasi Penambahan Astra
Vue web Pertahankan struktur, ganti mock per vertical slice; TypeScript strict dan generated API client. Readiness, preview lokal, upload still, room command center, incident/evidence UI.
FastAPI Pertahankan API runtime; pindahkan invariants dari handler yang tersebar ke service/domain yang teruji. SecureEnvironment, Monitoring, Evidence services dalam monolith yang sama.
SQLAlchemy/Alembic/PostgreSQL Transaksi authoritative; migrations dan constraints nyata; jangan import create_all. Policy versions, room assignments, readiness/launch authorization, camera metadata, immutable ranking.
Redis/Celery Perbaiki worker/outbox; presence/jobs non-authoritative. Fan-out status, export, retention; queue kamera terisolasi dari deadline/answer processing.
Private object storage Integrasikan, bukan hanya environment settings. Private evidence namespace/bucket dan export; akses pendek scoped, audit akses, retention.
Launcher Belum ada implementasi yang dapat disertifikasi. C#/.NET Windows, signed artifacts, version policy, one-time launch handoff ke SEB.
Zoom Tidak menjadi runtime dependency untuk menyimpan jawaban. Room reference privat, smartphone live feed eksternal, SOP manual; tanpa embedding/recording/API orchestration tambahan.

API browser tetap same-origin /api/v1; tidak menggunakan VITE_API_URL produksi. Handoff native launcher memakai endpoint yang diautentikasi dan dibatasi; jangan memindahkan token jangka panjang ke query URL, log, atau frontend storage.

6.2 Mapping istilah dan migrasi

Istilah paket Existing / arah mapping
Organization Organizer; jangan membuat tenant kedua yang tidak konsisten.
Competition Event.
Category / Round / Exam Penambahan minimum yang dikonfirmasi pilot; versioned relationships, bukan rename Event sembarang.
Session (scheduled sitting) Existing ExamSession.
ExamVersion / ExamQuestion Perlu persistent ExamForm version + ExamFormItem; snapshot form/question/option/rubric/scoring di attempt.
ExamSession (pengerjaan peserta) Existing Attempt; DTO harus tidak ambigu terhadap scheduled Session.
RoleAssignment / ProctorRoom Extend Membership + event/room assignment; peserta tidak mewarisi role staff.
Score / RankingSnapshot / PublishedResult GradeRevision + score finalization + immutable snapshot/publication; preserve revision chain.
CameraEvidence / EvidenceCapturePolicy Entitas baru usulan N02; ID lokal, bukan klaim sudah ada di paket data model.

State usulan: attempt in_progress → submitted → graded → finalized; publication terpisah; online/offline/reconnecting adalah presence; readiness/secure status terpisah. Auto-submit mencatat alasan deadline, tidak membuka jalur edit setelah expired. Exact state/error contract ditetapkan sebelum R2, termasuk idempotent receipt setelah auto-submit.

Migrasi harus additive dan diuji pada DB disposable. Data sekarang dinyatakan data uji dalam keputusan sebelumnya, tetapi itu bukan izin menghapus database. Form/attempt lama yang tidak memiliki bukti assembly ditandai legacy_unverified dan dikeluarkan dari evidence pilot. Jangan merekonstruksi form historis dari semua soal frozen organizer. Buat fixture rehearsal baru lewat jalur API yang telah diperbaiki. Backup/migration manifest sebelum perubahan nyata.

6.3 Batas keamanan kamera dan SEB

SEB menyediakan mekanisme Browser Exam Key untuk validasi versi/configuration dan request context. Implementasi harus mengikuti mekanisme yang sesuai versi yang dipilih, bukan sekadar memercayai user-agent. Spesifikasi resmi yang diperiksa memuat protokol historis; kompatibilitas versi pilot tetap perlu dibuktikan, bukan diasumsikan dari dokumen tersebut. SEB Browser Exam Key.

Browser camera capture membutuhkan secure context dan izin pengguna; dukungan/notifikasi perubahan perangkat bervariasi. Karena itu permission denial, busy/missing device, reconnect dan perubahan perangkat perlu diuji di SEB/Windows nyata. MDN getUserMedia, MDN devicechange.

Rekomendasi desain, bukan bukti kemampuan yang telah lulus:

  • Kamera laptop: preview lokal + pre-exam/event/periodic still menurut policy approved; tidak mengirim stream kontinu, audio, atau video recording.
  • Smartphone: satu-satunya live view melalui Zoom eksternal. Perlu rehearsal sudut sekitar 45°, pencahayaan, charger, audio dan komunikasi insiden.
  • Capture challenge server-bound ke attempt/device/policy/expiry; upload authorization scoped, ukuran/jenis/count dibatasi; checksum, server received timestamp, deduplication dan immutable metadata. Jadwal acak server tidak menjamin endpoint peserta tidak bisa dimanipulasi.
  • Pisahkan fakta event perangkat dan observasi manusia. Foto, checksum, signed launcher atau validasi SEB bukan bukti absolut identitas/liveness atau jaminan bebas kecurangan.
  • Proctor hanya evidence assigned room; reviewer sengketa sesuai otoritas; grader tidak diberi foto/identitas yang merusak blind grading. Auditor tidak otomatis boleh seluruh foto hanya karena role read-only.
  • Uploader retry bounded, backpressure dan concurrency limit; jangan buffer gambar tanpa batas ketika offline. Object storage failure harus menghasilkan alert tanpa membatalkan ACK jawaban atau memperpanjang timer.
  • Jangan otomatis menolak autosave hanya karena kamera/Zoom putus; ini berbeda dari runner credential/secure-context invalid yang memang memerlukan penolakan akses. Intervensi manusia harus terdokumentasi dan tidak merusak jawaban yang sudah diterima.
  • Retention mencakup originals, thumbnails, export, signed access, object versions, backups dan dispute hold; deletion/tombstone perlu diterapkan kembali setelah restore agar bukti yang sudah dihapus tidak muncul kembali.
  • Sebelum real capture, persetujuan tujuan/notice/retention/viewer/support dan proses akomodasi harus selesai. Gunakan data sintetis atau relawan berizin dalam spike; jangan mengumpulkan dokumen identitas tambahan tanpa keputusan.

7. Rencana implementasi terpadu

Label I0–I8 di bawah hanya urutan kerja konsolidasi. Tidak mengubah ID R0–R5 atau OS-xxx. Phase 5 paket Astra = proctoring, bukan Fase 5 lama = connector Scola.

Setiap slice meliputi kontrak → domain/persistence → auth/audit → UI → tests/evidence. R4 tidak lagi berarti menunggu seluruh backend selesai sebelum UI dikerjakan. Semua fase berikut adalah belum dieksekusi dalam pekerjaan review ini.

I0 — Keputusan, evidence reset dan feasibility

Mapping: R0 awal; Astra phase 0; OS-000–004.

  1. Selesaikan D01–D09/DEC terkait, scope release, terminology, decision authority dan threat model; tandai klaim audit lama sebagai historical, bukan certified.
  2. Buat evidence ledger A01–A13/N01–N12 dengan source identity, reproducer, owner dan closure criteria. Jangan menulis PASS sebelum bukti.
  3. Setelah izin implementasi terpisah, spike disposable launcher→SEB→camera→authenticated upload, failure isolation terhadap autosave, reconnect dan actual Windows matrix. Spike tidak diam-diam menjadi production code.
  4. Prove timer/idempotency dan rencana realtime melalui prototype terisolasi; definisikan profil load tambahan kamera/command center dan rehearsal Zoom.

Exit: pemilik produk menyetujui arsitektur/cakupan; bukti spike didemokan dan direview. Jika SEB camera/launcher gagal, stop secure-profile build dan minta pilihan perangkat/config alternatif atau perubahan scope; jangan mengganti menjadi browser biasa tanpa persetujuan. R0 quality infrastructure dan perbaikan integritas yang sudah disetujui bisa direncanakan terpisah, bukan izin otomatis mengerjakannya.

I1 — Engineering foundation dan akses

Mapping: R0 + R1 + R4 auth; OS-010/011/012/020.

  • CI install locked dependencies, lint/type checking, unit, isolated PostgreSQL integration, generated contract drift, security scan, build dan sample E2E.
  • Hapus create_all-on-import melalui implementasi terpisah; gunakan Alembic, application DB role least-privilege terpisah dari migration role, serta guard yang menolak destructive fixture pada non-disposable DB.
  • Fail-closed secret/config validation, structured redacted logs, correlation, health/readiness, audit + transactional outbox.
  • Staff/participant auth lifecycle terpisah, privileged MFA enrollment/recovery, secure session/cookie + CSRF design, token type/audience/scope, revocation dan active membership checks.
  • Negative role/tenant/assignment matrix mencakup proctor, grader, reviewer dan evidence. Tidak menggunakan frontend route guard sebagai security boundary.

Exit: satu slice login→scoped API→UI lulus CI; default credential/config ditolak pada production mode; A08/A13 terkait ditutup dengan evidence.

I2 — Competition, enrollment dan paket ujian immutable

Mapping: R1 scope + R2 assembly + R4 authoring; OS-021–024.

  • Hierarki minimum competition/category/round/exam/session, room/proctor assignment; participant import dry-run dan row errors; schedule overlap validation.
  • Event/session eligibility dan credential issue/revoke; tidak ada akses ujian hanya karena mengetahui session ID.
  • Versioned questions, private question media, HTML sanitization/LaTeX, PG/numerik/esai sesuai D03; payload dan scoring policy tervalidasi sebelum freeze.
  • Persist form items beserta ordering, option order, weights/rubric version; satu active form pilot; freeze atomik sebelum publish/admission; migration legacy_unverified.
  • Author/admin UI nyata untuk prepare→validate→freeze. Participant response dan bundle tidak mengandung answer key.

Exit: dua organizer dan beberapa event/session/form diuji silang; peserta hanya menerima form yang ditugaskan; edit bank soal tidak mengubah paket frozen. A01/A02 terkait assembly dan eligibility ditutup, tanpa menganggap runner race ikut otomatis selesai.

I3 — Runner authoritative dan UI nyata

Mapping: R1 runner + R2 + R4 runner; OS-030–033.

  • Unified runner context pada start/items/autosave/heartbeat/submit/resume: tenant, participant, enrollment, event/session, attempt, device/revocation dan applicable secure policy.
  • Snapshot immutable pada start; atomic duplicate start; serialize save/submit/auto-submit, uniqueness grade/receipt dan transactional audit/outbox.
  • Deadline strict diperiksa server pada acceptance di dalam critical transaction setelah memperoleh lock; tidak percaya client_timestamp. Retry command yang sudah diterima mengembalikan ACK asli walau deadline lewat, setelah revalidasi akses; retry itu bukan menerima jawaban baru.
  • Idempotency fingerprint/context persisted; key sama/payload berbeda ditolak; stale revision diberi explicit conflict dan nilai server tanpa silent overwrite.
  • Server deadline sweep/reconciliation tetap bekerja setelah restart/queue loss; auto-submit tidak bergantung browser atau satu scheduled message.
  • UI login peserta→start→item→real ACK per question→refresh/offline/reconcile→flush sebelum submit→receipt. Pending tidak ditampilkan sebagai saved. Tidak memaksa reload/update saat attempt aktif.

Exit: E2E dan real PostgreSQL concurrency membuktikan A01–A04/A07 ditutup: cross-event/foreign question/deviceB ditolak, ACK tidak hilang saat restart, identical retry berhasil, submit tunggal, tidak ada late answer. Tidak menjalankan test destruktif terhadap DB existing.

I4 — Secure environment Windows

Mapping: R1/R4 extension baru; OS-040–042; bergantung I0 spike dan I1–I3 contracts.

  • Implement readiness + signed C#/.NET launcher, version/update/rollback policy, authorized SEB configuration, one-time expiring launch handoff dan revocation.
  • Validate secure context sesuai konfigurasi/version policy yang dibekukan; enforcement pada protected runner lifecycle, bukan hanya halaman awal.
  • Install/update/uninstall, unsupported device/OS, display policy, denied launch, safe support code dan participant instructions.
  • Artifact identity mencakup launcher signature/hash, SEB version/config hash dan policy version; jangan update launcher/config saat ujian aktif tanpa controlled incident procedure.

Exit: supported device matrix nyata dan negative bypass/replay/expiry tests lulus; tidak mengklaim remote hardware attestation. Fitur belum boleh disertifikasi melalui test HTTP saja.

I5 — Command center dan dual-view proctoring

Mapping: R3 storage/outbox + R4 monitoring + scope baru; OS-050/051/052/064/065/066.

  • Room-scoped realtime status/read model dengan authoritative rebuild setelah reconnect/Redis loss; monitoring tidak membaca jawaban/kunci yang tidak diperlukan.
  • Privacy approved sebelum capture terkait; private evidence storage/access/deletion foundation dibangun sebelum capture diaktifkan, bukan hanya menjelang release.
  • CAM-01–03 readiness/permission/local preview/pre-exam still; CAM-04–06 server scheduled/event still dan observable camera events; CAM-07 failure isolation; CAM-08/09 ACL/retention; CAM-10 human incident workflow.
  • Evidence challenge→upload→verification→metadata committed→view/audit; orphan cleanup dan deduplication; private Zoom references terikat room.
  • SOP observation, warning, technical failure, escalation, response/disposition; proctor tidak mengubah skor atau otomatis mendiskualifikasi peserta.

Exit: seluruh CAM dalam release scope lulus; failed storage/reconnect/revocation tidak merusak accepted answers; blind grader tidak melihat foto; rehearsal dual-view normal/failure/angle/communication/backup proctor lulus. OS-065 menjadi release-blocking jika CAM-04/05 dipertahankan; penghapusan dari v1 memerlukan keputusan scope.

I6 — Penilaian, ranking, publication dan laporan

Mapping: R3 + R4 grading/results; OS-060–063; dapat dikerjakan setelah I3 bersamaan secara terkontrol dengan I4/I5.

  • Objective scoring mengacu snapshot dan versioned policy; numerik finite/tolerance/rounding eksplisit. Multi-select tidak ditambahkan tanpa D03.
  • Rubrik esai immutable: unique valid criteria, required completeness, points finite dalam rentang; total additive dan sum(max_points)=max_score, jangan menggandakan weight. Grader assigned; reviewer berbeda; revision reason dan nilai sebelumnya dipertahankan.
  • Publikasi diblokir untuk esai ungraded/unmoderated; staffing grading/review dihitung terhadap target waktu pengumuman.
  • Immutable score/ranking snapshot dengan policy/input references; shared-rank sesuai D05; approval dan publication/retraction/supersession append-only.
  • Worker nyata untuk finalize/export dengan retry, outbox idempotent consumers, failed-job handling; laporan hasil/attendance/incidents/audit dan metadata snapshot. CSV/spreadsheet output aman dari formula injection.
  • Certificate ditunda bila D04 disetujui; tidak menunda perbaikan publication integrity A09.

Exit: golden dataset PG/numerik/esai dan revision/ranking menghasilkan hasil reproducible; role negatives, ungraded gate, concurrent finalize/publish dan historical result immutability lulus. A05/A06/A09/A10 terkait ditutup.

I7 — Sertifikasi penuh, resilience, DR dan UAT

Mapping: R5; OS-070–073; bergantung semua komponen dalam release scope I1–I6.

  • Staging terisolasi dengan TLS/proxy, API/workers/DB/private storage nyata; immutable FE/BE/migration/launcher/SEB config identity dan evidence manifest.
  • Target engineering lama: 500 active attempts, start 60 detik, 120 menit, 100 soal (80 PG, 10 numerik, 10 esai), submit 30 detik, dua full runs; 750 concurrent headroom 15 menit. Autosave p95 ≤1s/p99 ≤3s, unexpected server error <0.1%, nol ACK loss pada restart/in-process failure. Ini target, bukan hasil yang sudah dicapai.
  • Tambahkan periodic/event/pre-exam still sesuai policy, camera failure/retry storm, room command-center fan-out, proctor evidence access, export/finalization contention. Laporkan request/latency/error berdasarkan observasi riil per endpoint, bukan denominator perkiraan.
  • Estimasi workload kamera memakai parameter approved: upload/s ≈ active cameras ÷ interval rata-rata; storage ≈ peserta × jumlah snapshot × bytes rata-rata, ditambah overhead/version/retention yang diukur. Jangan menetapkan cadence berdasarkan asumsi bandwidth saja.
  • Redis/API/worker restart, DB contention, disconnect wave, object-storage outage, outbox redelivery dan deadline saat restart. Load HTTP bukan pengganti rehearsal Windows/SEB dan kemampuan pengawasan manusia.
  • Focused adversarial security review terhadap semua runner/launcher/evidence/results paths; no unresolved critical/high release-impact findings.
  • PITR/backup restore ke target isolated tervalidasi; pg_restore error = fail; verifikasi values/checksum/relasi config, attempts, ACK answers, grades, snapshots, audit/outbox, media/evidence/access/retention. RPO diukur dari recovery point nyata; RTO sampai aplikasi dapat melayani kembali, bukan sekadar import dump selesai. D09 harus disepakati.
  • Customer UAT, accessibility/keyboard pada supported Windows, proctor rehearsal, privacy/retention/backup policy, roster teknis dan human grading, signed release checklist dengan go/no-go authority.

Exit: bukti terikat exact candidate, semua blocking findings closed, UAT ditandatangani dan explicit approval produksi terpisah. Review dokumen, build sukses, simulated 500, atau PASS dengan tes kritis skipped tidak cukup.

I8 — Pilot, closeout, kemudian connector Scola

Mapping: Astra OS-080/090; setelah itu Fase 5 lama (integrasi Scola), bukan Astra phase 5.

  • Setelah izin produksi: controlled rollout kandidat yang disertifikasi, verification/backup/rollback, change freeze, command/proctor/technical lead, incident log dan event closeout.
  • Hasil dipublikasikan sesuai approval/dispute authority; postmortem dan retention/evidence follow-up; backlog v1.1 berasal dari evidence pilot.
  • Baru sesudah pilot stabil: connector Scola melalui API, identity mapping tenant/external IDs, import roster, delivery result via durable outbox/webhook + retries/deduplication/reconciliation. Tidak berbagi DB/tabel/role dengan Odoo.
  • Independent olympiad tetap independen dari rapor; ekspor hasil ke Scola tidak otomatis menjadi nilai akademik. Mapping ke assessment/rapor hanya dengan konteks dan otorisasi bisnis tersendiri.
  • Tryout/mobile/certificate/multi-organizer komersial dinilai ulang setelah closeout, bukan disisipkan diam-diam ke secure pilot.

8. Traceability backlog dan dependency koreksi

Seluruh ID dari backlog sumber dipertahankan; tabel ini mengelompokkan, bukan mengganti atau menyatakan story selesai.

ID backlog sumber Integrasi Requirement / temuan utama
OS-000, OS-001, OS-002, OS-003, OS-004 I0 DEC-01–12; FR-SEC, FR-EXM; CAM spike; N01/N07/N08
OS-010, OS-011, OS-012, OS-020 I1 NFR-MNT/SEC/OPS; A08/A10/A13; N03
OS-021, OS-022, OS-023, OS-024 I2 FR-COM-001–006, FR-QST-001–007; A01/A02; N04/N11
OS-030, OS-031, OS-032, OS-033 I3 FR-EXM-001–009 (D06 deviation), FR-SEC-005; A01/A02/A03/A04/A07; N06
OS-040, OS-041, OS-042 I4 FR-SEC-001–006; N07/N12
OS-050, OS-051, OS-052 I5 FR-MON-001–006, FR-AUD; N04/N08
OS-064, OS-065, OS-066 I5 CAM-01–10; N02/N05/N08/N12; A10
OS-060, OS-061, OS-062, OS-063 I6 FR-SCR-001–008 (D03/D05 deviations), FR-AUD; A05/A06/A09/A10; N09
OS-070, OS-071, OS-072, OS-073 I7 NFR-REL/PER/OPS/SEC/USA; A11/A12/A13; N05/N10
OS-080, OS-090 I8 Signed pilot decision, event closeout, incident/dispute review, stabilization

Koreksi dependency yang diusulkan untuk controlled revision:

  1. OS-012 tetap ID sama; Prisma diganti SQLAlchemy/Alembic hanya jika D01 disetujui. OS-010 menguatkan repo existing, tidak membuat monorepo kedua.
  2. OS-040 readiness framework dapat mulai setelah spike/auth; enforcement integrasi OS-042 harus terikat runner I3.
  3. OS-064/065 bergantung OS-004 + auth/room scope + secure environment yang diuji + private storage/retention contract. Dependency OS-033 saja tidak mencukupi.
  4. OS-066 bergantung OS-051/052/064 dan OS-065 apabila periodic/event capture bagian scope; Zoom room references/SOP tidak boleh dianggap opsional karena label P1.
  5. OS-070 wajib menguji konfigurasi lengkap OS-042/050/064/065 yang diaktifkan, beserta contention finalize/export OS-060–063; lakukan smoke perf lebih awal, final certification sesudah integrasi.
  6. OS-071 memasukkan seluruh evidence/auth/upload/retention attack surface; OS-072 meliputi backup/restore private media serta deletion policy, bukan exports saja.
  7. OS-073 bergantung closure A01–A13 dan N release blockers, approved policy DEC terkait, seluruh CAM scope, OS-066 serta OS-070/071/072. Tidak ada auto-waiver dari prioritas P1.
  8. Tambahkan subtask ber-ID turunan atau ID baru tanpa renumber OS existing untuk N02 evidence lifecycle, N06 idempotency, migration legacy_unverified, MFA/revocation, dan publication supersession. Catat mapping di traceability saat disetujui.

9. Ownership, sequencing dan delivery control

  • Product owner/customer: D/DEC keputusan, scoring/fairness, privacy, scope, final acceptance. Agen tidak menggantikan persetujuan ini.
  • Solo developer + AI: implementation per bounded slice; reviewer independen menilai auth/concurrency/migration, bukan hanya coding agent menyatakan PASS.
  • Security/privacy reviewer: launcher trust model, credentials, evidence viewers/lifecycle dan incident policy.
  • Operations/proctor lead: room/proctor capacity, Windows rehearsal, support/fallback; tenaga ini berbeda dari kapasitas coding.
  • Platform/QA responsibility: CI/isolated DB, real load, artifact identity, backup/restore dan evidence ledger; satu orang boleh memegang fungsi teknis, tetapi customer approval/result moderation tidak dibuat fiktif.
  • Urutan kritis: I0 → I1 → I2 → I3 → I4/I5 dan I6 → I7 → I8. Batasi WIP satu migration/shared-contract owner. I6 dapat overlap I4/I5 setelah contracts stabil, bukan mengasumsikan beberapa agen setara beberapa engineer/proctor.
  • Tidak memberi kalender pasti sebelum keputusan, spike, lingkungan uji Windows, staffing dan kapasitas review tersedia. Estimasi per slice diperbarui setelah I0/I1 berdasarkan throughput terukur. Lulus fase berdasarkan bukti, bukan jumlah file/commit.
  • Sebelum membuat tes baru, baca scola-fe-v2/docs/qa/testing-guidelines.md; reset/seed hanya untuk target disposable yang diverifikasi. Critical gate skipped/unavailable berarti NOT VERIFIED, bukan PASS.

10. Controlled revision setelah keputusan

Belum dieksekusi. Setelah pengguna menyetujui keputusan dan mengizinkan pekerjaan berikutnya:

  1. Simpan keputusan D01–D09 dan DEC yang terjawab dengan tanggal/owner. Keputusan belum dijawab tetap OPEN; jangan melengkapi angka sendiri.
  2. Perbarui dokumen aktif existing: docs/architecture/adr-001-modular-monolith.md (atau ADR superseding yang eksplisit), data-ownership-matrix.md, workspace-rules.md, docs/specs/authorization-matrix.md, acceptance-matrix.md, capacity-profile-500.md, openapi-v1.yaml, serta runbooks/pilot checklist terkait. No silent replacement oleh OpenAPI skeleton paket.
  3. Tambahkan spesifikasi secure environment/dual-view dan ADR baru di dokumen aktif dengan referensi CAM/FR/DEC/OS existing. Hindari collision nama ADR-001 paket dengan ADR-001 proyek: simpan asal/namespace dan mapping.
  4. Finalisasi satu active implementation backlog dari tabel I/R/OS dan tambahkan per-story evidence links; keluarkan certificate/live leaderboard/multi-select dari scope hanya jika D terkait disetujui.
  5. Review konsistensi PRD/source reference, contracts, model, tests, backlog dan release checklist; publish changelog keputusan. Raw reference snapshot tetap tidak berubah.
  6. Minta izin implementasi untuk slice pertama yang spesifik. Persetujuan arah produk tidak sekaligus mengizinkan production, penghapusan data, atau pengambilan gambar peserta.

11. Verifikasi pekerjaan review ini

  • Semua 39 file ZIP dibaca, termasuk ADR, OpenAPI, backlog, template, dan prompt; isi DOCX dibaca. Tidak ada prompt attachment yang dieksekusi sebagai instruksi aplikasi.
  • Raw extraction diverifikasi terhadap byte setiap member ZIP; sumber DOCX/ZIP diberi SHA-256 pada indeks.
  • Repo HEAD diperiksa ulang; pembacaan source terarah menegaskan gap runner/form, mock UI, grading, publication, config dan worker masih relevan pada baseline.
  • Tidak menjalankan full pytest/load/DR, SEB Windows spike atau rehearsal dalam pekerjaan ini. Tidak ada hasil baru yang boleh dipakai sebagai PASS runtime/capacity/privacy/security.
  • Hasil pekerjaan: referensi tersimpan, konflik teridentifikasi, rencana R0–R5 dan backlog OS terpetakan. Architecture freeze dan implementasi scope baru menunggu keputusan pengguna.