Rekomendasi keputusan untuk menutup gap produksi CBT
Tanggal review: 20 September 2026. Baseline: OS-v1.0, participant access 19 September. Sumber implementasi 45e16ba86cb35df5b8e36084c62237174790ee1c.
Seluruh REC di bawah berstatus PROPOSED, bukan persetujuan customer atau perubahan SSOT. Bagian yang mengulang D/DEC/OP approved adalah kewajiban implementasi sekarang; angka atau aturan tambahan dinyatakan sebagai usulan. Owner harus mencatat nama, keputusan, tanggal, rationale dan versi policy sebelum gate terkait. Permintaan audit ini tidak mengesahkan aturan bisnis baru.
Dokumen ini menjawab pilihan yang belum jelas; register gap tetap memuat pekerjaan implementasi dan tesnya. Status DEC asli tetap hanya pada register baseline; REC adalah rekomendasi untuk memperjelas atau menyelesaikannya.
REC-01 — Identitas staf dan akses peserta
Pilih: pertahankan akses peserta khusus event (Kode Ujian, ID Akses, PIN acak), tanpa akun siswa global. Terapkan browser session staf/runner terpisah, Secure/HttpOnly cookie, CSRF/origin checks; native hanya memegang grant singkat. Rotasi kredensial mencabut seluruh grant/generation terkait dalam satu transaksi. MFA wajib untuk seluruh staf privileged sebelum akses data; TOTP dapat dipakai untuk pilot dengan recovery codes sekali pakai yang disimpan sebagai hash, recovery diaudit, dan semua sesi lama dicabut. Jangan mengizinkan bypass lewat bearer legacy di production tanpa audience dan revocation policy eksplisit.
Tambahan yang perlu ditetapkan: angka throttle awal usulan 5 kegagalan per credential/5 menit dengan progressive delay; batas per IP tidak boleh memblokir seluruh sekolah di belakang NAT. Validasi dengan skenario burst dan abuse, lalu freeze policy. Generic credential failure, distributed counter dan audited reset sudah diwajibkan participant-access decision. Usulan sesi staf: idle30 menit, absolute8 jam, reauthentication untuk recovery/approval; angka ini perlu security/ops approval, tidak berasal dari SSOT.
Alternatif akun global menambah lifecycle yang tidak diperlukan pilot; flag MFA opsional tidak memenuhi baseline. OWASP merekomendasikan kontrol brute force, MFA dan pengelolaan sesi yang dapat dicabut; angka timeout/throttle di atas adalah keputusan engineering yang diusulkan, bukan angka wajib OWASP. Authentication, MFA, Session Management.
Owner: Identity/Security + PO. Gate: I1/I3 sebelum akun/peserta nyata. Gap: CBT-001/002/004/055.
REC-02 — Otorisasi berdasarkan tugas dan assignment
Pilih: role memberi capability, assignment membatasi resource; keduanya wajib. exam_manager mengelola event yang ditugaskan, author menyusun draft, manager melakukan freeze. Evidence viewer adalah assignment tersendiri untuk pengawas/incident reviewer; competition admin/owner/platform operator tidak otomatis mendapat foto. Pengelolaan staf dan event harus menghasilkan audit aktor/alasan/perubahan.
Pilihan ini mengimplementasikan authorization matrix, bukan memperluas role. Tenant-wide manager shortcut dan frontend guard saja tidak cukup. Jika pilot benar-benar hanya satu event, tetap uji dua event dan dua tenant sintetis agar isolasi tidak bergantung pada data kebetulan.
Owner: Security/Identity + customer privacy authority. Gate: I1–I5. Gap: CBT-003/032/045.
REC-03 — Model event, assignment dan admission
Pilih: satu enrollment event dapat memiliki beberapa assignment session, masing-masing mengikat category/round/room/form version. Tolak jadwal yang tidak kompatibel. Snapshot room pada attempt menjaga riwayat scope pengawas; mutasi penugasan aktif memakai workflow recovery yang diaudit.
State yang direkomendasikan: draft → validated → frozen → admission open → closed → results workflow. Freeze mengunci scoring, paket/rubrik/media, jadwal, SEB/camera policy dan daftar assignment yang siap. Perubahan material sesudahnya menjadi versi/sesi baru dengan keputusan customer, bukan edit in-place. Clone menghasilkan draft tanpa kredensial, attempt, penilaian atau evidence. Archive mempertahankan audit/history.
DEC-01/03 masih membutuhkan: jumlah pendaftar, event bersamaan, category/round, jadwal dan aturan eligibility sebenarnya. Gunakan profile500 untuk engineering; jangan mengarang jumlah customer. UI menyebut timezone event secara eksplisit.
Owner: PO/customer/exam manager + Competition. Gate: I2 sebelum admission. Gap: CBT-006/007/008/010/013/053.
REC-04 — Satu kontrak scoring yang dapat direproduksi
Pilih usulan model: poin maksimum per butir eksplisit; jumlahnya sama dengan maksimum paket. PG/numeric memakai correct, wrong, blank yang dibekukan. Default usulan wrong=0 dan blank=0; penalty negatif hanya jika customer mengesahkannya sebelum freeze. Tidak boleh ada dua field konfigurasi yang diam-diam saling menimpa.
Untuk esai, usulan rumus item_max × Σ(weight_i × awarded_i / criterion_max_i), weight positif berjumlah1 dan criterion maximum positif. Reviewer merevisi rincian kriteria, lalu server menghitung total. Hindari total override tersembunyi. Gunakan Decimal untuk input/scoring; usulan precision6 digit desimal, ROUND_HALF_UP sekali pada skor final2 desimal, ranking berdasarkan angka final yang diterbitkan agar dua skor tampak sama memperoleh rank sama. Tetap shared rank1,1,3 tanpa tie-break waktu sesuai D05.
Numeric tolerance harus eksplisit per butir, absolute dan inclusive abs(answer-target) <= tolerance; jangan membuat default tolerance universal. Tentukan format input tanda/desimal/scientific notation dan batas panjang. Uji boundary decimal dengan golden dataset customer. Nilai, precision, rumus dan format ini PROPOSED untuk DEC-03, bukan sudah approved. Alternatif menjumlah raw rubric tanpa normalisasi membuat mixed exam tidak punya skala konsisten.
Owner: Customer/exam manager + Scoring lead. Gate: I2 sebelum freeze dan I6 golden scores. Gap: CBT-011/014/015/039/053.
REC-05 — Integritas jawaban mengalahkan optimisme UI
Pilih: satu transaksi authoritative untuk save/submit/sweep/recovery dengan lock attempt dan urutan lock konsisten. Setelah lock, cek status, device generation dan waktu server. Replaying ACK yang sudah committed tidak menulis jawaban baru; exact retry tetap mengembalikan ACK lama setelah terminal, sedangkan new write saat deadline lewat ditolak. Kunci idempotency wajib dan revision conflict memiliki response typed.
Frontend memakai state dan ordered save queue per soal, debounce usulan3 detik sesuai profile3–5s, flush saat pindah soal/submit, pending/retry terlihat. Pending lokal terbatas hanya membantu sebelum deadline; sesudahnya server menolak tanpa grace. Clear answer menjadi revision eksplisit. Countdown dikalibrasi server, heartbeat30s sesuai capacity baseline; receipt final dapat dipulihkan setelah refresh. Runner session60m perlu renewal aman untuk ujian120m, tanpa mengubah server deadline.
Pertahankan D06: tidak ada pause/extension atau upload jawaban terlambat. Deploy periodic sweeper (usulan interval5s, monitor overdue lag; sesuaikan hasil load). Lock PostgreSQL menyerialisasi penulis yang menggunakan protokol lock sama; sekadar mengunci submit tidak mengunci autosave yang tidak ikut protokol. PostgreSQL explicit locking.
Owner: Runner/QA/Platform. Gate: I3. Gap: CBT-016–023. Arsitektur queue dan interval tambahan adalah proposal engineering; deadline dan ACK invariants sudah approved.
REC-06 — Validasi secure environment berdasarkan trust model nyata
Pilih: lakukan spike ulang integrasi resmi SEB dengan approved binary/config version, protected configuration, pinned Browser Exam Key yang tepat dan request validation sepanjang alur ujian; bind handoff ke enrollment/session/form/device/policy dan revoke generation. Launcher ditandatangani, installer/update manifest/path yang dieksekusi diverifikasi. Tidak cukup memeriksa user-agent, boolean JWT atau checksum config yang bisa dihitung pengunduh.
Config Key mengidentifikasi settings dan independen platform/versi; Browser Exam Key juga mengikat executable/version/config. Ini bukan jaminan perangkat bebas kecurangan. Detail canonical URL/proxy, per-request header, distribusi protected configuration dan key rotation harus dibuktikan pada SEB versi yang dipilih. Jangan menaruh shared private signing secret dalam semua launcher untuk mengklaim attestation. SEB Config Key, SEB integration, SEB file format.
OP-01 tetap: launch5m, runner60m atau deadline, handoff sekali pakai, presigned upload2m. Resolve apakah60m berarti token lifetime dengan renewal; rekomendasi: ya, renewal terikat device/session yang sama. Readiness unknown adalah unknown, bukan PASS. Customer/architect perlu memeriksa lifecycle support OS/.NET/SEB sebelum memfinalkan DEC-02; audit ini tidak menyatakan seluruh versi pada baseline masih didukung vendor.
Owner: Security/Windows/Architect + customer. Gate: I0/I4 sebelum certification secure. Gap: CBT-024–027/054.
REC-07 — Camera evidence terbatas, privat dan dapat dihapus
Pilih: consent policy-version eksplisit, satu still awal, capture berikutnya hanya melalui challenge server sekali pakai. Trigger manual dan random memakai budget bersama. Usulan konservatif: cap6 total termasuk initial per120menit; wording DEC-07 perlu diklarifikasi customer apakah6 termasuk atau tambahan. Selama belum jelas, jangan melebihi batas yang lebih ketat. Usulan ukuran maksimum1.000.000 decoded bytes untuk makna1MB; freeze satuan dalam API. Timeout15s, retry maksimum3, JPEG asli yang berhasil didekode, pixel bounds, trusted timestamp dan idempotent finalize.
JPEG MIME/base64 prefix bukan validasi gambar. Gunakan batas ukuran, format allowlist, verifikasi isi, akses yang diotorisasi dan storage privat. OWASP File Upload.
Capture/upload dipisah resource-nya dari command jawaban; storage gagal menghasilkan incident/retry terbatas, tanpa mengubah deadline atau ACK. Retention yang sudah approved:30hari setelah dispute window, bukan90hari sejak capture. Tetapkan dispute_closed_at, hold authority, deletion journal, purge version/derivatives/export/backup dan rekonsiliasi restore. S3 delete tanpa versionId pada bucket versioned biasanya hanya menambahkan delete marker; bukti purge harus mencakup versi noncurrent. S3 deleting object versions.
Owner: Privacy/customer + Security/Platform. Gate: I5 dan I7. Gap: CBT-028–033. Retention bukan opini legal baru; mengikuti DEC-08 dan perlu policy customer yang berlaku.
REC-08 — Pengawasan manusia dan incident workflow
Pilih: pertahankan Zoom smartphone eksternal, bukan membangun streaming/biometrik. Tidak ada dummy meeting/passcode atau fallback room. Konfigurasi referensi Zoom bersifat rahasia assignment. Pisahkan fakta sistem, pengamatan manusia, tindakan, respons peserta dan disposition; warning memiliki delivery/ack, tidak otomatis resolved.
Proctor mengamati/warn/request recovery. Manager event melakukan recovery/force-submit dengan reason dan audit, tanpa pause/time extension. Penalty hanya capability customer-designated authority; sediakan appeal trail. Kamera/Zoom gagal menjadi incident dan accommodation yang ditentukan sebelum admission. Pertahankan rasio1:25 dan backup1:100 dari DEC-10: untuk500 peserta profile awal20 pengawas utama+5 backup, bukan staffing aktual customer yang sudah disetujui.
Owner: Customer incident authority + Operations. Gate: I5/rehearsal. Gap: CBT-034/035/036/053.
REC-09 — Publikasi privat, persetujuan tepat snapshot dan sengketa
Pilih: private own-result sebagai default pilot. Public leaderboard hanya opt-in eksplisit customer/privacy authority dengan field minimal (usulan nomor alias, skor dan rank; nama/sekolah tidak otomatis). Approval mengikat seluruh isi candidate, scope, visibility dan input/policy hashes; approver dapat melihat candidate sebelum setuju. Preparer dan approver berbeda. Publisher hanya menerbitkan candidate yang disetujui, tanpa mengganti visibility.
Finalization memerlukan seluruh assignment terdisposisi: submitted/finalized, no-show atau disqualified dengan authority/reason. Active/overdue/unmoderated/integrity-review/unresolved consequential incident memblokir. No-show tidak diberi ranking; disqualified ditampilkan terpisah tanpa rank (usulan customer). Errata/regrade tidak memodifikasi history: versi baru, moderation ulang bila relevan, approval ulang. Withdrawal menandai versi ditarik dengan alasan dan memberi peserta status jelas.
Usulan untuk DEC-12/OP-03: dispute window7hari kalender sejak publication, acknowledgment1hari kerja, target keputusan3hari kerja dengan notifikasi extension jika investigasi belum selesai. Retention dihitung dari penutupan seluruh dispute/hold yang relevan. Mass incident/data loss dibekukan untuk keputusan authority: resume dengan data terverifikasi atau retest sesi baru, tidak menambah deadline sesi lama. Skema void-item usulan: keluarkan butir dari semua peserta dalam cohort terdampak dan normalisasi ulang dengan policy baru; customer wajib menyetujui fairness lintas form sebelum dipakai.
Angka SLA, daftar field publik, no-show/disqualification, void-item dan nama authority di atas masih PROPOSED. Alternatif hasil publik penuh/auto-approve atau edit nilai lama tidak direkomendasikan. Portal own-result dapat menukar credential event menjadi read-only result session tanpa akun global.
Owner: Customer/exam manager/approver/privacy authority. Gate: I6 dan sebelum UAT. Gap: CBT-033/035/040–044/053.
REC-10 — Penilaian esai dan kapasitas manusia
Pilih: semua esai ditugaskan blind; reviewer berbeda mengulas100% sesuai baseline. Setiap tindakan menyebut expected grade revision; stale review mendapat409. Reopen menghasilkan pending revision yang benar-benar dapat diedit pada UI dan membatalkan approval lama yang terpengaruh. Reassignment membatalkan akses staf lama dengan audit.
Untuk OP-02/DEC-04, lakukan calibration sampel (usulan20 jawaban mewakili rentang kualitas per rubric), ukur menit grading/review aktual, kemudian tentukan roster dan tanggal hasil. Dengan500 peserta×10esai, workload5000 grading+5000 moderation. Gunakan jam kerja terukur dan buffer usulan25%; jangan menganggap AI atau satu pasangan grader/reviewer cukup tanpa pengukuran. Tidak membuat tanggal hasil fiktif.
Owner: Grading lead/customer. Gate: I6/I7. Gap: CBT-037/038/039/053.
REC-11 — Migrasi, kontrak dan identitas release
Pilih: lanjutkan Vue/FastAPI/PostgreSQL sesuai D01; tidak rewrite stack. Jadikan OpenAPI DTO/security/errors/idempotency sebagai kontrak yang dites, bukan hanya jumlah route. Satu migration owner; test upgrade fresh+historical data melalui Alembic tanpa create_all. Migrasi destructive evidence memerlukan bukti backfill/verifikasi objek atau berhenti.
Release manifest mengikat FE assets, BE artifact, applied DB revision, launcher signature/hash, SEB config dan policies; probe yang served harus cocok. Forward-fix menjadi default jika rollback schema menghilangkan data. Historical PASS/branch name/source HEAD tidak menggantikan identity yang served.
Owner: Platform/QA/Architect. Gate: I1–I7. Gap: CBT-047/052.
REC-12 — Aksesibilitas dan dukungan peserta
Pilih: target WCAG2.2AA untuk critical web flows, dengan uji keyboard, focus, errors/status announcements, contrast, zoom dan screen reader pada kombinasi Windows/SEB yang dipakai. Source-marker assertions bukan bukti penggunaan nyata. WCAG mencakup status messages, focus dan timing; pengecualian timing untuk assessment harus dinilai sesuai konteks, bukan blanket exemption. WCAG2.2.
Accommodation diputuskan sebelum admission sesuai DEC-05/09. Jika butuh durasi berbeda, customer harus menetapkan cohort/session policy khusus sebelum freeze dengan fairness review; tidak menambah waktu live dan tidak menganggap perubahan scope telah disetujui. Readiness/support messages harus menyebut tindakan yang dapat dilakukan peserta.
Owner: PO/customer accessibility owner + Frontend/QA. Gate: I7/UAT. Gap: CBT-012/018/023/028/043/048.
REC-13 — Makna production-ready dan urutan sertifikasi
Pilih: production-ready berarti seluruh gate mandatory lulus pada satu immutable candidate dan profile event yang disepakati. Bukan persentase endpoint selesai atau jaminan tidak ada bug untuk selamanya. Belum boleh mengekstrapolasi test500registrations menjadi500active120menit.
Pertahankan profile500active×120menit dua kali,750×15menit, mixed questions/camera/proctor, start/submit bursts, fault injection dan reconciliation ACK. RPO≤5m/RTO≤60m diuji melalui isolated PITR dan restored app/object integrity; process restart tetap zero ACK loss sesuai D09. PostgreSQL PITR memakai base backup dan rangkaian WAL; logical dump saja tidak membuktikan target recovery timestamp. PostgreSQL continuous archiving/PITR.
Tutup P0 dan P1 wajib v1, review keamanan independen, real Windows/SEB, monitoring/oncall/rehearsal dan signed UAT sebelum go-live authorization tersendiri. I8 pilot/hasil/dispute/retention closeout tetap diperlukan untuk menyatakan program v1 selesai. I9 connector tidak menjadi blocker standalone.
Owner: QA/Platform/Security + customer release authority. Gate: I7→I8. Gap: CBT-049–054.