Audit fungsional CBT end-to-end terhadap SSOT — 20 September 2026
Verdict: NO-GO PRODUCTION. Implementasi memiliki fondasi yang dapat dilanjutkan, tetapi integritas jawaban, secure admission, publikasi hasil, privasi evidence dan alur UI masih memiliki blocker. Terdokumentasi 55 kelompok gap: 40 P0 dan 15 P1, seluruhnya wajib ditutup untuk cakupan standalone v1. P0 berarti risiko integritas/security atau gate rilis yang memblokir; P1 tetap fitur v1 wajib, bukan boleh ditunda otomatis. Jumlah ini bukan55 exploit: termasuk fitur belum lengkap, keputusan customer dan bukti sertifikasi yang belum tersedia.
Mulai implementasi dari: register gap rinci, backlog CSV, 13 rekomendasi keputusan, dan evidence/reproduksi. Gunakan ID CBT untuk gap baru dan OS/RM untuk story baseline; jangan membuat tracker status story tandingan.
1. Identitas, cakupan dan batas pembuktian
| Atribut | Nilai |
|---|---|
| Mode/workspace | Server; /home/scola/odoo/scola-assessment |
| Branch/source | fix/qa-backoffice-vertical-slices / 45e16ba86cb35df5b8e36084c62237174790ee1c |
| Working tree awal | Bersih; perubahan audit hanya dokumentasi dan skrip reproduksi di folder evidence |
| SSOT aktif | OS-v1.0 approved12September2026; participant-access decision19September2026 |
| Lingkup produk | CBT standalone Windows secure pilot: organizer, authoring, participants, launcher/SEB/readiness, runner, proctor/camera/Zoom, grading/reviewer, ranking/publication/reporting, security/ops/DR/UAT |
| Inspeksi | Jalur Vue→API→authorization→models/persistence→workers/storage;108 operation API terinventarisasi; seluruh38 acceptance cases dipetakan ke status/bukti/gap |
| Eksekusi | Real PostgreSQL disposable, FastAPI TestClient; frontend unit/component jsdom; build Vite/TypeScript; contract route checker |
| Bukan bukti yang dijalankan | Browser E2E melawan deployment, Windows launcher/SEB/camera nyata, pentest live,500/750 load, real S3 outage, PITR/served identity/production UAT |
| Runtime produksi | Tidak dideploy, direstart atau diubah; tidak menguji kredensial/peserta nyata |
Audit alur end-to-end secara fungsional dan source mencakup semua area v1; tidak mengklaim menjalankan seluruh alur pada perangkat/deployment nyata. Testing negatif terarah di bawah memperkuat beberapa temuan. Tidak ada persentase readiness yang sah dari rasio tes lulus. Kemungkinan bug di luar skenario yang diperiksa tetap memerlukan independent review dan certification gate.
Panduan yang diterapkan: AGENTS parent, workspace rules CBT, panduan pengembangan/QA/dokumentasi yang diwajibkan, dan skill scola-release-promotion untuk membedakan source, served identity dan certification. Tidak menggunakan database/runtime Odoo sebagai target CBT. Audit sebelumnya independent audit20September diperlakukan sebagai histori; kesimpulan di sini berasal dari pembacaan ulang source dan pengujian baru.
Hierarki SSOT dan interpretasi
- Baseline approved D01–D09 dan DEC/OP approved mengungguli paket referensi mentah dan implementasi historis.
- Participant access, authorization, API contract, data ownership, acceptance matrix, capacity serta runbook memberi kontrol yang harus dibuktikan.
- OpenAPI dan status REVIEW bukan bukti runtime benar. Template signoff bukan signoff customer.
- DEC-01/03/04/12 dan OP-02/03 tetap OPEN. Rekomendasi pada REC-01–13 adalah PROPOSED; tidak mengubah baseline diam-diam.
- Multi-select, sertifikat, live leaderboard, tryout/mobile tersertifikasi, payment/self-registration, AI/biometrik dan video streaming/recording internal di luar v1. Connector Scola I9 post-pilot. Tidak dibuat gap “fitur hilang” untuk scope tersebut; yang wajib adalah containment/exclusion dan tidak mengiklankan dukungan.
2. Bukti paling menentukan
| Skenario | Observasi aktual | Dampak / gap |
|---|---|---|
| Save sudah lewat pemeriksaan, ditahan sebelum INSERT; submit dieksekusi; save dilanjutkan | Submit200, save200, status submitted, satu jawaban benar tersimpan tetapi grade0 | ACK tidak terwakili dalam final grade; CBT-019 |
| HTTP client mengambil plist config lalu menghitung ConfigKey/hash URL | Redeem200 dan start200 tanpa browser SEB/header pada start | Ordinary HTTP memperoleh flag SEB verified; CBT-025 |
| Token runner diterbitkan, organizer regenerate credential, token lama melakukan sync | Rotate200 dan old-token sync200 | Rotasi tidak revoke active runner; CBT-004 |
| Event draft + session belum frozen + frozen form | Start200 | Admission bypass D08; CBT-006 |
| Satu peserta submitted, satu masih in_progress | Request→approve→publish200 | Hasil parsial dapat dipublikasikan; CBT-040 |
| Approval diberikan tanpa visibility terikat, publisher meminta public | Publish200; public rankings anonymous200 | Approval tidak mencakup keputusan pengungkapan; CBT-041 |
| Challenge tidak ada, bytes bukan JPEG, tujuh capture; upload terpisah >1MiB | Semua accepted200 | Evidence authorization/format/quota/size tidak ditegakkan; CBT-030 |
| ACK save yang sama diretry sesudah submit | Original200, replay400 | Kontrak identical retry tidak stabil; CBT-020 |
| Mount runner dengan saved answer; navigasi; ACK terlambat; clock maju | Input tidak hydrate; teks terbawa; soal lain bertanda answered; timer tetap; error start tak terlihat | UI belum aman untuk ujian nyata; CBT-016/018 |
Semua menggunakan data sintetis dan environment test. Race memakai scheduling barrier SQLAlchemy sebelum INSERT untuk mereproduksi interleaving dua transaksi, tidak mengganti fungsi scoring/auth/submit. Probe SEB tidak membuktikan bypass pada deployment lain; ia membuktikan implementasi source ini tidak memiliki trust boundary yang dimaksud SSOT. Probe image menggunakan valid base64 berisi non-image, bukan fixture fallback invalid-base64.
Hasil verifikasi yang dijalankan
| Pemeriksaan | Hasil | Arti dan batas |
|---|---|---|
| Alembic fresh DB | PASS;11 revisions sampai d1e2f3a4b5c6 |
Fresh migration berjalan; upgrade data lama/rollback belum dibuktikan |
| Existing backend integration+spikes | 164 passed,3warnings,84.48s | Suite saat ini hijau; TestClient, beberapa fixture create_all/drop_all, bukan certification deployment |
| Existing frontend tests | 8 passed pada4files | auth/API/router/safeHTML; belum user journeys |
| TypeScript/Vite build | PASS;129modules | Build ke /tmp, tidak mengganti served assets |
| Runtime inventory/OpenAPI surface | PASS;108/108/108 operations | Method/path parity saja, bukan DTO/error/security parity |
| Audit backend probes | 14/14 gap observations reproduced | PASS skrip berarti perilaku buruk teramati, bukan produk lulus |
| Audit runner component probes | 5/5 gap observations reproduced | Vue component asli dengan fetch mock/jsdom; bukan browser/API E2E |
| Doc/reference validation | Lihat verification | Struktur handoff, strict docs build dan containment; tidak mengubah verdict produk |
Peringatan test: Starlette/httpx, AnyIO dan Alembic deprecated config. Setup pertama terkena inherited DEBUG=release; diperbaiki menjadi DEBUG=false, bukan bug aplikasi yang dihitung. Probe MFA pertama mendapat422 karena email fixture memakai domain reserved; setelah fixture memakai email sintetik valid, login tanpa MFA benar-benar200. Hanya hasil final yang dipakai sebagai bukti. Tidak menyembunyikan failure setup sebagai PASS produk.
Fondasi yang layak dipertahankan
Source dan suite menunjukkan snapshot attempt immutable, validation own question, persisted idempotency record, unique attempt/answer/receipt constraints, submit row lock, strict deadline checks pada jalur biasa, blind assigned grading, reviewer berbeda, rubric-bound score input, shared rank1,1,3, dasar approval terpisah, CSV formula escaping, cookie staf+CSRF, private storage abstraction serta production default-secret guards. Certificate endpoints disabled/410 sesuai D04. Celah yang dicatat adalah batas implementasi ini, bukan alasan rewrite stack.
3. Matriks seluruh fitur dan acceptance
PARTIAL berarti ada implementasi tetapi belum memenuhi acceptance. FAIL berarti ada subkasus yang direproduksi gagal. NOT_VERIFIED berarti bukti gate yang diwajibkan belum dijalankan/tersedia untuk candidate ini; jangan menggantinya dengan klaim gagal runtime. EXCLUDED berarti di luar cakupan certification v1.
| AC | Feature / jalur pengguna | Status audit | Gap / tindakan wajib |
|---|---|---|---|
| AC-01 | Create/edit/clone/archive, schedule, freeze dan audit | FAIL/PARTIAL | CBT-003/006/007/010/045 |
| AC-02 | Import dry-run, enroll, room, credentials, overlap | PARTIAL | CBT-008/009/010 |
| AC-03 | PG/numeric/esai, HTML/media/LaTeX, versions | FAIL/PARTIAL | CBT-011/012/015 |
| AC-04 | Item/order/weight/rubric/key frozen, stable snapshot | FAIL/PARTIAL | CBT-006/013/014/015 |
| AC-05 | MFA/recovery, tenant security, TLS/config/secrets | FAIL/NOT_VERIFIED | CBT-001/002/003/004/045/054/055 |
| AC-06 | Enrollment/event/session/device scope dan revoke | FAIL | CBT-004/006/007/008/021/025/027/055 |
| AC-07 | Autosave revisions/idempotency/replay | FAIL | CBT-016/017/019/020 |
| AC-08 | Deadline authoritative setelah lock, no grace | FAIL/PARTIAL | CBT-018/019/020/022 |
| AC-09 | Offline/pending/refresh/reconcile/no false saved | FAIL/PARTIAL | CBT-016/017/018/048 |
| AC-10 | Concurrent submit/receipt/recovery | FAIL/PARTIAL | CBT-019/021/022/023/035 |
| AC-11 | No ACK loss restart; storage/report independence | FAIL/NOT_VERIFIED | CBT-017/019/031/046/049/051 |
| AC-12 | Supported devices/readiness/remediation | FAIL/NOT_VERIFIED | CBT-024/026/048 |
| AC-13 | Signed launcher→SEB, reject ordinary/replay/expired | FAIL/NOT_VERIFIED | CBT-025/026/027/052/054/055 |
| AC-14 | Scoped room command center/presence/reconnect | PARTIAL | CBT-005/018/034 |
| AC-15 | Facts/action/response/disposition/authority | FAIL/PARTIAL | CBT-003/032/035/045 |
| AC-16 | Assigned private Zoom dan rehearsal | PARTIAL/NOT_VERIFIED | CBT-008/036 |
| CAM-01 | SEB permission allowed/denied/missing/busy | PARTIAL/NOT_VERIFIED | CBT-024/028/048 |
| CAM-02 | Local preview stabil saat navigasi | PARTIAL/NOT_VERIFIED | CBT-028/034/048; real device wajib |
| CAM-03 | Initial still/consent/policy/scoped viewer | PARTIAL | CBT-028/030/032 |
| CAM-04 | Server random capture/cadence/count | PARTIAL | CBT-029 |
| CAM-05 | Authorized triggers/correlation/rate limit | FAIL/PARTIAL | CBT-029/030 |
| CAM-06 | Camera track/mute/device-change facts | PARTIAL | CBT-028 |
| CAM-07 | Storage timeout/retry/burst tidak ganggu jawaban | FAIL/NOT_VERIFIED | CBT-030/031/049 |
| CAM-08 | Crossscope/replay denied dan grader blind | FAIL/PARTIAL | CBT-030/032/054; assigned proctor/grader guard dasar dipertahankan |
| CAM-09 | Retention/hold/versions/backup/tombstones | PARTIAL/NOT_VERIFIED | CBT-033/044/050/053 |
| CAM-10 | Human incident decision terotorisasi dan auditable | PARTIAL | CBT-035/045/053 |
| AC-17 | Objective/essay golden scoring dan moderation | PARTIAL | CBT-011/014/015/037/038/039/045/053 |
| AC-18 | Ranking/snapshot immutable, no speed tie | PARTIAL | CBT-014/023/039/040/041/042; shared rank dasar ada |
| AC-19 | Complete moderated results, approval/history/own result | FAIL/PARTIAL | CBT-037/038/040/041/042/043/053 |
| AC-20 | Result/attendance/incident/audit exports/version/privacy | PARTIAL | CBT-044/045/046 |
| AC-21 | Contract/generated client/migration/isolation guard | PARTIAL | CBT-047/052; route surface check PASS terbatas |
| AC-22 | Real500×120m dua kali +750×15m mixed load | NOT_VERIFIED | CBT-049 |
| AC-23 | PITR/content/application recovery/RPO/RTO | NOT_VERIFIED | CBT-033/050 |
| AC-24 | Health/metrics/alerts/identity/rollback/oncall | PARTIAL/NOT_VERIFIED | CBT-002/022/026/046/051/052/053/054 |
| AC-25 | Keyboard/focus/contrast/status/readiness support | FAIL/NOT_VERIFIED | CBT-012/016/018/023/043/048 |
| AC-26 | Certificate unavailable di v1 | SOURCE CONTAINED; release check tetap wajib | API410 dan tiada active UI certificate; masukkan regression pada CBT-052/054; jangan implement sertifikat |
| AC-27 | Data-loss/mass incident tidak auto-extension | FAIL/NOT_VERIFIED | CBT-035/050/053; pause bertentangan D06 |
| AC-28 | Connector Scola/replay/isolation | EXCLUDED v1 / NOT_VERIFIED I9 | SC-001/002/003 tetap post-pilot, bukan blocker standalone |
Tidak satu pun status tabel ini mengesahkan seluruh gate I0–I8. AC-26 containment source bukan klaim served runtime telah diperiksa. Requirement FR/NFR/CAM sumber mengikuti mapping resmi acceptance matrix; jangan memakai range ID untuk melewatkan subkasus ketika menulis acceptance tests.
4. Journey E2E yang harus menjadi bukti penutupan
| Journey | Langkah minimum tanpa manipulasi DB | Gangguan/negative wajib | Gap dominan |
|---|---|---|---|
| J01 Penyelenggara | Provision→invite staf→MFA→assign event→revoke/change role | Wrong tenant/event, role tunggal, stale session, account recovery | 001–005,055 |
| J02 Persiapan lomba | Event/category/round/session/timezone→import dry-run→room/proctor/form assignment→validate→freeze | Invalid CSV/duplicate/overlap/foreign round, clone/archive, frozen mutation | 006–015 |
| J03 Peserta secure | Public installer→readiness→credential→signed launcher→SEB→consent/initial still→admission | Unsupported/busy/denied camera, ordinary HTTP, wrong binary/config, expire/replay/revoke | 004,024–030 |
| J04 Ujian | Start→all3questiontypes→navigate→autosave→clear answer→offline→refresh→reconnect→submit→receipt | Delayed/out-of-order ACK, race/deadline/clock, multi-device/recovery, closed tab, API/Redis restart | 016–023,031 |
| J05 Pengawas | Login assigned room→presence/evidence/Zoom→warn→participant response→incident→manager recovery | Wrong room/revoked assignment, camera/storage/Zoom failure, no pause/no auto-penalty | 028–036,045 |
| J06 Penilaian | Assign roster→blind grade→different reviewer→revise→reopen→reassign→moderate100% | Stale revision/concurrent updates, invalid rubric, early grading, unauthorized identity access | 014/015,037–039 |
| J07 Hasil/sengketa | Close manifest→golden score→candidate preview→separate approval→publish→own result→export→dispute→withdraw/supersede | Active/ungraded blocks, public visibility mismatch, concurrent publish, old history immutable | 040–045,053 |
| J08 Operasi | Deploy immutable candidate→full load/faults→alert response→PITR restore→reconcile→retention/hold/purge→handover | Tamper/migration mismatch, site data loss, deleted evidence reappearance, storage contention | 033,046–054 |
J01–J07: browser asli melawan API/DB hasil migrasi, bukan API mocked. J03/J04/J05 juga harus diuji pada Windows/SEB nyata. J08 memerlukan isolated staging dan quota yang disepakati; tidak boleh menghabiskan resource host tenant Scola. Dataset sintetis harus mencakup dua tenant, dua event per tenant, minimal dua session/room, role tunggal dan gabungan,100 mixed items untuk load, no-show/disqualified/ongoing/late/graded cases.
5. Paket implementasi untuk team AI developer
CSV memiliki id, priority, area, owner_role, source evidence, SSOT/story, acceptance, dependencies, decision dan status. Semua OPEN. REPRODUCED berarti minimal satu subkasus diamati, bukan seluruh gap telah diuji. INFERRED_CODE (CBT-021/037/042) wajib diawali repro concurrency, jangan mengubahnya menjadi confirmed runtime tanpa bukti. CONFIRMED_CODE_AND_NOT_VERIFIED membedakan source gap dan gate deployment yang belum dijalankan.
Urutan paket dan dependensi
| Paket | Cakupan CBT | Lead / reviewer yang dibutuhkan | Output sebelum lanjut |
|---|---|---|---|
| W0 Kontrak/keputusan | 053 dan REC register;047 contract/migration design | PO+Architect; customer dan QA | Nilai yang jatuh tempo, model data/DTO/error/state diagram, migration owner; keputusan OPEN tidak diisi tebakan |
| W1 Identity/scope | 001–005,055,045 audit foundation | Identity+Security; independent security reviewer | MFA, revocation, capability+assignment, role landing, negative matrix |
| W2 Event/authoring | 006–015 | Competition+Authoring+FE; exam manager | Event lengkap dari UI→immutable frozen bundle, validated assignments dan golden scoring policy |
| W3 Answer integrity | 016–023 | Runner BE+FE; QA concurrency | Race019/020 dahulu; kemudian queue/hydration/timer/receipt, durable sweeper; all ACK reconciled |
| W4 Secure platform | 024–027 | Windows+Security; independent reviewer | Ordinary HTTP repro gagal, positive actual SEB, signed immutable artefact, supported matrix |
| W5 Proctor/evidence | 028–036,033 lifecycle | Proctoring+Platform+FE; privacy/ops | Camera/Zoom/incident journey, scoped evidence, quotas, storage isolation dan retention |
| W6 Grading/results | 037–044 | Grading+Results+FE; grading lead/customer approver | Concurrent revision controls, full result manifest, approved visibility, own result, history/export |
| W7 Certification | 046–054 dan regresi seluruh paket | QA+Platform+Security; customer | Real E2E, exact candidate/load/DR/security/alerts/UAT/rollback evidence |
| W8 Authorized pilot | OS-080/090 setelah W7 | Operations/customer | I8 event/dispute/retention closeout, postmortem dan support handover |
W4 spike dapat dimulai saat W1–W3 dikerjakan; W6 design dapat dimulai setelah scoring policy disetujui. Satu penanggung jawab mengintegrasikan perubahan migration/auth/runner models; jangan membuat patch paralel yang saling mengganti state machine. Setiap paket masih mengikuti dependencies per ID di CSV. CBT-045/046/047/051 menjadi pekerjaan lintas paket sesuai kebutuhan, tidak ditunda seluruhnya hingga W7.
Format task yang dapat langsung ditugaskan
Baseline: OS-v1.0 + participant access19September; recheck current HEAD/tree.
Gap: CBT-xxx; story OS/RM; AC/CAM yang dipetakan di CSV.
Outcome pengguna: salin recommendation, buat UI/API/persistence lengkap.
Bukti saat ini: source anchor + probe bila ada; reproduksi sebelum perbaikan.
Allowed paths: domain terkait; satu owner untuk migration/shared contracts.
Decision: REC/DEC yang diperlukan; implement approved values saja.
Kontrak: request/response/error/idempotency/scope/state/lock/migration/audit.
Acceptance: salin acceptance CSV dan negative matrix; bukan hanya happy path.
Verifikasi: disposable migration-only PostgreSQL + actual browser; Windows/S3
jika relevan. Rekam exact commands, SHA, UTC, environment dan raw output.
Handoff: diff + tests/evidence + reviewer + residual + status gap/story.
Tidak menutup story karena unit tests hijau atau hanya endpoint tersedia.
Untuk CBT-019, misalnya: jadikan scheduling barrier pada probe_backend.py regression test yang menuntut invariant benar, bukan menyalin assertion gap_reproduced=true. Tulis satu expected outcome untuk tiap urutan lock; lanjutkan UI submit hanya setelah kontrak final. Skrip audit sengaja mengamati bug dan tidak boleh masuk CI sebagai acceptance PASS tanpa membalik ekspektasi.
6. Gate penutupan dan definisi production-ready
- Source/functionality: seluruh55 kelompok gap ditutup dengan bukti dan independent review; AC mandatory terpenuhi, certificate tetap excluded. P1 tidak ditunda tanpa perubahan scope customer eksplisit.
- Runtime/data: migration actual, private storage/policy, identities FE/BE/DB/launcher/SEB/config cocok; synthetic rehearsal tidak bergantung pada manual DB edits.
- Security/integrity: auth/tenant/event/device negatives, zero ACK loss untuk API/worker/Redis restart, strict deadline dan duplicate receipt/grade zero, secure browser bypass ditolak, evidence privacy/lifecycle benar.
- Capacity/recovery: dua500active120m +750active15m, SLO/error denominator jujur; real storage failure; PITR/object restore RPO≤5m RTO≤60m dan deletion reconciliation.
- People/product: DEC/OP due resolved, rubric calibration/100%review staffing, proctor roster, named incident/publication/privacy authority, accessibilitas/accommodation, signed UAT dan support/rehearsal lengkap.
- Release: exact immutable candidate certified, backup dan migration-aware rollback/forward-fix siap; go-live memerlukan otorisasi tersendiri. Audit completion tidak berarti izin production.
- Program selesai: I8 pilot/event/results/disputes/retention/handover closeout, kemudian I9 terpisah bila ditugaskan.
“100% production-ready” ditafsirkan sebagai 100% gate wajib lulus untuk scope dan candidate yang disepakati, bukan janji tidak pernah ada bug. Gate tanpa bukti adalah blocked/NOT_VERIFIED. Temuan tambahan selama implementasi wajib ditambahkan ke ledger yang sama dengan source, impact dan acceptance; jangan menganggap daftar ini menggantikan testing adversarial setelah perubahan.