Lewati ke isi

Audit fungsional CBT end-to-end terhadap SSOT — 20 September 2026

Verdict: NO-GO PRODUCTION. Implementasi memiliki fondasi yang dapat dilanjutkan, tetapi integritas jawaban, secure admission, publikasi hasil, privasi evidence dan alur UI masih memiliki blocker. Terdokumentasi 55 kelompok gap: 40 P0 dan 15 P1, seluruhnya wajib ditutup untuk cakupan standalone v1. P0 berarti risiko integritas/security atau gate rilis yang memblokir; P1 tetap fitur v1 wajib, bukan boleh ditunda otomatis. Jumlah ini bukan55 exploit: termasuk fitur belum lengkap, keputusan customer dan bukti sertifikasi yang belum tersedia.

Mulai implementasi dari: register gap rinci, backlog CSV, 13 rekomendasi keputusan, dan evidence/reproduksi. Gunakan ID CBT untuk gap baru dan OS/RM untuk story baseline; jangan membuat tracker status story tandingan.

1. Identitas, cakupan dan batas pembuktian

Atribut Nilai
Mode/workspace Server; /home/scola/odoo/scola-assessment
Branch/source fix/qa-backoffice-vertical-slices / 45e16ba86cb35df5b8e36084c62237174790ee1c
Working tree awal Bersih; perubahan audit hanya dokumentasi dan skrip reproduksi di folder evidence
SSOT aktif OS-v1.0 approved12September2026; participant-access decision19September2026
Lingkup produk CBT standalone Windows secure pilot: organizer, authoring, participants, launcher/SEB/readiness, runner, proctor/camera/Zoom, grading/reviewer, ranking/publication/reporting, security/ops/DR/UAT
Inspeksi Jalur Vue→API→authorization→models/persistence→workers/storage;108 operation API terinventarisasi; seluruh38 acceptance cases dipetakan ke status/bukti/gap
Eksekusi Real PostgreSQL disposable, FastAPI TestClient; frontend unit/component jsdom; build Vite/TypeScript; contract route checker
Bukan bukti yang dijalankan Browser E2E melawan deployment, Windows launcher/SEB/camera nyata, pentest live,500/750 load, real S3 outage, PITR/served identity/production UAT
Runtime produksi Tidak dideploy, direstart atau diubah; tidak menguji kredensial/peserta nyata

Audit alur end-to-end secara fungsional dan source mencakup semua area v1; tidak mengklaim menjalankan seluruh alur pada perangkat/deployment nyata. Testing negatif terarah di bawah memperkuat beberapa temuan. Tidak ada persentase readiness yang sah dari rasio tes lulus. Kemungkinan bug di luar skenario yang diperiksa tetap memerlukan independent review dan certification gate.

Panduan yang diterapkan: AGENTS parent, workspace rules CBT, panduan pengembangan/QA/dokumentasi yang diwajibkan, dan skill scola-release-promotion untuk membedakan source, served identity dan certification. Tidak menggunakan database/runtime Odoo sebagai target CBT. Audit sebelumnya independent audit20September diperlakukan sebagai histori; kesimpulan di sini berasal dari pembacaan ulang source dan pengujian baru.

Hierarki SSOT dan interpretasi

  1. Baseline approved D01–D09 dan DEC/OP approved mengungguli paket referensi mentah dan implementasi historis.
  2. Participant access, authorization, API contract, data ownership, acceptance matrix, capacity serta runbook memberi kontrol yang harus dibuktikan.
  3. OpenAPI dan status REVIEW bukan bukti runtime benar. Template signoff bukan signoff customer.
  4. DEC-01/03/04/12 dan OP-02/03 tetap OPEN. Rekomendasi pada REC-01–13 adalah PROPOSED; tidak mengubah baseline diam-diam.
  5. Multi-select, sertifikat, live leaderboard, tryout/mobile tersertifikasi, payment/self-registration, AI/biometrik dan video streaming/recording internal di luar v1. Connector Scola I9 post-pilot. Tidak dibuat gap “fitur hilang” untuk scope tersebut; yang wajib adalah containment/exclusion dan tidak mengiklankan dukungan.

2. Bukti paling menentukan

Skenario Observasi aktual Dampak / gap
Save sudah lewat pemeriksaan, ditahan sebelum INSERT; submit dieksekusi; save dilanjutkan Submit200, save200, status submitted, satu jawaban benar tersimpan tetapi grade0 ACK tidak terwakili dalam final grade; CBT-019
HTTP client mengambil plist config lalu menghitung ConfigKey/hash URL Redeem200 dan start200 tanpa browser SEB/header pada start Ordinary HTTP memperoleh flag SEB verified; CBT-025
Token runner diterbitkan, organizer regenerate credential, token lama melakukan sync Rotate200 dan old-token sync200 Rotasi tidak revoke active runner; CBT-004
Event draft + session belum frozen + frozen form Start200 Admission bypass D08; CBT-006
Satu peserta submitted, satu masih in_progress Request→approve→publish200 Hasil parsial dapat dipublikasikan; CBT-040
Approval diberikan tanpa visibility terikat, publisher meminta public Publish200; public rankings anonymous200 Approval tidak mencakup keputusan pengungkapan; CBT-041
Challenge tidak ada, bytes bukan JPEG, tujuh capture; upload terpisah >1MiB Semua accepted200 Evidence authorization/format/quota/size tidak ditegakkan; CBT-030
ACK save yang sama diretry sesudah submit Original200, replay400 Kontrak identical retry tidak stabil; CBT-020
Mount runner dengan saved answer; navigasi; ACK terlambat; clock maju Input tidak hydrate; teks terbawa; soal lain bertanda answered; timer tetap; error start tak terlihat UI belum aman untuk ujian nyata; CBT-016/018

Semua menggunakan data sintetis dan environment test. Race memakai scheduling barrier SQLAlchemy sebelum INSERT untuk mereproduksi interleaving dua transaksi, tidak mengganti fungsi scoring/auth/submit. Probe SEB tidak membuktikan bypass pada deployment lain; ia membuktikan implementasi source ini tidak memiliki trust boundary yang dimaksud SSOT. Probe image menggunakan valid base64 berisi non-image, bukan fixture fallback invalid-base64.

Hasil verifikasi yang dijalankan

Pemeriksaan Hasil Arti dan batas
Alembic fresh DB PASS;11 revisions sampai d1e2f3a4b5c6 Fresh migration berjalan; upgrade data lama/rollback belum dibuktikan
Existing backend integration+spikes 164 passed,3warnings,84.48s Suite saat ini hijau; TestClient, beberapa fixture create_all/drop_all, bukan certification deployment
Existing frontend tests 8 passed pada4files auth/API/router/safeHTML; belum user journeys
TypeScript/Vite build PASS;129modules Build ke /tmp, tidak mengganti served assets
Runtime inventory/OpenAPI surface PASS;108/108/108 operations Method/path parity saja, bukan DTO/error/security parity
Audit backend probes 14/14 gap observations reproduced PASS skrip berarti perilaku buruk teramati, bukan produk lulus
Audit runner component probes 5/5 gap observations reproduced Vue component asli dengan fetch mock/jsdom; bukan browser/API E2E
Doc/reference validation Lihat verification Struktur handoff, strict docs build dan containment; tidak mengubah verdict produk

Peringatan test: Starlette/httpx, AnyIO dan Alembic deprecated config. Setup pertama terkena inherited DEBUG=release; diperbaiki menjadi DEBUG=false, bukan bug aplikasi yang dihitung. Probe MFA pertama mendapat422 karena email fixture memakai domain reserved; setelah fixture memakai email sintetik valid, login tanpa MFA benar-benar200. Hanya hasil final yang dipakai sebagai bukti. Tidak menyembunyikan failure setup sebagai PASS produk.

Fondasi yang layak dipertahankan

Source dan suite menunjukkan snapshot attempt immutable, validation own question, persisted idempotency record, unique attempt/answer/receipt constraints, submit row lock, strict deadline checks pada jalur biasa, blind assigned grading, reviewer berbeda, rubric-bound score input, shared rank1,1,3, dasar approval terpisah, CSV formula escaping, cookie staf+CSRF, private storage abstraction serta production default-secret guards. Certificate endpoints disabled/410 sesuai D04. Celah yang dicatat adalah batas implementasi ini, bukan alasan rewrite stack.

3. Matriks seluruh fitur dan acceptance

PARTIAL berarti ada implementasi tetapi belum memenuhi acceptance. FAIL berarti ada subkasus yang direproduksi gagal. NOT_VERIFIED berarti bukti gate yang diwajibkan belum dijalankan/tersedia untuk candidate ini; jangan menggantinya dengan klaim gagal runtime. EXCLUDED berarti di luar cakupan certification v1.

AC Feature / jalur pengguna Status audit Gap / tindakan wajib
AC-01 Create/edit/clone/archive, schedule, freeze dan audit FAIL/PARTIAL CBT-003/006/007/010/045
AC-02 Import dry-run, enroll, room, credentials, overlap PARTIAL CBT-008/009/010
AC-03 PG/numeric/esai, HTML/media/LaTeX, versions FAIL/PARTIAL CBT-011/012/015
AC-04 Item/order/weight/rubric/key frozen, stable snapshot FAIL/PARTIAL CBT-006/013/014/015
AC-05 MFA/recovery, tenant security, TLS/config/secrets FAIL/NOT_VERIFIED CBT-001/002/003/004/045/054/055
AC-06 Enrollment/event/session/device scope dan revoke FAIL CBT-004/006/007/008/021/025/027/055
AC-07 Autosave revisions/idempotency/replay FAIL CBT-016/017/019/020
AC-08 Deadline authoritative setelah lock, no grace FAIL/PARTIAL CBT-018/019/020/022
AC-09 Offline/pending/refresh/reconcile/no false saved FAIL/PARTIAL CBT-016/017/018/048
AC-10 Concurrent submit/receipt/recovery FAIL/PARTIAL CBT-019/021/022/023/035
AC-11 No ACK loss restart; storage/report independence FAIL/NOT_VERIFIED CBT-017/019/031/046/049/051
AC-12 Supported devices/readiness/remediation FAIL/NOT_VERIFIED CBT-024/026/048
AC-13 Signed launcher→SEB, reject ordinary/replay/expired FAIL/NOT_VERIFIED CBT-025/026/027/052/054/055
AC-14 Scoped room command center/presence/reconnect PARTIAL CBT-005/018/034
AC-15 Facts/action/response/disposition/authority FAIL/PARTIAL CBT-003/032/035/045
AC-16 Assigned private Zoom dan rehearsal PARTIAL/NOT_VERIFIED CBT-008/036
CAM-01 SEB permission allowed/denied/missing/busy PARTIAL/NOT_VERIFIED CBT-024/028/048
CAM-02 Local preview stabil saat navigasi PARTIAL/NOT_VERIFIED CBT-028/034/048; real device wajib
CAM-03 Initial still/consent/policy/scoped viewer PARTIAL CBT-028/030/032
CAM-04 Server random capture/cadence/count PARTIAL CBT-029
CAM-05 Authorized triggers/correlation/rate limit FAIL/PARTIAL CBT-029/030
CAM-06 Camera track/mute/device-change facts PARTIAL CBT-028
CAM-07 Storage timeout/retry/burst tidak ganggu jawaban FAIL/NOT_VERIFIED CBT-030/031/049
CAM-08 Crossscope/replay denied dan grader blind FAIL/PARTIAL CBT-030/032/054; assigned proctor/grader guard dasar dipertahankan
CAM-09 Retention/hold/versions/backup/tombstones PARTIAL/NOT_VERIFIED CBT-033/044/050/053
CAM-10 Human incident decision terotorisasi dan auditable PARTIAL CBT-035/045/053
AC-17 Objective/essay golden scoring dan moderation PARTIAL CBT-011/014/015/037/038/039/045/053
AC-18 Ranking/snapshot immutable, no speed tie PARTIAL CBT-014/023/039/040/041/042; shared rank dasar ada
AC-19 Complete moderated results, approval/history/own result FAIL/PARTIAL CBT-037/038/040/041/042/043/053
AC-20 Result/attendance/incident/audit exports/version/privacy PARTIAL CBT-044/045/046
AC-21 Contract/generated client/migration/isolation guard PARTIAL CBT-047/052; route surface check PASS terbatas
AC-22 Real500×120m dua kali +750×15m mixed load NOT_VERIFIED CBT-049
AC-23 PITR/content/application recovery/RPO/RTO NOT_VERIFIED CBT-033/050
AC-24 Health/metrics/alerts/identity/rollback/oncall PARTIAL/NOT_VERIFIED CBT-002/022/026/046/051/052/053/054
AC-25 Keyboard/focus/contrast/status/readiness support FAIL/NOT_VERIFIED CBT-012/016/018/023/043/048
AC-26 Certificate unavailable di v1 SOURCE CONTAINED; release check tetap wajib API410 dan tiada active UI certificate; masukkan regression pada CBT-052/054; jangan implement sertifikat
AC-27 Data-loss/mass incident tidak auto-extension FAIL/NOT_VERIFIED CBT-035/050/053; pause bertentangan D06
AC-28 Connector Scola/replay/isolation EXCLUDED v1 / NOT_VERIFIED I9 SC-001/002/003 tetap post-pilot, bukan blocker standalone

Tidak satu pun status tabel ini mengesahkan seluruh gate I0–I8. AC-26 containment source bukan klaim served runtime telah diperiksa. Requirement FR/NFR/CAM sumber mengikuti mapping resmi acceptance matrix; jangan memakai range ID untuk melewatkan subkasus ketika menulis acceptance tests.

4. Journey E2E yang harus menjadi bukti penutupan

Journey Langkah minimum tanpa manipulasi DB Gangguan/negative wajib Gap dominan
J01 Penyelenggara Provision→invite staf→MFA→assign event→revoke/change role Wrong tenant/event, role tunggal, stale session, account recovery 001–005,055
J02 Persiapan lomba Event/category/round/session/timezone→import dry-run→room/proctor/form assignment→validate→freeze Invalid CSV/duplicate/overlap/foreign round, clone/archive, frozen mutation 006–015
J03 Peserta secure Public installer→readiness→credential→signed launcher→SEB→consent/initial still→admission Unsupported/busy/denied camera, ordinary HTTP, wrong binary/config, expire/replay/revoke 004,024–030
J04 Ujian Start→all3questiontypes→navigate→autosave→clear answer→offline→refresh→reconnect→submit→receipt Delayed/out-of-order ACK, race/deadline/clock, multi-device/recovery, closed tab, API/Redis restart 016–023,031
J05 Pengawas Login assigned room→presence/evidence/Zoom→warn→participant response→incident→manager recovery Wrong room/revoked assignment, camera/storage/Zoom failure, no pause/no auto-penalty 028–036,045
J06 Penilaian Assign roster→blind grade→different reviewer→revise→reopen→reassign→moderate100% Stale revision/concurrent updates, invalid rubric, early grading, unauthorized identity access 014/015,037–039
J07 Hasil/sengketa Close manifest→golden score→candidate preview→separate approval→publish→own result→export→dispute→withdraw/supersede Active/ungraded blocks, public visibility mismatch, concurrent publish, old history immutable 040–045,053
J08 Operasi Deploy immutable candidate→full load/faults→alert response→PITR restore→reconcile→retention/hold/purge→handover Tamper/migration mismatch, site data loss, deleted evidence reappearance, storage contention 033,046–054

J01–J07: browser asli melawan API/DB hasil migrasi, bukan API mocked. J03/J04/J05 juga harus diuji pada Windows/SEB nyata. J08 memerlukan isolated staging dan quota yang disepakati; tidak boleh menghabiskan resource host tenant Scola. Dataset sintetis harus mencakup dua tenant, dua event per tenant, minimal dua session/room, role tunggal dan gabungan,100 mixed items untuk load, no-show/disqualified/ongoing/late/graded cases.

5. Paket implementasi untuk team AI developer

CSV memiliki id, priority, area, owner_role, source evidence, SSOT/story, acceptance, dependencies, decision dan status. Semua OPEN. REPRODUCED berarti minimal satu subkasus diamati, bukan seluruh gap telah diuji. INFERRED_CODE (CBT-021/037/042) wajib diawali repro concurrency, jangan mengubahnya menjadi confirmed runtime tanpa bukti. CONFIRMED_CODE_AND_NOT_VERIFIED membedakan source gap dan gate deployment yang belum dijalankan.

Urutan paket dan dependensi

Paket Cakupan CBT Lead / reviewer yang dibutuhkan Output sebelum lanjut
W0 Kontrak/keputusan 053 dan REC register;047 contract/migration design PO+Architect; customer dan QA Nilai yang jatuh tempo, model data/DTO/error/state diagram, migration owner; keputusan OPEN tidak diisi tebakan
W1 Identity/scope 001–005,055,045 audit foundation Identity+Security; independent security reviewer MFA, revocation, capability+assignment, role landing, negative matrix
W2 Event/authoring 006–015 Competition+Authoring+FE; exam manager Event lengkap dari UI→immutable frozen bundle, validated assignments dan golden scoring policy
W3 Answer integrity 016–023 Runner BE+FE; QA concurrency Race019/020 dahulu; kemudian queue/hydration/timer/receipt, durable sweeper; all ACK reconciled
W4 Secure platform 024–027 Windows+Security; independent reviewer Ordinary HTTP repro gagal, positive actual SEB, signed immutable artefact, supported matrix
W5 Proctor/evidence 028–036,033 lifecycle Proctoring+Platform+FE; privacy/ops Camera/Zoom/incident journey, scoped evidence, quotas, storage isolation dan retention
W6 Grading/results 037–044 Grading+Results+FE; grading lead/customer approver Concurrent revision controls, full result manifest, approved visibility, own result, history/export
W7 Certification 046–054 dan regresi seluruh paket QA+Platform+Security; customer Real E2E, exact candidate/load/DR/security/alerts/UAT/rollback evidence
W8 Authorized pilot OS-080/090 setelah W7 Operations/customer I8 event/dispute/retention closeout, postmortem dan support handover

W4 spike dapat dimulai saat W1–W3 dikerjakan; W6 design dapat dimulai setelah scoring policy disetujui. Satu penanggung jawab mengintegrasikan perubahan migration/auth/runner models; jangan membuat patch paralel yang saling mengganti state machine. Setiap paket masih mengikuti dependencies per ID di CSV. CBT-045/046/047/051 menjadi pekerjaan lintas paket sesuai kebutuhan, tidak ditunda seluruhnya hingga W7.

Format task yang dapat langsung ditugaskan

Baseline: OS-v1.0 + participant access19September; recheck current HEAD/tree.
Gap: CBT-xxx; story OS/RM; AC/CAM yang dipetakan di CSV.
Outcome pengguna: salin recommendation, buat UI/API/persistence lengkap.
Bukti saat ini: source anchor + probe bila ada; reproduksi sebelum perbaikan.
Allowed paths: domain terkait; satu owner untuk migration/shared contracts.
Decision: REC/DEC yang diperlukan; implement approved values saja.
Kontrak: request/response/error/idempotency/scope/state/lock/migration/audit.
Acceptance: salin acceptance CSV dan negative matrix; bukan hanya happy path.
Verifikasi: disposable migration-only PostgreSQL + actual browser; Windows/S3
  jika relevan. Rekam exact commands, SHA, UTC, environment dan raw output.
Handoff: diff + tests/evidence + reviewer + residual + status gap/story.
Tidak menutup story karena unit tests hijau atau hanya endpoint tersedia.

Untuk CBT-019, misalnya: jadikan scheduling barrier pada probe_backend.py regression test yang menuntut invariant benar, bukan menyalin assertion gap_reproduced=true. Tulis satu expected outcome untuk tiap urutan lock; lanjutkan UI submit hanya setelah kontrak final. Skrip audit sengaja mengamati bug dan tidak boleh masuk CI sebagai acceptance PASS tanpa membalik ekspektasi.

6. Gate penutupan dan definisi production-ready

  1. Source/functionality: seluruh55 kelompok gap ditutup dengan bukti dan independent review; AC mandatory terpenuhi, certificate tetap excluded. P1 tidak ditunda tanpa perubahan scope customer eksplisit.
  2. Runtime/data: migration actual, private storage/policy, identities FE/BE/DB/launcher/SEB/config cocok; synthetic rehearsal tidak bergantung pada manual DB edits.
  3. Security/integrity: auth/tenant/event/device negatives, zero ACK loss untuk API/worker/Redis restart, strict deadline dan duplicate receipt/grade zero, secure browser bypass ditolak, evidence privacy/lifecycle benar.
  4. Capacity/recovery: dua500active120m +750active15m, SLO/error denominator jujur; real storage failure; PITR/object restore RPO≤5m RTO≤60m dan deletion reconciliation.
  5. People/product: DEC/OP due resolved, rubric calibration/100%review staffing, proctor roster, named incident/publication/privacy authority, accessibilitas/accommodation, signed UAT dan support/rehearsal lengkap.
  6. Release: exact immutable candidate certified, backup dan migration-aware rollback/forward-fix siap; go-live memerlukan otorisasi tersendiri. Audit completion tidak berarti izin production.
  7. Program selesai: I8 pilot/event/results/disputes/retention/handover closeout, kemudian I9 terpisah bila ditugaskan.

“100% production-ready” ditafsirkan sebagai 100% gate wajib lulus untuk scope dan candidate yang disepakati, bukan janji tidak pernah ada bug. Gate tanpa bukti adalah blocked/NOT_VERIFIED. Temuan tambahan selama implementasi wajib ditambahkan ke ledger yang sama dengan source, impact dan acceptance; jangan menganggap daftar ini menggantikan testing adversarial setelah perubahan.