Evidence audit CBT — 20 September 2026
Source yang diperiksa: 45e16ba86cb35df5b8e36084c62237174790ee1c.
Verdict/coverage,
register gap,
backlog implementasi.
Seluruh data uji sintetis. Tidak ada token, PIN peserta nyata atau foto di evidence.
gap_reproduced: true berarti BUG TERAMATI, bukan acceptance PASS.
Skrip ini bukan regression acceptance suite siap pakai: developer harus menulis
assertion perilaku yang benar setelah perbaikan.
Artefak
| Artefak | Isi / batas |
|---|---|
| backend-probes.json | 14 observasi akhir terhadap DB fresh hasil Alembic, bukan mock business logic |
| probe_backend.py | Reproduksi backend; dibatasi ENV test, memory storage, explicit disposable DB |
| fresh-probe-migration.log | Fresh11migrations untuk DB khusus probe; tidak menjalankan create_all |
| backend-probes.stderr.log | Diagnostic final probe |
| backend-existing-tests.log | Existing164backend/spike tests; fixture schema caveat berlaku |
| runner-component-probes.log | 5observasi Vue component; fetch mock/jsdom |
| runner-component-probes.test.ts.txt | Salinan exact component test; file temporer di frontend sudah dihapus |
| contract-route-check.log | 108 method/path parity; bukan full schema/security contract |
| checks.json | Commands, hasil, batas bukti; frontend unit/build hasil tool, raw log tidak disimpan |
| findings.json | Data register/CSV dengan55gap; bukan tracker baru terpisah |
| verification.json | Cross-reference/dependency/doc build/containment checks |
| SHA256SUMS | Hash seluruh artefak audit kecuali file hash itu sendiri |
Reproduksi backend yang dijalankan
CWD repo /home/scola/odoo/scola-assessment. Dua database berbeda dibuat oleh
sesi audit, keduanya disposable dan hanya berisi data sintetis:
scola_assessment_audit_20260920_45e16ba_test: existing backend tests dan eksplorasi pertama. Suite lama dapat create_all/drop_all, sehingga bukan bukti schema parity migration-only.scola_assessment_audit_20260920_probe_test: reproduksi final pada fresh Alembic schema tanpa fixture create_all. Hasil JSON yang disertakan dari DB ini.
Kedua database dihapus setelah audit; tidak ada runtime CBT/Odoo yang dipromosikan. Untuk mengulang, buat database disposable baru milik sesi sendiri. Jangan memakai DB existing/production atau menghapus database yang bukan dibuat sesi pengujian. Contoh command berikut menggunakan nama target final sesi ini; environment perlu izin role PostgreSQL lokal untuk create/drop database.
createdb scola_assessment_audit_20260920_probe_test
export DATABASE_URL='postgresql://scola@/scola_assessment_audit_20260920_probe_test?host=/var/run/postgresql'
export TEST_DATABASE_URL="$DATABASE_URL"
export ENVIRONMENT=test
export DEBUG=false
export EVIDENCE_STORAGE_MODE=memory
export SCOLA_ASSESSMENT_ALLOW_TEST_DB_RESET=yes
export PYTHONPATH=backend:.
.venv/bin/alembic -c backend/alembic.ini upgrade head
.venv/bin/python docs/evidence/cbt-e2e-audit-2026-09-20/probe_backend.py
# Setelah proses selesai dan hanya bila DB di atas dibuat untuk run ini:
dropdb scola_assessment_audit_20260920_probe_test
Skrip membuat user/tenant/participants sintetis langsung sebagai fixtures; lalu memakai HTTP API untuk skenario temuan. Internal token helper hanya menyiapkan staf fixture; probe MFA benar-benar login. Probe credential peserta memakai lookup nyata. S3 diganti memory storage khusus test, sehingga tidak menguji IAM/SSE/TLS atau network outage. Probe SEB memakai ordinary HTTP client dan fungsi checksum terbuka dari source, tanpa perangkat SEB. Race barrier menunda INSERT answer, menjalankan submit pada transaksi lain, kemudian melanjutkan save.
Jangan mengekspos skrip/bukti ini melalui situs dokumentasi publik. Konfigurasi MkDocs public sudah mengecualikan specs/evidence; hanya internal navigation ditambah. Internal hosting authorization tetap perlu diverifikasi pada release kandidat.
Reproduksi komponen runner
CWD repo untuk menyalin file; CWD frontend untuk Vitest. Pastikan nama temporer
belum dipakai agar tidak menimpa file milik pekerjaan lain.
cp docs/evidence/cbt-e2e-audit-2026-09-20/runner-component-probes.test.ts.txt frontend/tests/unit/auditRunnerTemporary.test.ts
cd frontend
npx vitest run tests/unit/auditRunnerTemporary.test.ts
rm tests/unit/auditRunnerTemporary.test.ts
Probe memakai ExamRunner aktual dan memock fetch untuk mengontrol response/order. Lima assertion mengamati input hydration yang hilang, teks terbawa antarsoal, timer/heartbeat tidak berjalan, ACK menandai soal berbeda, dan error start tak terlihat. Ini membuktikan bug komponen, tidak menggantikan actual browser E2E.
Provenance dan status
Source tetap HEAD audit; aplikasi tidak diedit. Existing suite/backend84.48s,
frontend8tests, TypeScript/Vite build dan route checker dicatat terpisah dari probe.
Percobaan awal email domain reserved menghasilkan422 lalu diperbaiki pada fixture;
percobaan env DEBUG=release gagal konfigurasi lalu dijalankan dengan DEBUG=false.
Keduanya tidak dianggap bug produk. Final backend probe dijalankan ulang pada
fresh migrated DB untuk menghilangkan ketidakpastian akibat fixture suite lama.
Tidak menjalankan Windows install/update/uninstall, actual SEB permission, full browser/deployment E2E, real S3 fault, load500/750, real PITR atau go-live. Gate itu NOT_VERIFIED dan punya pekerjaan eksplisit di backlog.