Lewati ke isi

Evidence audit CBT — 20 September 2026

Source yang diperiksa: 45e16ba86cb35df5b8e36084c62237174790ee1c. Verdict/coverage, register gap, backlog implementasi.

Seluruh data uji sintetis. Tidak ada token, PIN peserta nyata atau foto di evidence. gap_reproduced: true berarti BUG TERAMATI, bukan acceptance PASS. Skrip ini bukan regression acceptance suite siap pakai: developer harus menulis assertion perilaku yang benar setelah perbaikan.

Artefak

Artefak Isi / batas
backend-probes.json 14 observasi akhir terhadap DB fresh hasil Alembic, bukan mock business logic
probe_backend.py Reproduksi backend; dibatasi ENV test, memory storage, explicit disposable DB
fresh-probe-migration.log Fresh11migrations untuk DB khusus probe; tidak menjalankan create_all
backend-probes.stderr.log Diagnostic final probe
backend-existing-tests.log Existing164backend/spike tests; fixture schema caveat berlaku
runner-component-probes.log 5observasi Vue component; fetch mock/jsdom
runner-component-probes.test.ts.txt Salinan exact component test; file temporer di frontend sudah dihapus
contract-route-check.log 108 method/path parity; bukan full schema/security contract
checks.json Commands, hasil, batas bukti; frontend unit/build hasil tool, raw log tidak disimpan
findings.json Data register/CSV dengan55gap; bukan tracker baru terpisah
verification.json Cross-reference/dependency/doc build/containment checks
SHA256SUMS Hash seluruh artefak audit kecuali file hash itu sendiri

Reproduksi backend yang dijalankan

CWD repo /home/scola/odoo/scola-assessment. Dua database berbeda dibuat oleh sesi audit, keduanya disposable dan hanya berisi data sintetis:

  • scola_assessment_audit_20260920_45e16ba_test: existing backend tests dan eksplorasi pertama. Suite lama dapat create_all/drop_all, sehingga bukan bukti schema parity migration-only.
  • scola_assessment_audit_20260920_probe_test: reproduksi final pada fresh Alembic schema tanpa fixture create_all. Hasil JSON yang disertakan dari DB ini.

Kedua database dihapus setelah audit; tidak ada runtime CBT/Odoo yang dipromosikan. Untuk mengulang, buat database disposable baru milik sesi sendiri. Jangan memakai DB existing/production atau menghapus database yang bukan dibuat sesi pengujian. Contoh command berikut menggunakan nama target final sesi ini; environment perlu izin role PostgreSQL lokal untuk create/drop database.

createdb scola_assessment_audit_20260920_probe_test
export DATABASE_URL='postgresql://scola@/scola_assessment_audit_20260920_probe_test?host=/var/run/postgresql'
export TEST_DATABASE_URL="$DATABASE_URL"
export ENVIRONMENT=test
export DEBUG=false
export EVIDENCE_STORAGE_MODE=memory
export SCOLA_ASSESSMENT_ALLOW_TEST_DB_RESET=yes
export PYTHONPATH=backend:.
.venv/bin/alembic -c backend/alembic.ini upgrade head
.venv/bin/python docs/evidence/cbt-e2e-audit-2026-09-20/probe_backend.py
# Setelah proses selesai dan hanya bila DB di atas dibuat untuk run ini:
dropdb scola_assessment_audit_20260920_probe_test

Skrip membuat user/tenant/participants sintetis langsung sebagai fixtures; lalu memakai HTTP API untuk skenario temuan. Internal token helper hanya menyiapkan staf fixture; probe MFA benar-benar login. Probe credential peserta memakai lookup nyata. S3 diganti memory storage khusus test, sehingga tidak menguji IAM/SSE/TLS atau network outage. Probe SEB memakai ordinary HTTP client dan fungsi checksum terbuka dari source, tanpa perangkat SEB. Race barrier menunda INSERT answer, menjalankan submit pada transaksi lain, kemudian melanjutkan save.

Jangan mengekspos skrip/bukti ini melalui situs dokumentasi publik. Konfigurasi MkDocs public sudah mengecualikan specs/evidence; hanya internal navigation ditambah. Internal hosting authorization tetap perlu diverifikasi pada release kandidat.

Reproduksi komponen runner

CWD repo untuk menyalin file; CWD frontend untuk Vitest. Pastikan nama temporer belum dipakai agar tidak menimpa file milik pekerjaan lain.

cp docs/evidence/cbt-e2e-audit-2026-09-20/runner-component-probes.test.ts.txt frontend/tests/unit/auditRunnerTemporary.test.ts
cd frontend
npx vitest run tests/unit/auditRunnerTemporary.test.ts
rm tests/unit/auditRunnerTemporary.test.ts

Probe memakai ExamRunner aktual dan memock fetch untuk mengontrol response/order. Lima assertion mengamati input hydration yang hilang, teks terbawa antarsoal, timer/heartbeat tidak berjalan, ACK menandai soal berbeda, dan error start tak terlihat. Ini membuktikan bug komponen, tidak menggantikan actual browser E2E.

Provenance dan status

Source tetap HEAD audit; aplikasi tidak diedit. Existing suite/backend84.48s, frontend8tests, TypeScript/Vite build dan route checker dicatat terpisah dari probe. Percobaan awal email domain reserved menghasilkan422 lalu diperbaiki pada fixture; percobaan env DEBUG=release gagal konfigurasi lalu dijalankan dengan DEBUG=false. Keduanya tidak dianggap bug produk. Final backend probe dijalankan ulang pada fresh migrated DB untuk menghilangkan ketidakpastian akibat fixture suite lama.

Tidak menjalankan Windows install/update/uninstall, actual SEB permission, full browser/deployment E2E, real S3 fault, load500/750, real PITR atau go-live. Gate itu NOT_VERIFIED dan punya pekerjaan eksplisit di backlog.