Lewati ke isi

Independent Audit — Codebase, RBAC UAT, dan Portal MkDocs

Status: TECHNICAL_ALPHA_NOT_CERTIFIED · Target: cbt-staging · Tanggal audit: 2026-09-20

Kesimpulan

Audit ini belum memberikan verdict siap untuk UAT penuh. Fondasi backend untuk role author dan auditor sudah tersedia, dan perubahan pada commit kerja ini menambahkan akun seed serta manual internal yang diperlukan. Namun bukti runtime staging, rotasi credential, browser E2E lintas role, serta beberapa kontrol runner dan deployment masih harus diverifikasi sebelum UAT customer.

Dokumentasi MkDocs sebagian besar sudah mengikuti implementasi, tetapi sebelum perubahan ini belum 100% sinkron: akun author/auditor belum tercantum, manualnya belum ada, dan deskripsi lama menyebut aplikasi bersertifikasi. Setelah perubahan ini, dokumentasi role dan batas capability diperbarui; status technical alpha tetap dinyatakan secara eksplisit.

Ruang lingkup dan metode

  • Source repository: scola-assessment, branch kerja fix/qa-backoffice-vertical-slices.
  • Baseline source sebelum perubahan: 0e9aaa9.
  • Artefak yang diperiksa: backend/app, frontend/src, scripts/ops, docs/, mkdocs-public.yml, mkdocs-internal.yml, dan integration tests.
  • Pemeriksaan: pencocokan role/capability/API/frontend route/manual; inspeksi seed; review negative authorization tests; validasi build/test akan dijalankan pada commit setelah perubahan.
  • Tidak ada klaim bahwa staging, Windows launcher, Cloudflare Access, customer UAT, load test, atau independent security review eksternal telah lulus dari audit source ini. Evidence runtime harus dikaitkan dengan exact candidate.

Evidence validasi source saat audit

Pemeriksaan Hasil
pytest -q tests/integration/test_qa_backoffice_security.py PASS — 4 passed
Full PostgreSQL integration dengan DATABASE_URL dan TEST_DATABASE_URL ke database disposable yang sama PASS — 164 passed, 3 warnings
npm test PASS — 4 files, 8 tests
npm run build PASS — Vite production build
MkDocs public/internal --strict + verify_docs.py PASS; build publik tidak memuat manual author/auditor internal
openapi_runtime_drift_check.py --strict-contract PASS — 108 runtime/inventory/OpenAPI operations

Percobaan full pytest pertama tanpa override DATABASE_URL menghasilkan 152 pass dan 12 fixture error karena .env menunjuk SessionLocal ke scola_assessment_dev, sedangkan fixture memakai scola_assessment_test. Ini bukan kegagalan role baru; CI sudah menetapkan kedua URL ke database CI yang sama. Namun perintah lokal wajib menetapkan keduanya agar hasil dapat direproduksi dan tidak menyentuh database dev.

Status user story per role

Role Implementasi yang terkonfirmasi Status story Kekurangan/bukti yang masih diperlukan
Participant Readiness, runner, autosave, submit, evidence flow tersedia di source Partial Browser E2E perangkat nyata, SEB matrix, recovery/deadline dan evidence storage nyata
Proctor Room scope, warning/incident/request capture, timeline/evidence API tersedia Partial Bukti staging bahwa room switch, action timeline, evidence count dan authorization konsisten
Grader Queue dan blind grading API/UI tersedia; capability terpisah Partial Seed runtime harus memakai grader-only; E2E save kosong, rubric completeness, dan no-PII
Reviewer Moderation API/UI dan two-person constraint tersedia Partial Akun reviewer terpisah, self-review negative test, E2E approve/revise
Author Capability question.manage, rubric.manage, form.manage, API dan halaman authoring tersedia Partial → addressed in source Seed/staging login, E2E authoring, validasi bahwa session/room/freeze tetap manager-only
Auditor Capability read-only event/result/audit/export dan endpoint hasil/ekspor tersedia Partial → addressed in source Seed/staging login, E2E ekspor/audit, cross-tenant dan mutation negative matrix
Exam manager/admin Event/session/participant/room/result flow tersedia Partial Full vertical E2E dari event sampai freeze/publish dan approval separation
Platform operator Capability platform health/organizer management tanpa tenant bypass di tested routes Partial Production operational runbook, least-privilege endpoint inventory, break-glass review

Partial bukan berarti fungsi tidak ada; artinya user story belum terbukti 100% oleh kombinasi source, integration test, browser E2E, dan exact runtime evidence.

Findings

ID Prioritas Klasifikasi Temuan Tindakan/status
AUD-RBAC-001 P0 Confirmed from source Seed lama memberi grader role reviewer dan tidak menyediakan akun author/auditor/reviewer yang lengkap. Diperbaiki pada source: grader-only; reviewer, author, auditor ditambahkan; rerun seed menonaktifkan role lama yang tidak diinginkan. Runtime seed masih harus diverifikasi.
AUD-RBAC-002 P1 Confirmed from source Role model/schema sebelumnya belum mendokumentasikan auditor/platform operator pada komentar kontrak. Diperbaiki pada source.
AUD-DOC-001 P1 Confirmed from source Manual role tidak memiliki author/auditor dan README lama memuat klaim “bersertifikasi”. Diperbaiki: dua manual baru, role map, akses uji, dan wording technical alpha.
AUD-SEC-001 P0 Confirmed from source ReadinessCheck.vue menganggap query launcher/handoff sebagai SEB terpasang (sebInstalled=true), sehingga readiness dapat memberi sinyal positif tanpa verifikasi executable SEB yang independen. OPEN. Wajib mengganti dengan attestation launcher yang ditandatangani/short-lived dan bukti versi dari launcher; jangan jadikan query parameter sebagai bukti.
AUD-TEST-001 P1 Confirmed from source Frontend package belum memiliki suite Playwright E2E yang membuktikan semua critical role story; Vitest/build saja tidak cukup untuk admission UAT. OPEN. Tambahkan E2E dengan API/PostgreSQL nyata, seeded role terpisah, dan exact staging candidate.
AUD-API-001 P1 Confirmed from source Terdapat route event paralel di organizers.py dan events.py dengan daftar role/kontrak yang berpotensi berbeda. OPEN. Pilih satu canonical API (/events), deprecate atau samakan route lama, lalu tambahkan contract drift test.
AUD-RUNNER-001 P1 Confirmed from source Runner masih menggunakan beberapa fetch langsung, termasuk upload still; ini menyimpang dari target satu API client dan menyulitkan konsistensi error/auth/retry. OPEN. Refactor ke client runner terpusat atau dokumentasikan exception binary dengan helper auth/error yang diuji.
AUD-OPS-001 P0 eksternal Requires external evidence Custom internal docs domain sudah diarahkan ke Cloudflare Access pada verifikasi sebelumnya, tetapi *.pages.dev internal pernah tetap anonim. OPEN sampai pages.dev ditutup/Access policy diverifikasi dengan HTTP probe anonim dan authenticated probe.
AUD-OPS-002 P0 eksternal Requires external evidence Signed launcher, Windows/SEB matrix, security review, customer UAT, load test, PITR/off-host backup, dan operational authority bukan bukti yang dapat diberikan source repo. OPEN; dikelola melalui R6/R7 release evidence dan sign-off pihak terkait.

Kesesuaian dokumentasi terhadap source

Sudah selaras setelah perubahan

  • Akses uji teknis mencantumkan grader, reviewer, author, dan auditor, tanpa password/token plaintext.
  • Manual author menjelaskan authoring soal/rubrik/form dan batas bahwa jadwal, room, peserta, proctoring, grading, dan publikasi tetap di luar role author.
  • Manual auditor menjelaskan read-only event/result/audit/export dan melarang mutasi, evidence kamera, grading, proctoring, serta publication.
  • Manual penyelenggara sudah menghapus Runner staf dan menjelaskan enrollment uji nyata.
  • Matriks akses frontend/backend tetap diperlakukan sebagai defense-in-depth; backend adalah otoritas final.

Belum dapat dinyatakan sinkron penuh

  • Klaim “sudah lulus” tidak boleh ditarik dari manual; beberapa halaman merupakan prosedur target dan belum mempunyai evidence runtime exact candidate.
  • Readiness/SEB membutuhkan perubahan source dan bukti Windows nyata seperti temuan AUD-SEC-001.
  • Route/API lama dan E2E browser masih perlu disejajarkan seperti AUD-API-001 dan AUD-TEST-001.

Rencana penutupan residual

  1. Jalankan seed dengan tujuh password UAT dari vault: admin, proctor, grader, reviewer, author, auditor, dan operator; verifikasi membership aktif serta grader/reviewer berbeda.
  2. Jalankan backend security/integration tests dan tambahkan negative matrix author, auditor, self-review, cross-tenant, evidence, dan export.
  3. Perbaiki attestation SEB/launcher dan rapikan runner API client.
  4. Canonicalize route event dan tambahkan generated OpenAPI/contract drift gate.
  5. Tambahkan Playwright E2E untuk event setup, authoring, import peserta, proctor, grading-reviewer, auditor export, serta login/forbidden behavior.
  6. Build public/internal MkDocs dengan strict dan secret scan; pastikan build publik tidak mengandung manual internal.
  7. Deploy exact clean candidate ke staging, jalankan HTTP probes, role matrix, evidence record, dan UAT 3–10 peserta. Jangan promosi production dari dokumen ini.