Lewati ke isi

R7 — Pilot Operational Readiness, Synthetic Rehearsal, and Telemetry Evidence Packet

Status: PRE_PILOT_REHEARSAL_READY (Admisi Peserta Nyata: HARD-BLOCKED)
Tanggal Evaluasi: 2026-09-15
Workspace: /home/scola/odoo/scola-assessment
Alembic Head: c9d0e1f2a3b4
Domain Produksi / Live: https://cbt.gcgscola.id


1. Ringkasan Eksekutif & Batasan Tata Kelola (Governance Boundary)

Paket bukti ini mendokumentasikan pemenuhan kesiapan teknis dan operasional Fase R7 (Pilot Terkontrol & Stabilisasi) sesuai dengan mandat Rencana Penyelesaian Temuan Audit CBT Independen.

[!CAUTION] BATASAN TATA KELOLA OPERASIONAL MUTLAK:
Sesuai keputusan yang dikunci pada SSOT:
"Tidak ada pilot atau peserta nyata sebelum seluruh gate I7 lulus dan ada otorisasi eksplisit."
Mengingat status sertifikasi R6 saat ini adalah AUDIT_VERDICT_INVALIDATED_NOT_CERTIFIED (menunggu 6 bukti fisik staging), maka pembukaan admisi peserta nyata ke lingkungan produksi adalah DILARANG KERAS (HARD-BLOCKED).

Fokus implementasi Fase R7 pada tahap ini adalah membuktikan kesiapan seluruh instrumen operasional melalui Geladi Resik Sintetis (Synthetic Rehearsal) end-to-end tanpa peserta nyata, mengaktifkan perkakas observabilitas Command Center, memvalidasi pipa penutupan event (OS-080), serta menyiapkan tata kelola retensi dan sengketa data (OS-090).


2. Hasil Eksekusi Geladi Resik Sintetis (scripts/ops/synthetic_pilot_rehearsal.py)

Geladi resik otomatis menguji siklus hidup penuh penyelenggaraan olimpiade untuk 50 peserta sintetis tanpa risiko terhadap peserta nyata:

{
  "rehearsal_id": "rehearsal-b4755a34",
  "timestamp_utc": "2026-09-13T09:19:44.203985+00:00",
  "cohort_size": 50,
  "phases": {
    "pre_flight": {
      "status": "PASSED",
      "database_connected": true,
      "change_freeze_active": true
    },
    "setup": {
      "status": "PASSED",
      "total_questions": 3,
      "max_score": 40.0
    },
    "admission": {
      "status": "PASSED",
      "enrolled_count": 50,
      "attempts_started": 50
    },
    "proctoring": {
      "status": "PASSED",
      "reasoned_actions_recorded": 1,
      "camera_evidence_records": 5
    },
    "exam_execution": {
      "status": "PASSED",
      "total_answers_recorded": 150,
      "total_submitted_attempts": 50
    },
    "blind_grading": {
      "status": "PASSED",
      "essays_graded": 50,
      "essays_moderated": 50,
      "two_person_rule_verified": true
    },
    "publication": {
      "status": "PASSED",
      "publication_version": 1,
      "total_ranked_participants": 50,
      "top_score": 35.0,
      "lowest_score": 15.0
    },
    "closeout_audit": {
      "success": true,
      "total_attempts": 50,
      "active_in_progress_count": 0,
      "expired_unswept_count": 0,
      "unmoderated_essays_count": 0,
      "has_active_publication": true,
      "pending_failed_outbox_count": 0,
      "blockers": []
    }
  },
  "metrics": {
    "total_duration_seconds": 12.96
  },
  "success": true
}

Temuan Kunci Geladi Resik:

  1. Device Session Lock: 50 attempt terisolasi dengan device generation dan token sesi unik.
  2. Pengawasan Tanpa Diskualifikasi Sepihak: Peringatan pengawas dicatat sebagai reasoned action faktual tanpa membatalkan ujian secara sepihak.
  3. Autosave & Tanda Terima Atomik: 150 jawaban tersimpan dengan nomor revisi meningkat monoton, dan 50 submission menghasilkan nomor tanda terima (SubmissionReceipt) unik dan terverifikasi.
  4. Penilaian Buta & Moderasi Dua Aktor: 50 esai dinilai oleh pemeriksa pertama tanpa PII, kemudian dimoderasi oleh ketua pemeriksa independen (two-person rule terpenuhi 100%).
  5. Perangkingan Kompetisi Standar: Pemeringkatan 1, 1, 3 tanpa tie-break kecepatan pengerjaan berhasil dibekukan pada ResultPublication versi 1.
  6. Rekonsiliasi Penutupan 100%: Audit penutupan pilot_event_closeout.py memverifikasi 0 attempt aktif tersisa, 0 butir esai belum dimoderasi, dan 0 pesan outbox dead-letter.

3. Instrumen Pemantauan Command Center (scripts/ops/pilot_telemetry_monitor.py)

Alat pemantauan real-time operasional pilot telah diimplementasikan dan diuji: - Koneksi Database & Locks: Memantau koneksi aktif, kueri yang sedang berjalan, status idle in transaction, dan antrean lock contention. - Background Workers & Outbox: Memantau antrean pesan pending, processing, failed, dan mendeteksi adanya kegagalan permanen dead_letter. - Storage Bukti Kamera (Bulkhead): Memantau total rekaman snapshot, status penyimpanan private S3, dan mendeteksi anomali kegagalan degraded. - SLO Guard & Alarm: Mengidentifikasi anomali secara otomatis untuk mendukung keputusan pengawas (Incident Authority) menghentikan admisi jika terjadi gangguan integritas.


4. Tata Kelola Penutupan, Sengketa & Retensi (OS-080 & OS-090)

  1. Guard Penutupan Event Pilot (OS-080):
  2. Teruji via test_os080_pilot_event_closeout.py (3 passed).
  3. Penutupan event DITOLAK SECARA OTOMATIS jika:
    • Masih ada attempt berstatus in_progress yang belum melewati deadline.
    • Masih ada butir esai yang belum dimoderasi oleh pemeriksa kedua.
    • Belum ada publikasi hasil resmi yang aktif.
  4. Perlindungan Penahanan Sengketa & Retensi (OS-090):
  5. Teruji via test_os090_postmortem_retention_and_handover.py (3 passed).
  6. Seluruh bukti kamera yang memiliki flag is_held: true (terkait sengketa/dispute) TERLINDUNGI SECARA MUTLAK dan tidak pernah terhapus oleh sweep pembersihan retensi data.

5. Matriks Status Backlog Fase R7

Story ID Gate Deskripsi Status Operasional Keterangan Tata Kelola
OS-080 I8 Pelaksanaan Event Pilot Terkontrol & Rekonsiliasi Penutupan BLOCKED (PRE_PILOT_REHEARSAL_READY) Harness geladi resik dan pipa penutupan siap; pelaksanaan event nyata diblokir sampai R6 bersertifikat.
OS-090 I8 Serah Terima Pasca-Event, Penanganan Sengketa & Retensi BLOCKED (PRE_PILOT_REHEARSAL_READY) SOP retensi dan legal hold siap; serah terima final dilakukan pasca-pelaksanaan event pilot nyata.

6. Kesimpulan Kelulusan Gerbang R7

  1. Seluruh instrumen teknis dan operasional untuk Fase R7 telah dinyatakan PRE_PILOT_REHEARSAL_READY.
  2. Tidak ada peserta nyata yang diizinkan mengakses server produksi sebelum seluruh 6 bukti nyata sertifikasi R6 (k6 load runs, physical PITR, security review, Authenticode signed launcher, dan customer UAT sign-off) dipenuhi dan disetujui secara tertulis.