Grading Capacity dan Moderation — OS-v1.0
Last verified: 2026-09-12. Planning worksheet, bukan staffing/SLA yang disepakati. Esai wajib v1. Semua respons esai yang relevan harus memiliki keputusan grading dan moderation sebelum publikasi; sampling QA tambahan tidak menggantikan moderation gate.
1. Formula dan input terbuka
Jumlah grader = ceil(peserta × esai_per_peserta × menit_grading / (jam_aktif × 60 × efisiensi)). Jumlah reviewer = ceil(respons_yang_wajib_dimoderasi × menit_review / (jam_review × 60 × efisiensi_review)). Tambahkan kapasitas calibration, dispute/rework, istirahat dan coverage absent. Ukur t_grading/t_review lewat calibration dataset; jangan mengasumsikan setiap essay identik.
OP-02: customer/grading lead menetapkan actual peserta/soal, waktu rata-rata, jam kerja, efisiensi, roster, due date hasil dan reviewer independen. Satu actor tidak mereview grade revision sendiri; bila reviewer membantu grading, respons tersebut dialihkan ke reviewer lain.
2. Contoh hitung (bukan keputusan event)
Workload engineering 500 peserta × 10 esai = 5.000 respons. Jika asumsi 3 menit/respons, 8 jam aktif dan efisiensi 0,8: 15.000 / 384 → 40 grader. Jika seluruh 5.000 respons direview 2 menit dengan 8 jam dan efisiensi 0,8: 10.000 / 384 → 27 reviewer. Angka ini ilustrasi sensitivitas workload, bukan roster yang diwajibkan atau disetujui. Actual event dapat berbeda dari load fixture 100 soal; definisikan dataset aktual dan target publikasi sebelum UAT.
3. Workflow
Submitted snapshot → objective scoring → assigned blind essay queue → validated criteria scoring → different reviewer moderation → readiness check → immutable ranking snapshot → approval → publication. Tidak ada sertifikat v1. Tidak ada publikasi otomatis berdasarkan jam bila esai belum selesai.
Criteria harus lengkap/valid/unik/finite/in-range; sum(max_points)=rubric maximum; weight derived tidak dikalikan kedua kali. Unknown/missing score bukan otomatis nol. Error atau dispute mempertahankan revision sebelumnya dan reason.
4. Dashboard dan eskalasi
Pantau unassigned/ungraded/unmoderated/rework, throughput per shift, oldest pending, completion forecast dan reviewer self-conflict. Jika forecast melampaui window agreed, grading lead menambah approved capacity atau meminta perubahan tanggal publikasi; jangan menurunkan gate, mengisi nol otomatis, atau membiarkan grader melihat identitas/kamera.
Simpan calibration/golden dataset evidence, roster/assignment, timestamps/reviewer dan signed result handoff. Tidak menyebut “selesai 24 jam” sampai workload dan staffing membuktikannya.