Menghitung Tingkat Kepercayaan untuk Crowdsourced Count

Pada Pilpres 2014 yang lalu saya menjalankan inisiatif crowdsourced count melalui situs KawalSuara. Melalui web app tersebut, relawan dapat membantu proses penghitungan suara dengan memasukkan angka perolehan sesuai scan formulir C1 yang dipublikasikan oleh KPU.
 

Masalah utama bagi penghitungan suara berbasis gotong royong ini adalah tidak semua relawan dapat dipercaya 100%. Adanya oknum-oknum yang sengaja mengisi data yang salah ini perlu diantisipasi. Strategi utama yang saya adalah mengusahakan agar setiap TPS dientri oleh 2 atau lebih relawan. Agar sebuah data bisa dianggap terverifikasi, diperlukan dua entri dengan nilai yang sama. Strategi ini terbukti efektif di mana hasil penghitungan Kawal-Suara sangat mendekati rekapitulasi resmi.
 

Kekurangan dari strategi ini adalah entri data menjadi kurang efisien. Pada kasus Pilpres 2014, jumlah total entri data mencapai lebih dari 730,000. Seandainya semua kontribusi itu dianggap valid tentunya lebih dari cukup untuk entri data 478,000 TPS. Namun karena rata2 setiap TPS perlu lebih dari 2 kontribusi agar dianggap terverifikasi, maka perhitungan baru mencapai hampir 60% (286,000 TPS) artinya efisiensi hanya 39%.
 

Kekurangan lainnya adalah tidak adanya angka tingkat kepercayaan (confidence level) atas hasil penghitungan suara. Berbeda dengan metode Quick Count yang dapat mengklaim margin error sekian % dengan tingkat kepercayaan sekian %. Ide saya untuk memperbaiki keadaan ini adalah dengan menghitung tingkat kepercayaan (confidence level) dari para relawan dan tingkat kepercayaan dari hasil penghitungan.
 

Tingkat Kepercayaan dari Hasil Perhitungan

Kita mulai dengan tingkat kepercayaan untuk satu item yang dientri. Per scan C1 setidaknya ada beberapa item: Suara untuk kandidat 1, suara untuk kandidat 2, total suara, dan seterusnya. 
 

Definisi:

            P(R_i)    Probabilitas relawan R_i mengentri nilai yang benar.
                        Dengan kata lain P(R_i)  adalah tingkat kepercayaan dari relawan R_i.

            P(A)     Probabilitas item A telah dientri dengan nilai yang benar         

Jika sebuah item A hanya dientri oleh R_i, maka menghitung tingkat kepercayaan untuk item tersebut adalah suatu hal yang trivial:
            P(A) = P(R_i)                                                                             (i)

Jika dua orang mengentri nilai yang sama pada item I, maka P(A) dapat dihitung berdasarkan conditional probability.
 

Definisi:

P(B)     Probabilitas relawan R₁ & relawan R₂ mengentri nilai yang benar

P(S)     Probabilitas relawan R₁ & relawan R₂ mengentri nilai yang sama

P(B|S)  Probabilitas nilai yang benar telah dientri jika R₁ & R₂
                         mengentri nilai yang sama

P(S|B)  Probabilitas R₁ & R₂ mengentri nilai yang sama jika keduanya
                         mengentri nilai yang benar
                         P(S|B) = 1, karena hanya ada satu nilai yang benar.

Berdasarkan Bayes Theorem:

                                        (ii)

Definisi:

            P(R_ij)    Probabilitas relawan R_i mengentri nilai j

            P(S_j)     Probabilitas relawan R₁ & R₂ mengentri nilai j

            P(S_j)    = P(r_1j)P(R_2j)  

            S          = U S_j               // S adalah union S_j untuk semua j

karena Sj tidak beririsan satu sama lain (mutually exclusive), maka:

            P(S)     = P(U S_j)                       

                                                                             (iii)

Dengan asumsi probabilitas relawan R_i mengisi nilai yang salah adalah sama untuk semua nilai yang salah:

             P(R_ij)     =           jika j salah       

                           = P(R_i)               jika j benar

Maka:

 Dari hasil ini kita bisa melihat bahwa dengan P(R_i) yang relatif rendah pun (misal 0.5) untuk n = 100, P(A) akan melonjak menjadi 0.99 jika setidaknya 2 relawan mengisi nilai yang sama.
 

Meskipun tingkat kepercayaan untuk satu item dapat ditentukan, tidak serta-merta tingkat kepercayaan seluruh hasil perhitungan (rekapitulasi) dapat dengan mudah ditentukan, karena memang agak sulit untuk menentukan margin error nya (setidaknya sulit bagi saya). Maka untuk menilai hasil rekapitulasi, ukuran yang saya usulkan adalah rata-rata tingkat kepercayaan yang mudah dihitung.
 

Tingkat Kepercayaan dari Relawan

Pertanyaan selanjutnya adalah bagaimana menentukan tingkat kepercayaan dari setiap relawan. Untuk ini strategi yang saya usulkan adalah memberi nilai awal yang relatif rendah, misal 0.5. Kemudian setiap beberapa entri yang dilakukan oleh relawan tersebut, system akan memberikan sebuah tes “kejujuran”. Artinya scan C1yang ditampilkan adalah yang sudah diketahui/diverifikasi nilainya. Tingkat kepercayaan dari relawan dapat dihitung sebagai persentase entri yang benar dalam tes tersebut.
 

Tes kejujuran ini perlu dilakukan secara rutin dan acak,  misal sekali setiap 5 entri. Pada awalnya admin system perlu menyiapkan beberapa item scan C1 yang telah diverifikasi. Namun untuk selanjutnya item-item yang telah dihitung mempunya tingkat kepercayaan tinggi (misal > 95%) dapat digunakan sebagai bahan test. Rumus untuk menghitung tingkat kepercayaan relawan dapat disesuaikan agar memperhitungkan tingkat kepercayaan item yang tidak 100% ini.
 

Selain itu, perlu di beri limit maksimal atas tingkat kepercayaan relawan, misal 90%. Dengan tingkat kepercayaan 100%, entri dari relawan tersebut dianggap sebagai kebenaran absolut. Sesuatu yang sebaiknya dihindari, karena meskipun relawan yang bersangkutan memang benar-benar jujur, tidak tertutup kemungkinan ia salah mengetik.
 

Kelemahan

Formula tingkat kepercayaan untuk sebuah item data (vi), menjadi tidak valid jika asumsi yang digunakan (probabilitas seorang relawan mengentri nilai yang salah adalah sama untuk semua nilai yang salah) tidak valid. Salah satu kasus di mana asumsi ini menjadi tidak valid adalah jika dua relawan bersekongkol untuk mengisi angka salah yang sama pada sebuah item.

Strategi yang mungkin dilakukan untuk mengantisipasi hal ini:

• Scan C1 yang ditampilkan dipilih oleh system secara acak. Relawan tidak diperbolehkan memilih sendiri scan C1 yang akan dientri.
• Mewaspadai nilai tertentu yang tingkat kemunculannya jauh lebih sering dibandingkan nilai lainnya.

Kesimpulan

Dengan menerapkan perhitungan tingkat kepercayaan ini dalam proses crowdsourced count setidaknya ada dua keuntungan:

• Efisiensi proses crowdsourced count dapat ditingkatkan. Sebelumnya semua entri mendapat tingkat kepercayaan yang sama. Meskipun diketahui entri tersebut berasal dari relawan yang tidak terpercaya. Dengan teknik ini, satu entri dari relawan yang sangat terpercaya bisa dianggap lebih, well, terpercaya, daripada dua entri sama dari relawan dengan tingkat kepercayaan rendah. Dengan kata lain satu entri dari relawan yang terpercaya sudah cukup untuk mencapai tingkat kepercayaan tertentu pada sebuah item.
  Jadi efisiensi dapat ditingkatkan dari sebelumnya selalu < 0.5 (50%), menjadi mendekati (1 – 1/k) jika tes kejujuran dilakukan sekali setiap k entri.
• Dapat mengklaim sebuah angka sebagai Rata-Rata Tingkat Kepercayaan yang menjadi ukuran (measure) hasil perhitungan suara. Ukuran lain yang dapat digunakan oleh metode crowdsourced count adalah Completeness (menunjukkan persentase item yang telah di-entri).