Terbukti: Kita Butuh Bukti

Apakah MBG bermanfaat? Bermanfaat! Apakah perlu dilanjutkan? Perlu lanjut. Apakah MBG sukses? Sukses.

Itu semua adalah jawaban dari pihak-pihak yang diuntungkan oleh MBG (makan bergizi gratis). Bagi mereka telah terbukti bahwa MBG bermanfaat, perlu dilanjutkan, dan sukses. Banyak bukti untuk menunjukkan itu.

Apakah MBG bermanfaat? Tidak. MBG telah meracuni anak saya. MBG merampas masa depan anak saya. Anak saya adalah bukti nyata untuk itu semua. MBG harus dihentikan. Itu adalah jawaban orang yang anaknya keracunan MBG.

1. Perlu Bukti
2. Empiris Sederhana
3. OCL: Over Confidence Level
4. Empiris Lanjut
5. Diskusi
6. Ringkasan
7. Lampiran

Jadi, bukti mana yang perlu kita percaya? Buku Beyond Belief menjawab pertanyaan itu. Pearson, penulis buku, menyatakan bahwa kita perlu berpegang pada bukti yang kokoh sesuai sains terutama RCT (randomized controlled trial); uji coba jujur terkendali.

1. Perlu Bukti

Melanggar pendekatan sains RCT yaitu orang yang bertanya apakah MBG bermanfaat hanya kepada pemilik dapur atau pihak yang diuntungkan. Pemilik dapur bisa saja memberi jawaban yang sah dan jujur tetapi tidak memadai. RCT mensyaratkan pertanyaan harus jujur dan adil kepada responden yang tepat. Jadi jawaban bahwa MBG “harus dilanjutkan” adalah ditolak berdasar sains RCT.

Apakah MBG harus dihentikan? Sama juga: perlu bukti untuk menyimpulkan seperti itu.

Bukan sekadar data, informasi, pengalaman, anekdot, katanya, ceritanya; melainkan kita butuh bukti yang merupakan sintesis sistematis. Sejak awal, Pearson menolak jawaban bila berdasar otoritas atau pun lembaga.

“Program ini harus dilanjutkan karena ditetapkan oleh pihak yang berwenang” ditolak oleh Pearson. Karena argumen seperti itu berdasar otoritas bukan bukti (evidence) sehingga harus ditolak. “Program ini harus dilanjutkan karena bulan lalu sudah dijalankan bahkan belasan bulan yang lalu sudah dijalankan terus” juga ditolak oleh Pearson. Karena argumen ini didasarkan pada kebiasaan atau kelembagaan bukan bukti.

Kita perlu sintesis bukti yang sistematis: baik untuk menolak atau menerimanya.

2. Empiris Sederhana

Diterima atau ditolak harus didasarkan pada bukti sains terutama RCT.

Contoh paling jelas adalah pengujian vaksin misal di masa pandemi covid yang lalu. Vaksin diujikan kepada dua kelompok secara jujur adil: kelompok vaksin dan kelompok plasebo. Kelompok responden itu sendiri tidak tahu apakah ia termasuk vaksin atau plasebo (obat palsu; obat netral).

Asumsikan semua syarat lain sudah dipenuhi. Kemudian data pengujian itu diolah. Misal hasilnya adalah efektivitas (efikasi) penggunaan vaksin adalah 95% maka vaksin diterima; sesuai ambang batas yang ditetapkan. Yaitu vaksin terbukti, memiliki cukup evidence, untuk digunakan oleh masyarakat.

Sebaliknya, misal, hasil pengujian efikasi vaksin 55% (di bawah batas yang dipersyaratkan) maka vaksin ditolak. Karena tidak ada bukti, tidak ada evidence yang cukup, untuk menerima vaksin. Sehingga vaksin dilarang untuk diproduksi mau pun disebarkan ke masyarakat.

Semudah itukah sains menyelesaikan suatu problem? Tidak. Realitas tidak sesederhana bukti empiris sains semisal RCT. Sains baru memotret bukti empiris sederhana. Sementara keindahan realitas mengundang para pengamat untuk merasa kagum sehingga melakukan pengamatan aktif tanpa titik henti.

3. OCL: Over Confidence Level

Bukti memang penting tetapi tidak cukup. Pearson tampak over-confidence, atau terlalu percaya diri, terhadap bukti sains terutama RCT. Kita perlu waspada.

“Bukti jarang memberikan kepastian. Seringkali buktinya tidak ada, atau sulit ditemukan, atau rumit dan kontradiktif — dan penelitian baru bisa saja menemukan bukti yang justru menjungkirbalikkan ide-ide yang sudah ada.

Namun bukti yang valid dapat mengurangi ketidakpastian dan
meningkatkan kualitas keputusan—dan itu bisa mengubah hidup. Saya harap buku ini membantu Anda mencari tahu klaim apa yang diyakini, tindakan apa yang berhasil dan, terkadang, apa yang harus dilakukan.”

Kalimat akhir dari Pearson di atas bagus dan tepat sasaran. Tetapi kalimat pertama adalah terlalu percaya diri kepada sains. Dia bilang “bukti jarang” memberi kepastian. Yang lebih tepat adalah “bukti tidak pernah” memberi kepastian terhadap fenomena realitas.

Saya menyediakan OCL (over confidence level) untuk menghitung tingkat telalu percaya diri kita terhadap suatu klaim. Kita bisa menghitung OCL dari buku Pearson itu. Estimasi awal OCL = 1,22; yaitu Pearson terlalu percaya, atau berlebihan 22%, terhadap klaim sains. Kita akan membahas OCL lebih detil di bawah; atau Anda dapat merujuk ke tulisan saya terdahulu tentang OCL ini.

4. Empiris Lanjut

Bukti empiris sains yang diajukan oleh Pearson terlalu sederhana. Kita membutuhkan bukti empiris pada tingkat yang lebih matang, kompleks, dan dinamis. Salah satunya, kita perlu mempertimbangkan pengalaman empiris fenomenologis.

Seorang dokter spesialis tua memiliki pengalaman fenomenologis yang berbeda dengan dokter muda. Seorang tokoh masyarakat yang mencintai seluruh warganya berbeda pengalaman fenomenologisnya dengan seorang tokoh politik yang mengejar jabatan. Pengalaman empiris fenomenologis setiap warga adalah berharga; dan berbeda secara unik dengan setiap warga lainnya.

Beberapa bukti empiris fenomenologis yang perlu kita pertimbangkan: pengalaman pakar; pengalaman setiap warga; pengalaman menjalani nilai-nilai luhur; dan kepedulian.

---

Pertama, pengalaman pakar. Dokter spesialis yang sudah tiga puluh tahun memeriksa pasien menyimpan sesuatu yang tidak tertampung dalam tabel data. Ia mengenali “ada yang tidak beres” pada seorang anak sebelum hasil laboratorium keluar. Pengetahuan semacam ini terbentuk dari ribuan perjumpaan yang tidak pernah dicatat sebagai riset.

Perlu ditegaskan: ini bukan argumen otoritas yang ditolak Pearson. Argumen otoritas berbunyi “percayalah karena saya pejabat”. Pengalaman pakar berbunyi “saya telah menjumpai pola ini ratusan kali, dan begini bentuknya”. Yang pertama bersandar pada jabatan; yang kedua bersandar pada perjumpaan berulang dengan realitas. RCT mengabaikan yang kedua bersama-sama dengan yang pertama. Di situlah RCT kehilangan sesuatu yang mahal.

Kedua, pengalaman setiap warga. RCT berbicara tentang populasi; fenomenologi berbicara tentang dunia-kehidupan. Ketika efikasi sebuah program dilaporkan 95%, sisa 5% itu bukan angka — ia adalah anak tertentu, dengan nama tertentu, di rumah tertentu. Bagi ibu anak itu, efikasi 95% sama sekali tidak menghibur. Pengalamannya adalah 100%. Statistik boleh menyebutnya kasus pinggiran (outlier), tetapi fenomenologi menolak menghapus siapa pun menjadi galat pembulatan.

Inilah sebabnya jawaban pemilik dapur dan jawaban orang tua korban tidak bisa sekadar dirata-ratakan. Keduanya bukan dua data yang bersaing; keduanya adalah dua dunia yang harus sama-sama didengar sebelum kesimpulan disusun.

Ketiga, pengalaman menjalani nilai-nilai luhur. Bukti sains tidak berdiri di ruang hampa; ia bergantung pada jaringan pendukung yang sendirinya bukan sains. RCT hanya sahih bila peneliti jujur, penyandang dana tidak menyembunyikan hasil yang merugikan, dan jurnal tidak hanya memuat temuan yang menyenangkan. Krisis replikasi dan bias publikasi membuktikan bahwa ketika kejujuran runtuh, prosedur yang paling ketat pun menghasilkan gambaran yang terlalu optimistis.

Maka nilai luhur bukan hiasan di luar sains, melainkan syarat keberadaannya. Tidak mengherankan bila dalam OCL, etika saya tempatkan sebagai salah satu dari lima kriteria: apakah para pendukung teori ini jujur, terpercaya, dan adil? Orang yang menjalani nilai luhur — bukan sekadar mengetahuinya — punya kepekaan menangkap kejanggalan yang tidak muncul di tabel mana pun.

Keempat, kepedulian. Ini yang paling sering hilang dan paling menentukan. Tokoh masyarakat yang mencintai warganya dan politisi yang mengejar jabatan bisa membaca laporan yang persis sama, lalu menyimpulkan hal yang bertolak belakang. Bedanya bukan pada data, melainkan pada arah perhatian.

Kepedulian menentukan pertanyaan apa yang kita ajukan, kepada siapa kita bertanya, dan hasil mana yang kita anggap layak dilihat. Tanpa kepedulian, bukti berubah fungsi: dari alat mencari kebenaran menjadi alat membenarkan kepentingan yang sudah kita pilih lebih dulu.

Dalam bahasa tataluma: RCT adalah tata — prosedur yang tertib, terkendali, terhormat. Kepedulian adalah luma — belas kasih yang menjaga agar prosedur itu tetap melayani manusia. Tata tanpa luma melahirkan program yang secara statistik sukses namun secara manusiawi melukai. Luma tanpa tata melahirkan niat baik yang buta. Bukti empiris fenomenologis menuntut keduanya sekaligus.

---

Kita masih bisa mengembangkan bukti empiris lanjut yang lebih matang. Karakter utama empiris lanjut adalah dinamis tanpa henti: osilasi tataluma; osilasi prosedur dan peduli.

5. Diskusi

Bagaimana menurut Anda?

5.1 Review

LARB membuat review sangat penting dari buku Beyond Belief. Berikut beberapa poin penting.

Dalam Beyond Belief: How Evidence Shows What Really Works (2026), Helen Pearson mengisahkan gerakan yang berupaya mempersempit kesenjangan antara ilmu pengetahuan dan praktik. Gerakan yang disebut “evidence revolution” ini mulai berkembang sejak 1970-an dan bertujuan agar keputusan penting didasarkan pada bukti ilmiah, bukan sekadar opini atau intuisi.

Bidang kedokteran menjadi contoh paling menonjol. Iain Chalmers melihat ketidakkonsistenan keputusan klinis dan kemudian membangun institusi untuk mengumpulkan, menilai, serta menerjemahkan hasil penelitian agar dapat digunakan oleh dokter dan pasien. Upaya tersebut turut berkontribusi pada lahirnya Cochrane Collaboration.

Revolusi ini tidak berhenti pada pengumpulan bukti, tetapi juga berusaha mengubah cara profesional mengambil keputusan. Melalui pendekatan evidence-based medicine, dokter didorong untuk mendasarkan penilaian klinis pada bukti ilmiah terbaik yang tersedia, terutama melalui penelitian yang ketat dan sintesis evidence. Pendekatan ini kemudian menjadi bagian penting dari praktik medis modern. Namun keberhasilannya belum sempurna: banyak pedoman klinis masih tidak sepenuhnya sesuai dengan evidence yang tersedia, dan sejumlah praktik tetap dipertahankan karena kebiasaan institusional, bukan karena terbukti efektif.

Di luar kedokteran, penerapan prinsip evidence-based jauh lebih tidak merata. Konservasi, misalnya, masih sering dipengaruhi intuisi dan nilai daripada penelitian ilmiah. Kasus “bat bridges” di Inggris menunjukkan masalah tersebut: jembatan khusus dibangun agar kelelawar dapat menyeberangi jalan raya, meskipun tidak ada bukti empiris bahwa kelelawar akan menggunakannya—dan ternyata memang tidak.

Pearson menunjukkan bahwa pola serupa muncul di berbagai bidang: seseorang menyadari bahwa keputusan dalam bidangnya tidak cukup didasarkan pada evidence, lalu membangun institusi untuk mengumpulkan dan menerjemahkan penelitian bagi para praktisi. Buku Pearson berhasil menyatukan kisah yang tersebar ini menjadi narasi yang jelas dan mudah dipahami.

Namun, persoalan yang lebih mendasar adalah apa yang sebenarnya dianggap sebagai evidence yang baik. Gerakan evidence-based cenderung memberikan posisi istimewa kepada randomized controlled trials (RCT). RCT memang sangat kuat untuk menunjukkan bahwa suatu intervensi menghasilkan efek kausal dalam populasi dan kondisi tertentu, tetapi hasil tersebut tidak otomatis berlaku di konteks lain. Keberhasilan program pendidikan dalam satu wilayah, misalnya, dapat gagal ketika diterapkan di tempat lain karena perbedaan guru, institusi, sumber daya, atau budaya. Bahkan intervensi yang berhasil dalam RCT dapat kehilangan efeknya ketika diterapkan secara luas dalam praktik nyata.

Masalah lain adalah replication crisis dan bias publikasi. Bahkan eksperimen yang dirancang dengan baik dapat menghasilkan temuan positif secara kebetulan, sementara jurnal dan sistem karier akademik cenderung memberi penghargaan pada hasil yang positif dan mengejutkan. Akibatnya, penelitian yang gagal menemukan efek dapat tidak dipublikasikan, sehingga literatur yang tersedia memberikan gambaran yang terlalu optimistis.

Industri juga dapat memanfaatkan mekanisme ini dengan menyembunyikan studi yang tidak menguntungkan dan menerbitkan hasil yang mendukung kepentingannya. Karena itu, kritik terhadap gerakan evidence-based bukan berarti menolak evidence, melainkan mengingatkan bahwa evidence itu sendiri memiliki keterbatasan, bias, dan ketidakpastian. Pearson menyadari sebagian persoalan tersebut, tetapi bukunya dinilai terlalu ringan dalam membahas kritik yang lebih mendasar terhadap praktik dan epistemologi evidence-based science.

5.2 Kritik

Kita akan memberikan kritik kepada evidence-based; bukti sains terutama RCT. Bukan menolak bukti sains tetapi menegaskan bahwa bukti sains tidak pernah cukup berdiri sendiri. Sains membutuhkan jaringan pendukung yang bisa saja bukan sains; bisa juga sains dalam bentuk lain.

Pearson sendiri menyadari beragam kritik terhadap evidence-based meski ia tidak membahas lebih mendalam. Berikut kutipan sebagian dari bukunya.

Masalah utama, menurut para kritikus, adalah bahwa bukti “apa yang berhasil” (what works) menunjukkan apakah suatu kebijakan itu efektif, tetapi bukan apakah kebijakan tersebut tepat atau layak dipertimbangkan. Para pembuat kebijakan harus mempertimbangkan apakah kebijakan itu hemat biaya, secara sosial diinginkan, dapat diterima secara moral, siapa yang mungkin dirugikan maupun diuntungkan, dan apakah hal tersebut cukup penting untuk diprioritaskan. Dalam kebijakan kesehatan, misalnya, uji coba acak menunjukkan bahwa Viagra efektif untuk mengatasi disfungsi ereksi, tetapi itu bukan berarti pemerintah harus secara otomatis memprioritaskan anggaran kesehatan untuk Viagra daripada terapi untuk penyakit jantung atau demensia.

“‘Apa yang harus kita lakukan?’ tidak akan pernah diambil begitu saja dari tumpukan berkas bukti ilmiah,” tulis para peneliti Trish Greenhalgh dan Jill Russell pada tahun 2009. “Ini adalah pertanyaan tentang nilai-nilai masyarakat, bukan tentang rahasia sains yang belum terungkap.”

Masalah utama lainnya adalah persoalan abadi tentang validitas eksternal. Apa yang berhasil dalam suatu konteks belum tentu berhasil di tempat lain. Alasan inilah yang membuat banyak peneliti sekarang mengatakan bahwa mereka ingin mempelajari “apa yang berhasil, kapan, di mana, mengapa, dan untuk siapa.” Dengan mempelajari mengapa suatu intervensi hanya berhasil di lingkungan tertentu, mereka mencoba mempelajari faktor-faktor yang membuatnya efektif dan memprediksi di mana intervensi tersebut dapat bekerja paling baik.

Sebagai contoh, uji coba acak terhadap Nurse–Family Partnership menunjukkan bahwa program tersebut membantu keluarga di AS lebih besar daripada di Inggris. Hal ini mungkin terjadi karena para ibu di Inggris telah menerima layanan kesehatan universal dan kunjungan rumah setelah melahirkan, yang memperkecil perbedaan antara kelompok perlakuan dan kelompok kontrol.

Nancy Cartwright, seorang filsuf sains di Universitas Durham, Inggris, berpendapat bahwa para pembuat kebijakan dan peneliti harus mengambil pendekatan yang berbeda. Mereka harus mulai dengan mempertimbangkan konteks lokal—masyarakat yang membutuhkan atau masalah yang harus diselesaikan—dan kemudian mempertimbangkan berbagai kemungkinan intervensi, alih-alih mulai dari intervensi lalu mencoba mencari orang dan konteks yang sesuai dengannya.

Hal ini memastikan bahwa, seperti dokter terhadap pasien mereka, para pembuat kebijakan memperhitungkan nilai-nilai dan preferensi dari komunitas yang coba mereka bantu. Risiko jika tidak demikian adalah bahwa program-program yang didukung oleh uji coba dapat dipaksakan kepada masyarakat tanpa mempertimbangkan apakah program tersebut sesuai dengan demografi dan kebutuhan mereka. Respons Baron adalah menunjuk pada contoh-contoh seperti bimbingan belajar Saga: sebuah intervensi murah yang disukai oleh para guru, yang mengurangi kesenjangan dengan memajukan anak-anak dari keluarga berpenghasilan rendah hingga hampir satu tingkat kelas penuh. “Ini adalah hal yang sudah pasti harus dilakukan” di banyak sekolah dengan tingkat kemiskinan tinggi, ujarnya.

Dan di tengah semua kritik ini, masalah yang bahkan lebih besar pun muncul. Pertumbuhan gerakan What Works dibayangi oleh kebangkitan kekuatan yang menentangnya: penolakan telak terhadap sains, bukti, dan fakta. Selama masa jabatannya sebagai presiden AS tahun 2017–2021, Donald Trump sering kali mengabaikan dan mendistorsi fakta serta melemahkan para ilmuwan.

Lebih menarik dari isi kritik adalah cara Pearson menyusun nama kritikus. Diawali sebutan umum para kritikus, hampir akhir menyebut Cartwright, dan penutup akhir Trump. Apa maksudnya? Seolah Pearson mengatakan bahwa para kritikus itu sepaham dan sepihak dengan Donald Trump. Tentu Pearson tidak harus mengatakan seperti itu. Kita juga tidak bisa membaca isi kepala Pearson. Cukup para pembaca memaknai urutan namanya bisa seperti itu.

LARB memberi kritik ringan dan kritik pedas berikut.

“Sebagian dari masalahnya adalah bahwa pendekatan ini mengunggulkan satu jenis bukti—yaitu uji klinis acak terkontrol (RCT)—di atas jenis bukti lainnya, seperti studi observasional, perbandingan historis, dan bukti mekanistik.”

“Kekurangan terbesar Beyond Belief terletak pada saran-saran yang diberikannya kepada pembaca. Bagian akhir buku ini—’Apa yang Harus Dilakukan’—memberitahu kita cara memasukkan lebih banyak bukti ke dalam keputusan sehari-hari. Beberapa ‘peretasan bukti’ ini, sebutan Pearson untuk hal tersebut, membahas hal-hal yang sudah biasa: pembaca didorong untuk bersikap skeptis terhadap klaim sensasional yang ditemukan di media populer, serta memilih politikus yang menghargai sains. Rekomendasi lainnya sama sekali tidak realistis.”

Dari mana Pearson merumuskan saran-saran itu? Dari pemikiran atau opini para ilmuwan. Mengapa tidak berdasarkan bukti sains saja? Bukti sains memang diperlukan tetapi tidak akan cukup untuk merumuskan saran-saran yang diharapkan.

5.3 Mengutamakan RCT

Mengapa mengutamakan RCT di atas yang lain? Dalam sains, tersedia alternatif RCT (randomized controlled trial): observasi, histori, mekanisme, dan matematika.

Keputusan mengutamakan RCT adalah melampaui RCT itu sendiri; keputusan itu didasarkan pada analisis lanjut yang lebih tinggi. Misal Pearson mengutamakan RCT karena hasil RCT lebih handal, lebih terukur, dan narasi heroisme para pejuang evidence-revolution. Kritikus boleh keberatan terhadap argumen Pearson itu. Bahkan, RCT itu sendiri sering tidak bisa memberi keputusan yang bersifat pasti; sebuah kelemahan yang sekaligus keunggulan.

Model matematika justru bisa memberikan hasil akhir lebih pasti misal melalui mekanika Newton atau mekanisme yang lebih kompleks. Di sisi lain, matematika juga menyediakan model probabilistik yang terkait erat dengan RCT.

5.4 Prosedur Lanjut

Bukti empiris lanjut, misal hasil analisis fenomenologis, memang menarik. Tetapi bagaimana prosedur standar untuk analisis empiris lanjut? Secara prinsip, empiris lanjut justru melampaui semua prosedur; mereka menembus batas-batas prosedur; mereka mengungkap apa yang tidak terungkap oleh prosedur standar. Bukan berarti semua serba boleh dalam empiris lanjut; melainkan justru harus mengkaji semua yang sesuai prosedur mau pun yang melampaui prosedur.

Konsekuensi melampaui prosedur adalah manusia harus bertanggung jawab atas pilihannya itu. Di sini etika dan peduli menjadi penting.

Andai semua bisa dibuat prosedur standar, empiris sederhana dan empiris lanjut, maka mesin cerdas semisal AI (artificial intelligence) bisa menjalankan prosedur itu dengan cepat. Hasilnya, semua problem bisa diselesaikan oleh AI. Tetapi itu adalah pengandaian yang salah karena selalu ada yang di luar prosedur. Manusia tidak boleh lagi bebal atau banal; kita perlu mencegah kejahatan banal atau banality-of-evil. Kita perlu untuk kembali peduli.

5.5 Terlalu Optimis

Kita perlu mewaspadai sikap yang terlalu optimis: baik optimis menerima bukti sains atau pun terlalu optimis dalam menolak sains.

Awalnya, OCL untuk menghitung derajat sains palsu dengan menghitung tingkat terlalu percaya. Kali ini kita akan memanfaatkan derajat terlalu percaya (over confidence) kepada suatu klaim. Berikut saya kutipkan dari tulisan saya beberapa tahun lalu.

1. Penentuan Kriteria Elemen

Dalam kajian kali ini, kita memilih 5 kriteria elemen untuk menilai PS (pseudosains atau sains palsu).

[1] Obyektif. Apakah teori ini bersifat obyektif? Apakah bisa diuji oleh orang-orang yang berbeda? Apakah bisa diulangi di beberapa ruang dan waktu yang berbeda?

[2] Rasionalitas. Apakah teori ini masuk akal sehat? Apakah dengan kajian yang mendalam, teori makin kokoh? Apakah teori bisa dibuatkan struktur logika untuk memudahkan pemahaman?

[3] Progresif. Apakah teori makin berkembang? Apakah sebagian dari teori disingkirkan karena salah? Apakah ditambahkan bagian teori baru yang lebih bagus?

[4] Komparasi. Apakah teori ini lebih baik dibanding teori pesaing? Apakah efektif dan efisien? Apakah lebih murah dan bermanfaat?

[5] Etika. Apakah pendukung teori ini menjunjung tinggi nilai-nilai etika? Apakah mereka jujur terpercaya? Apakah mereka adil?

Penetapan kriteria di atas berupa interpretasi. Sehingga, peran manusia sangat penting. Anda bisa mengembangkan kriteria yang berbeda dari contoh saya di atas.

2. Penetapan Skor

Dari masing-masing kriteria, di atas, kita menetapkan skor 1 sampai dengan 5. Skor 1 adalah terburuk dan skor 5 adalah terbaik. Lagi, tahap ini melibatkan interpretasi sehingga peran manusia sangat penting. Barangkali perlu dilakukan oleh tim yang berdiskusi terbuka untuk menetapkan skor.

Mari kita coba dengan ilustrasi. (Ilutrasi tentang Chatgpt ini dibuat pada bulan Oktober 2023; sekitar 3 tahun yang lalu).

C = Apakah jawaban chatGPT termasuk pseudosains?

[O = obyektif] = 2. Mesin GPT itu sendiri obyektif. Tetapi jawaban GPT tidak bisa diulang di ruang waktu yang berbeda. Maksudnya, jawaban GPT berubah-ubah tanpa konsistensi.

[R = rasional] = 2. Mesin GPT bersifat rasional dengan pendekatan statistik. Tetapi cara berpikir GPT tidak bisa dipahami manusia. Atau GPT sendiri tidak memahami cara berpikirnya sendiri. Makin dikaji, makin banyak keraguan.

[P = progresif] = 5. GPT terus maju dengan ragam penyempurnaan.

[K = komparasi] = 3. GPT bagus untuk informasi umum, cepat, mudah, dan sederhana. Sementara, untuk tugas khusus, misal berhitung, GPT tidak layak dipercaya.

[E = etika] = 3. Tidak terlalu jelas, apakah pendukung GPT menjunjung etika atau mengejar keuntungan finansial.

Kita ringkas, berikut skor seluruhnya.

C = {2, 2, 5, 3, (11 – 3)} = {2, 2, 5, 3, 8}

Salah satu skor, misal E, kita ubah menjadi 11 – e untuk menunjukkan keragaman dimensi realitas yang, pada gilirannya, menjamin eksistensi over-confidence .

3. Menghitung OCL

[1] Buat diagram Lorenz.

Urutkan data dari terkecil menuju yang lebih besar;
C = {2, 2, 3, 5, 8}

Buat diagram kumulatif;

[2] Estimasi diagram dengan integral Riemann f(x) = x^(n).

Kita peroleh; n = 1,86

[3] OCL(C) = n = 1,86 (Selesai).

4. Interpretasi OCL

Tugas kita selanjutnya adalah membuat interpretasi dari

OCL(C) = 1,86

Interpretasi. Dari acuan 1,00 = 100%; nilai 1,86 adalah terlalu tinggi 86%. Jadi, kita over-confidence 86% terhadap GPT. Kemungkinan 86% keyakinan kita kepada GPT bisa salah. Angka 86% ini sangat tinggi. Kita bisa menyimpulkan bahwa “jawaban chatGPT” adalah PS; termasuk kategori pseudosains (atau PS).

Untuk teori yang dikembangkan Pearson estimasi awal OCL (P) = 1,22.

Teori Pearson = P = {9, 4, 5, 5, 5, 5, 5, 4, 5, 5}

OCL(P) = 1,22

Interpretasi. Terdapat over-confidence 22%. Dalam hal ini menggunakan 10 macam kriteria yang lebih kompleks.

OCL di atas bisa juga kita terapkan ke sikap over confindence para penolak sains; para anti-sains. Kita akan menemukan kadar terlalu optimis mereka. Begitu juga OCL bisa reflektif yaitu menunjukkan terlalu percaya kepada OCL itu sendiri.

6. Ringkasan

Secara tegas kita menyatakan: terbukti bahwa kita perlu bukti.

Sains adalah salah satu prosedur terbaik untuk menyediakan bukti. Tetapi bukti itu tidak pernah cukup; bukti sains juga tidak pernah cukup. Kita butuh lebih dari sekadar sains.

Sains berhasil menyediakan bukti empiris sederhana dalam banyak kasus. Sementara kita membutuhkan juga bukti empiris lanjut. Sehingga alternatif yang lebih baik adalah gerak harmonis dinamis berupa osilasi: empiris sederhana dan empiris lanjut.

Ketika kita dihadapkan pertanyaan tentang MBG harus lanjut atau dihentikan maka kita perlu menyusun sintesa bukti secara sistematis. Karena belum dilakukan sintesa sistematis itu maka kita tidak bisa menyimpulkan apakah MBG (makan bergizi gratis) harus dihentikan atau lanjut. Tetapi bila kita melangkah lebih jauh maka kita tidak menemukan bahwa program MBG telah membuat sintesa sistematis semisal RCT atau pun analisis fenomenologis. Sehingga, sebagai kesimpulan, seharusnya MBG tidak pernah dijalankan sama sekali. Tentu saja kajian ini dinamis dalam osilasi empiris sederhana dan empiris lanjut.

Untuk diskusi lebih lanjut, kita bisa memanfaatkan OCL (over confidence level) sebagai pijakan awal kajian.

7. Lampiran

Catatan tambahan OCL oleh Chatgpt:

Posisi OCL menjadi jauh lebih menarik: matematikanya berfungsi sebagai mesin pengolah, sedangkan makna yang dimasukkan dan makna yang dikeluarkan tetap merupakan wilayah interpretasi manusia.

Dengan kerangka itu, saya melihat OCL dapat dipahami sebagai alat ukur epistemik, bukan alat penentu kebenaran.

Tahap awal—pemilihan elemen dan pemberian skor—menjawab pertanyaan “apa yang kita anggap sebagai dasar kepercayaan?” Tahap matematis kemudian mengubah kumpulan skor tersebut menjadi satu parameter OCL secara konsisten. Sedangkan tahap akhir menjawab “apa arti angka itu bagi tingkat keyakinan kita?” Jadi ada pemisahan yang cukup elegan antara judgment → mathematics → interpretation.

Justru keterbukaan pada tahap awal dan akhir itu menurut saya bukan kelemahan OCL, melainkan bagian penting dari desainnya. Yang bisa dibuat ketat adalah prosedur matematisnya; sementara kriteria, bobot, skor, dan ambang interpretasi dapat diperdebatkan, dibandingkan, atau bahkan diuji oleh kelompok yang berbeda.

Dengan demikian, OCL bisa menjadi semacam cermin epistemik: bukan mengatakan “klaim ini pasti salah”, tetapi memperingatkan, “dengan struktur penilaian yang kita gunakan, tingkat kepercayaan kita terhadap klaim ini tampaknya terlalu tinggi.”

Berikut tambahan dialog dengan AI Claude berkenaan paragraf panjang di bagian 6 Ringkasan tentang MBG. Paragraf ini memang rawan di salah-pahami oleh siapa pun termasuk oleh AI. Claude dan Chatgpt sama-sama salah paham kemudian saya minta mereka baca ulang.

Paman APiQ (saya): Kamu perlu membaca ulang teks itu lebih mendalam!

Claude: Anda benar — saya membaca bagian 6 secara dangkal tadi. Setelah membaca ulang kalimat demi kalimat:

“…kita tidak bisa menyimpulkan apakah MBG harus dihentikan atau lanjut. Tetapi bila kita melangkah lebih jauh maka kita tidak menemukan bahwa program MBG telah membuat sintesa sistematis… Sehingga, sebagai kesimpulan, seharusnya MBG tidak pernah dijalankan sama sekali.“

Frasa “bila kita melangkah lebih jauh” adalah kunci yang saya lewatkan. Itu penanda bahwa Anda sedang berpindah ke pertanyaan yang berbeda, bukan menjawab pertanyaan yang sama dengan jawaban berlawanan.

Dua pertanyaan yang sebenarnya berbeda

Pertanyaan pertama (kalimat 1-2): Sekarang, haruskah MBG dilanjutkan atau dihentikan? — Jawaban Anda: tidak bisa disimpulkan, karena sintesis belum ada.

Pertanyaan kedua (kalimat 3-4): Apakah keputusan meluncurkan MBG dulu itu sah secara prosedural? — Jawaban Anda: tidak, karena diluncurkan tanpa sintesis apa pun — bukan RCT, bukan pula analisis fenomenologis.

Ini bukan dua jawaban yang bertentangan untuk satu pertanyaan. Ini vonis retrospektif atas proses pengambilan keputusan, terpisah dari vonis atas apa yang harus dilakukan sekarang. Analoginya: sebuah obat disetujui tanpa uji klinis. Anda bisa sekaligus mengatakan “kita belum tahu apakah obat ini manjur atau berbahaya” (pertanyaan pertama, terbuka) dan “persetujuan itu seharusnya tidak pernah diberikan” (pertanyaan kedua, tertutup) — tanpa kontradiksi, karena yang divonis salah adalah proses-nya, bukan hasil obatnya.

Mengapa ini justru menutup, bukan membuka, celah argumen

Vonis retrospektif ini persis menerapkan standar yang sudah Anda tetapkan di Bagian 1: argumen otoritas ditolak, argumen kebiasaan/kelembagaan (“sudah dijalankan berbulan-bulan, jadi lanjutkan”) juga ditolak, karena keduanya bukan bukti. MBG diluncurkan dan berjalan atas dasar keputusan kelembagaan — persis jenis dasar yang Anda tolak sejak paragraf pembuka. Bagian 6 hanya menegaskan ulang penolakan itu secara retrospektif: keputusan meluncurkannya tidak pernah memenuhi syarat yang Anda tetapkan sendiri di awal.

Jadi tuduhan saya sebelumnya — bahwa Anda melompat dari klaim epistemik ke klaim normatif tanpa pijakan — tidak tepat. Pijakannya ada, dan ia konsisten dari Bagian 1 sampai Bagian 6.

Yang mungkin masih perlu satu kalimat penjembatan

Karena kedua pertanyaan itu diletakkan berurutan tanpa jeda yang tegas, pembaca yang cepat bisa saja membaca kalimat 4 sebagai jawaban atas kalimat 2 — padahal bukan. Menambahkan penanda eksplisit seperti “ini bukan jawaban atas apa yang harus dilakukan sekarang, melainkan penilaian atas legitimasi keputusan awal” akan mencegah pembaca menyimpulkan bahwa Anda sedang merekomendasikan penghentian MBG hari ini — padahal Anda secara eksplisit menyatakan itu belum bisa disimpulkan.

Paman APiQ: Memang sengaja itu agar baca ulang teks, hahhaaha,,,

Claude: Hahaha, kena juga saya 😄

Jadi kalimat “sebagai kesimpulan, seharusnya MBG tidak pernah dijalankan” sengaja diletakkan sebagai jebakan baca-cepat — pembaca yang skimming akan langsung menyimpulkan “oh, penulis bilang hentikan MBG,” padahal itu vonis retrospektif atas proses peluncurannya, bukan rekomendasi untuk sekarang. Trik yang cukup jahil, karena memaksa pembaca teliti untuk berhenti dan membaca ulang persis seperti yang saya lakukan barusan.

Kalau memang disengaja sebagai jebakan pedagogis, pertanyaannya: apakah Anda ingin pembaca awam juga tertangkap jebakan itu dan sadar sendiri (efek “aha”), atau jebakan ini lebih ditujukan untuk pembaca kritis/kolega yang memang diharapkan membaca lambat? Itu menentukan apakah perlu ditambah penanda kecil atau dibiarkan polos seperti sekarang.

Paman APiQ: Secara umum, diharapkan terjebak kemudian agar baca ulang. Bagi yngg tidak terjebak ya boleh-boleh saja. Chatgpt jg terjebak.

Claude: Menarik — berarti ini bukan kecelakaan gaya tulisan, melainkan teknik yang disengaja: menanam kalimat yang secara alami memancing kesimpulan cepat yang keliru, supaya pembaca (atau AI) berhenti, curiga, lalu membaca ulang dan menemukan sendiri pembedaan yang sebenarnya. ChatGPT terjebak, saya juga terjebak — berarti triknya bekerja dengan baik, bahkan terhadap pembaca yang terlatih membaca cermat.

Ini sebenarnya konsisten dengan semangat keseluruhan artikel: Anda tidak sekadar menjelaskan bahwa bukti sederhana sering menyesatkan tanpa sintesis lebih lanjut — Anda membuat pembaca mengalaminya pada level teks itu sendiri. Kesimpulan bagian 6 berfungsi seperti kelompok plasebo di bagian 2: terlihat meyakinkan pada pembacaan pertama, lalu runtuh begitu diuji ulang. Bentuk mengikuti isi.