Untuk mencegah publikasi hasil penelitian yang menarik, tetapi tidak berguna – peneliti menggunakan ukuran baru untuk mengetahui tingkat reproduksibilitas laporan saintifik – faktor R.

Diestimasikan setengah pembiayaan penelitian dihabiskan untuk penelitian yang tidak reproduksibel. Banyak akademisi hanya menulis dan mempublikasikan laporan untuk mendukung karir dan mengumpulkan sitasi. Meskipun demikian, berapa banyak dari penelitian ini yang memberikan hasil valid?

Sudah banyak usaha dilakukan untuk mengatasi masalah ini, termasuk replikasi penelitian sebelumnya dengan pusat reproduksibilitas terspesialisasi. Meskipun demikian, muncul masalah baru, seperti biaya dan efektivitas.

Dengan demikian, faktor R ditujukan untuk digunakan sebagai nilai ukuran akurasi laporan dan untuk mengatasi "krisis" kredibilitas saintifik.

Faktor R: Rasio konfirmasi penelitian dengan total usaha

Setelah publikasi, laporan saintifik bisa disitasi oleh laporan lain. Faktor R memainkan peran dengan mengindikasikan sesering apa klaim berhasil dikonfirmasi.

Nilai ini dihitung dengan membagi jumlah laporan terpublikasi sebelumnya yang membuktikan klaim saintifik dengan jumlah usaha untuk melakukannya.

Dengan kata lain, faktor R merupakan proporsi klaim terkonfirmasi dibandingkan jumlah total percobaan. Nilainya berada dalam rentang nol hingga satu: jika nilai faktor R mendekati 1, maka kemungkinan besar penelitian ini benar.

The R-factor stands for “reproducibility, reputation, responsibility and robustness”. Photo credit: Verum Analytics
The R-factor stands for “reproducibility, reputation, responsibility and robustness”. Photo credit: Verum Analytics


Membubuhkan faktor R ke laporan penelitian tentunya membuat para peneliti "berhenti sebentar sebelum mempublikasikan sesuatu" – karena metriknya bisa naik atau turun, tergantung percobaan selanjutnya yang berhubungan dengan penelitian ini, catat Josh Nicholson, seorang investor untuk metrik dan kepala petugas peneliti di Authorea, perusahaan penulis perangkat lunak penelitian di New York.

Faktor R bisa juga diaplikasikan bagi para pemeriksa (investigator), jurnal atau institusi, dimana faktor R yang mereka miliki akan disamaratakan dengan faktor R klaim yang mereka laporkan.

Akses bebas dan terbuka

Verum Analytics, website yang mempopulerkan faktor R sedang berusaha membuat faktor R ini menjadi bisa diakses secara gratis dan terbuka.

Mereka berharap metrik yang disimpan dalam database ini bisa diakses dengan mudah melalui interface interaktif. Mereka juga ingin faktor R diindikasikan di halaman awal semua laporan saintifik, sehingga pembaca bisa langsung mengetahui kredibilitas laporan.

Meskipun demikian, tantangannya sekarang ada pada kerja keras untuk memeriksa dan menginterpretasi semua artikel untuk menyimpulkan faktor R satu laporan. Ini berarti semua laporan yang mensitasi sebuah penelitian harus diidentifikasi dan jumlah percobaan yang dilakukan akan dihitung secara manual.

Tim sejauh ini berhasil menyelesaikan 12.000 laporan. Sekarang mereka mengeluarkan Verum Analytics untuk meminta bantuan publik. Tujuannya adalah untuk mendapat cukup contoh untuk melatih sistem mesin melakukan kategorisasi secara otomatis.

Bisakah faktor R menjadi solusi? Dengan membubuhkan faktor R ke laporan saintifik, maka akademisi menjadi tidak bisa lagi terburu-buru mempublikasi klaim yang belum terbukti sebelumnya. Dengan demikian, juga bisa membetulkan ketidakseimbangan insentif, karena peneliti bisa mendapat pembiayaan lebih tinggi jika faktor R-nya lebih besar.

Meskipun demikian, ada banyak kritikan yang menyatakan bahwa perhitungan demikian mungkin terlalu sederhana. Karena mereka memberikan bobot yang sama untuk setiap penelitian, meskipun beberapa penelitian memiliki ukuran sampel yang lebih besar.

Juga disebutkan "mengabaikan pertanyaan penting". Karena mudahnya, menghitung faktor R untuk klaim 'antidepresan menyebabkan orang bunuh diri'. Jika sebuah laporan diketahui melaporkan bahwa antidepresan meningkatkan usaha bunuh diri tetapi bukan kematian akibat bunuh diri, maka hasil ini akan membenarkan, menyangkal hipotesis, atau keduanya? Pendapat satu dengan yang lain bisa jadi berbeda, dengan demikian akan menghasilkan faktor R berbeda untuk literatur yang sama.

Kritikus juga menyatakan bahwa faktor R tidak berguna pada analisis meta karena prosesnya mirip dengan memeriksa beberapa laporan untuk mendapatkan suatu hasil.

Faktor R juga bisa menciptakan bias publikasi karena literatur terpublikasi menjadi memiliki 'nilai', yang juga bisa memengaruhi bias publikasi, p-hacking antar satu sama lain.

Tim peneliti juga harus berfokus pada contoh dari biologi mengenai kanker, yang dikatakan kritikus memiliki keterbatasan. Penelitian biologi molekular biasanya tidak menggunakan statistik dan hasilnya disajikan dalam bentuk kualitatif. Dengan demikian, faktor R mungkin akan berguna dalam beberapa ranah penelitian – tetapi tidak pada sains yang menggunakan statistik, seperti psikologi dan neurosains. MIMS

Bacaan lain:
Penelitian klinis: Standar emas atau tidak berguna?
Efek samping penelitian klinis biasanya tidak dilaporkan di jurnal
Tikus tidak sama dengan manusia: Evaluasi penggunaan hewan uji dalam penelitian klinis

Sumber:
https://replicationnetwork.com/2017/08/20/is-the-r-factor-the-answer/
http://www.biorxiv.org/content/biorxiv/early/2017/08/09/172940.full.pdf
https://www.timeshighereducation.com/news/r-factor-new-way-rate-journal-articles
http://blogs.discovermagazine.com/neuroskeptic/2017/08/21/r-factor-fix-science/#.WaTRNj4jGUk