Senarai semakan saya rakan sebaya saya

Sudah lebih kurang sebulan sejak saya telah menyiarkannya di sini. Mengapa? Saya telah membaca bukannya menulis. Saya telah mengkaji semula kertas SIGCSE, kertas ICSE, Transaksi IEEE mengenai kertas Kejuruteraan Perisian, Transaksi ACM mengenai Kertas Pendidikan Pengkomputeran. Saya telah menyunting 7 penyerahan kedoktoran pelajar saya yang hebat. Saya telah membimbing dua penyelidik penyelidikan siswazah NSF pelajar dan satu lagi aplikasi siswazah sarjana muda. Dan saya telah membaca sebilangan besar pencalonan CRA Outstanding Graduate.

Sekarang, sesetengah orang tidak suka meninjau. Saya kebetulan menyukainya, terutamanya kajian rakan! Saya (kadang-kadang) belajar tentang idea-idea baru, saya membantu komuniti akademik saya meningkatkan biasiswa itu, dan saya dapat menyelesaikan teka-teki jenis yang sangat spesifik: apa yang boleh saya katakan dalam 500-1000 perkataan yang akan mengubah perspektif penulis pada karya mereka sendiri? Guru dalam saya menikmati peluang untuk cuba membuat kesimpulan dari seseorang menulis bagaimana mereka berfikir, dan kemudian mencari kata-kata yang tepat untuk mengubah pemikiran mereka ke arah estetika penyelidikan saya sendiri. Saya tidak selalu berjaya (terutamanya dalam bulan-bulan sibuk seperti ini), tetapi saya biasanya bersenang-senang melakukannya.

Malangnya, ramai penyelidik dalam komuniti saya tidak mempunyai semakan yang menyenangkan. Dan saya tidak menyalahkan mereka: kita mendapat masa yang singkat, kerja sukarela kebanyakannya tidak bersyukur (kerana tidak mahu disebutkan namanya), dan tidak ada apa-apa interaksi dengan penulis atau ulasan lain, selain daripada perbincangan yang tidak segerak dan sangat tidak peribadi mengenai penjagaan yang buruk, kurang direka bentuk groupware seperti PCS atau EasyChair (tidak ada sedikit pun terhadap pemaju yang mengekalkan ini: anda mempunyai kerja keras, sangat di bawah kekayaan hanya menjaga laman web ini berjalan).

Walau bagaimanapun, selepas 15 tahun kajian, terdapat beberapa perkara yang saya fikir mungkin membuat orang benar-benar menikmatinya, dan akan membuat saya lebih suka melakukannya. Ini senarai hajat saya untuk ulasan peer akademik.

Menilai terhadap kriteria yang jelas

Tidak ada yang mendorong saya lebih gila daripada kotak yang mengatakan "Tulis ulasan anda" di sini. Proses kajian semula rakan sebaya yang tidak diterangkan ini gagal dalam dua cara: mereka menghasilkan pendapat yang berbeza-beza mengenai penyelidikan, tetapi mereka juga gagal memberi isyarat kepada pengulas baru apa aspek penyelidikan nilai masyarakat atau bagaimana untuk menilai mereka. Tidak hanya semacam semakan, ada yang tidak terbatas, dan ia adalah tugas editor untuk mempersempit ruang lingkup.

Persidangan Antarabangsa mengenai Kejuruteraan Perisian telah membuat sedikit kemajuan pada ini baru-baru ini, menambahkan kriteria tertentu seperti:

  • Ketangkasan. Adakah tuntutan kerja disokong oleh hujah dan bukti yang dibentangkan?
  • Novelty. Berapa banyak kerja yang memajukan pengetahuan kita?
  • Kejelasan. Betapa terangnya penulisan dan pembentangan karya itu?
  • Pemantapan semula. Dengan beberapa kepakaran domain, bolehkah kerja (teknikal, empirikal, atau sebaliknya) dapat direplikasi?

Apa yang hebat tentang ini adalah bahawa mereka mengurangkan banyak bentuk bias tersirat dalam proses semakan, pengulas menarik untuk menangani setiap dimensi. Saya telah menggunakannya untuk menyusun ulasan saya, dan memastikan saya bersikap adil terhadap apa yang ingin dipilih oleh ICSE.

Sekarang, proses ICSE masih banyak yang diinginkan. Kriteria ini tidak digunakan untuk semua jenis biasiswa, yang tidak termasuk beberapa jenis kerja novel. Penilai mempunyai idea yang berbeza-beza mengenai kriteria ini, yang masih menghasilkan banyak kepelbagaian dalam penilaian mereka. Dan tidak ada panduan dari kerusi program tentang tempat "bar": bolehkah kertas memenuhi tiga perkara ini dengan cukup baik, tetapi gagal pada kebaharuan, dan masih diterbitkan? Dan yang terakhir adalah sangat mudah untuk diperbaiki: poskan ini pada panggilan untuk kertas supaya semua orang tahu apa yang mereka diadili.

Walaupun terdapat batasan-batasan ini, saya fikir semua proses semakan rakan sebaya harus mempunyai kriteria yang jelas. Komuniti harus bersama untuk membuat dan mengembangkannya dari masa ke masa.

Penguji kereta api

Salah satu isu yang mempunyai kriteria yang jelas di atas adalah bahawa pengulas berbeza tidak mempunyai keupayaan konsisten untuk menilai setiap daripada mereka. Kenapa tidak? Kerana kita tidak mengajar penyelidik untuk mengkaji semula penyelidikan.

Saya selalu mendapati ini menjadi jurang terbesar dalam pendidikan doktoral. Ph.D. Pelajar memerlukan banyak peluang untuk mengamalkan semakan penyelidikan terhadap kriteria eksplisit yang mungkin, tetapi hanya sedikit yang dijemput untuk meninjau sehingga mereka lebih senior. Dan jika mereka dijemput untuk mengkaji semula, persidangan dan jurnal jarang memberi mereka latihan.

Saya masih ingat kali pertama saya menyemak untuk persidangan. Ia adalah kertas CHI, mungkin pada 2006 atau 2007, sebelum saya menamatkan pengajian Ph.D. Saya mendapat sebuah kotak yang berkata "Tulis ulasan anda di sini." Dan pemikiran pertama saya adalah, "Apa yang saya perlu semakan? Semuanya? Hanya berkongsi pandangan saya? Saya mempunyai banyak pendapat, adakah anda pasti semuanya penting? "Sudah tentu, mereka melakukan semua perkara, dan begitu juga orang lain, dan oleh itu kertas mendapat skor yang sangat berbeza-beza, yang mungkin hanya membingungkan penulis. Tinjauan yang bervariasi yang selalu saya terima di CHI (dan masih dilakukan hingga ke hari ini) terus menjadi tidak menentu.

Sebagai Ph.D. penasihat, saya gagal melatih pelajar saya juga. Bilakah saya mengajar pelajar doktor saya untuk menilai kerja orang lain? Siapakah yang bekerja saya minta mereka menilai jika mengkaji adalah sulit? Kumpulan membaca adalah satu tempat untuk melakukan ini, tetapi mereka sering memberi tumpuan kepada membaca karya yang terbaik dan paling relevan dalam bidang, bukan pada kerja yang memerlukan bantuan. Kebanyakan kajian adalah kertas kerja yang memerlukan bantuan.

Secara peribadi, saya tidak fikir ia adalah tugas penasihat untuk menentukan kriteria yang mana kertas diteliti. Saya fikir itu adalah tugas komuniti akademik, dan persidangan dan jurnal adalah di mana kita membuat kriteria ini jelas dan melatih mereka. Pada masa yang lain, saya mempengerusikan persidangan atau menjadi editor jurnal, saya akan melakukan latihan untuk semua pengulas.

Terbitkan segala-galanya, termasuk ulasan

Apabila saya memberitahu orang tentang idea ini, mereka fikir saya gila. Sebelum anda berfikir yang sama, dengar saya melalui.

Inilah idea asas: apabila kita menyerahkan sesuatu untuk penerbitan, kita harus menjalankan proses semakan biasa kita, tetapi kemudian menerbitkan apa saja yang penulis ingin diterbitkan, dengan syarat semua ulasan karya mereka diterbitkan juga, dan terbuka untuk semakan semula lanjut oleh semua orang dalam akademik. Sebagai alternatif, penulis boleh memutuskan untuk menarik balik kerja mereka dan memperbaikinya lagi. Masa depan kajian semula rakan sepatutnya terbuka, berterusan, dan telus, dengan setiap kerja di dunia tertakluk kepada kritikan kekal (sederhana). Sebagai contoh, saya sepatutnya dapat kembali ke kertas lama saya yang diterbitkan di Perpustakaan Digital ACM dan menyiarkan komen, sambil berkata, "Kertas ini adalah sampah. Kertas kerja lain yang saya terbitkan mempunyai hujah yang lebih baik. "Dan saya sepatutnya dapat melakukan perkara yang sama kepada rakan-rakan saya. Dan semua orang, termasuk orang awam, harus dapat melihat komen kami mengenai semua kerja yang diterbitkan, yang membolehkan komunikasi saintifik diteruskan secara terbuka.

Kenapa ini?

  • Pertama, kita melewati masa apabila kita perlu risau tentang kos percetakan. Penyimpanan adalah murah dan dokumen kami adalah kecil.
  • Kedua, kita sudah membaca dan menilai segala-galanya. Apa gunanya melakukan semua penulisan dan kajian itu, hanya untuk membiarkan 75% daripadanya tidak dibaca oleh akademik?
  • Ketiga, mengapa kerja buatan penjaga buatan kita percaya bernilai, walaupun kerja itu tidak sempurna?
  • Keempat, dengan menolak banyak kerja, kita menolak idea dan usaha masyarakat kita, yang merosot.
  • Keempat, kelemahan kajian rakan sebaya merosakkan pendapat orang ramai terhadap sains. Tunjukkan kepada mereka bagaimana sosis itu dibuat.

Kebanyakan hujah terhadap penglihatan di atas merosakkan ini: ahli akademik ingin menggunakan persidangan dan penerbitan jurnal untuk memberi isyarat merit, sebagai tambahan kepada penyelidikan lanjut. "Kita mesti menolak kertas untuk mendapatkan kertas yang diterima," kata mereka, "Jika tidak, bagaimanakah kita tahu apa kerja yang baik dan buruk?" Perkara yang tidak masuk akal mengenai hujah ini adalah bahawa dalam jangka pendek dan panjang, t menggunakan penerbitan secara eksklusif untuk menentukan kerja apa yang baik dan buruk. Kami menggunakan surat cadangan, kami menggunakan anugerah kertas yang terbaik, kami menggunakan penghargaan kertas paling berpengaruh selama 10 tahun, kami melihat petikan. Kita semua tahu bahawa persidangan dan jurnal - malah yang teratas - penuh dengan kertas yang tidak begitu hebat, kerana proses tinjauan rakan sebaya kita tidak begitu hebat. Terdapat sedikit kerosakan dalam kehilangan satu isyarat apabila kita sudah mempunyai begitu banyak.

Selain itu, kami akan mendapat isyarat baru. Apakah jenis dialog mengenai kerja yang diterbitkan yang berlaku sejak penerbitan? Siapa yang bercakap tentang kerja? Bagaimana mereka bercakap mengenainya? Bayangkan betapa menilai calon fakulti akan berubah: ia bukan hanya senarai kertas yang diterbitkan, tetapi sebaliknya, satu benang bersemangat mengenai makna dan kepentingan penerbitan - atau diam, yang mengatakan sesuatu yang lain.

Hujah-hujah lain terhadap penglihatan ini memberi tumpuan kepada kebimbangan bahawa orang tidak akan meninjau lagi jika tinjauan mereka menjadi umum. Kepada saya, ini hanyalah tanda bahawa kita tidak mendidik golongan intelektual awam dengan betul. Adakah ego kita rapuh sehingga seseorang yang melihat kritikan kami yang baik akan menghancurkan reputasi kita? Atau adakah kita takut bahawa kritikan kita tidak begitu beralasan?

Jelas sekali, akan ada banyak model untuk membuat kerja model sedemikian. Sekiranya ada komuniti yang boleh melakukannya, ia adalah ilmu pengkomputeran dan maklumat, terutamanya interaksi manusia-komputer.

Bandwidth mengehadkan visi kami

Sudah tentu, pelaksanaan mana-mana perubahan di atas memerlukan masa. Dan memandangkan kita sudah menjadi sukarela, masa adalah terhad. Sesetengah daripada kita perlu melakukan beberapa masa kita, terutamanya profesor yang berpenasari seperti kita, untuk membuat perubahan ini menjadi realiti. Mari tunjukkan seluruh ahli akademik apa yang boleh dikaji semula. Siapa dengan saya?