Di mana mereka Terbitkan

mengapa anda tidak boleh menilai penyelidik oleh Jurnal Impak

[Pluto Series] # 0 - Academia, Structurally Fxxked Up
[Siri Pluto] # 1 - Penyelidikan, Industri Penciptaan Pengetahuan
[Siri Pluto] # 2 - Akademik, Penerbitan, dan Komunikasi Ilmiah
[Siri Pluto] # 3 - Terbitkan, tetapi benar-benar Perish?
[Pluto Series] # 4 - Terbitkan atau Perish, dan Hilang dalam Vain
[Siri Pluto] # 5 - Di mana mereka Terbitkan
[Siri Pluto] # 6 - Dari Bilangan Penerbitan
[Siri Pluto] # 7 - Pada Asas Citation
[Siri Pluto] # 8 - Pada Amalan Mengutip
[Siri Pluto] # 9 - Pada Citations Penjejakan
[Siri Pluto] # 10 - Ulasan Peer
[Siri Pluto] # 11 - Menamatkan Siri

Dalam jawatan terdahulu, kita telah membincangkan apa yang menjadi struktur insentif yang buruk dalam akademik. Lebih banyak, pengetahuan asal dan kukuh adalah objektif umum akademik secara keseluruhan. Jika sebarang akibat yang tidak diingini selain daripada nilai-nilai positif ini disebabkan oleh insentif, atau gagal menangkap nilai-nilai positif dengan cara yang sesuai, insentif itu boleh dikatakan buruk.

Jurnal, sumber: Plush Design Studio, Unsplash

Jawatan ini menyediakan contoh pertama seperti, Menilai penyelidik dengan mana mereka menerbitkan. Adalah dipersoalkan tentang amalan ini cuba menilai, dan tanpa mengira apa yang menilai nilai-nilai kompleks pengetahuan tidak boleh diukur dengan cara yang mudah. Struktur di mana amalan ini dikekalkan telah memberikan kuasa yang berlebihan kepada sesetengah pihak yang berkepentingan, menyebabkan ketelusan, dasar yang tidak perlu, dan juga salah laku yang tidak beretika.

Kenapa di mana?

Menggambarkan struktur insentif akademik dalam jawatan terdahulu, telah diberitahu bahawa penyelidik sering menilai produktiviti mereka dengan rekod bibliografi mereka, atau senarai kertas yang diterbitkan dalam jurnal akademik, digabungkan dengan "di mana mereka menerbitkan" menggunakan Jurnal Impak Jurnal sebagai nilai proksi ini "di mana". "Di mana", sememangnya, "jurnal yang dikaji semula", dan khususnya lebih kerap daripada tidak menganggap jurnal termasuk dalam indeks utama seperti Web of Core Collection Core (WoSCC) oleh Clarivate Analytics atau SCOPUS oleh Elsevier .

Di permukaan, memilih tempat untuk menerbitkan mungkin kelihatan sangat penting. Berdasarkan di mana anda menerbitkan penemuan penyelidikan anda, sejauh mana penyiaran anda disebarkan secara serius mungkin berbeza. Iaitu, jika anda memilih jurnal yang sesuai untuk penerbitan anda, ia boleh disalurkan kepada beratus-ratus atau beribu-ribu rakan sebaya anda, sementara pemilihan yang tidak baik mungkin tidak membawa siapa pun dalam bidang yang berkaitan yang pernah membacanya. Inilah yang anda akan lihat apabila anda google "di mana hendak menerbitkan". (tentunya dengan banyak "panduan perpustakaan" yang mengatakan bahawa anda perlu melihat apakah jurnal diindeks dalam WoS atau SCOPUS)

Satu lagi aspek penting untuk dipertimbangkan ketika memilih "di mana untuk menerbitkan" adalah papan editorial jurnal. Fungsi yang paling unik dari jurnal akademik adalah peer review, proses saintifik pengawasan oleh pakar bidang. Proses peer review ini diuruskan oleh papan editorial dan pasukan. Mereka menyusun semula manuskrip yang dikemukakan, mereka memilih pengulas rakan sebaya, dan mereka membuat keputusan muktamad sama ada untuk menerima, menolak, atau mencadangkan semakan bagi manuskrip. Oleh kerana jurnal yang berlainan mempunyai editor yang berbeza, maka amalan semakan yang berbeza, mungkin sangat penting untuk memilih jurnal yang layak disunting oleh pakar yang berwibawa di bidang anda yang cukup mahir untuk menjalankan pengawasan penerbitan anda dengan betul.

Mengapa TIDAK DI mana?

Walaupun jelas kelihatan penting untuk memilih tempat yang tepat untuk diterbitkan, namun TIDAK bermakna penyelidikan harus dinilai dengan mana ia diterbitkan. Pertama sekali, tidak jelas jenis nilai yang ditangkap. Ia mungkin besar jika ia dapat menangkap sejauh mana penyebarannya seperti yang diterangkan di atas. Tetapi ini sangat mencabar, baik secara kontekstual maupun teknikal. Sekiranya kita melihat bilangan orang unik yang jurnal mencapai? Sesi dan akses unik dari universiti dan institut? Adakah jenis ini pada jurnal juga mewakili sejauh mana penyebaran untuk penerbitan individu? Adakah jurnal dan perkhidmatan maklumat mampu mengesan statistik ini? Jawapannya adalah, secara ridiculously, sama ada ya atau tidak, sistem sebenarnya tidak peduli terhadap aspek ini.
(Altmetrics, statistik penggunaan dari perkhidmatan maklumat dalam talian, berkaitan dengan aspek ini. Namun, mereka adalah penunjuk langsung yang timbul daripada penerbitan individu, bukan dari mana ia berada).

Siapa Yang Memutuskan Di mana?

Nilai yang ditangkap dengan "di mana" mungkin mungkin disimpulkan daripada kriteria inklusi dan proses penilaian indeks (kriteria dan proses WoSCC, SCOPUS proses dan lembaga). Kedua-duanya mempunyai keperluan yang sama seperti pendaftaran ISSN dan bahasa Inggeris (atau Roman) metadata bibliografi (abstrak, rujukan, dll.) Yang penting dalam mengekalkan keseluruhan pangkalan data yang bersih dan terkawal. Satu lagi syarat yang perlu ialah kandungan dalam jurnal adalah semester-dikaji semula. Ini sememangnya positif. Masalahnya ialah bagaimana ia ditunjukkan. Oleh kerana ini adalah keadaan yang NECESSARY, jurnal yang dimasukkan dalam indeks ini mesti dikaji semula oleh peer. Tetapi bagaimana kita tahu apabila mereka tidak pernah membuktikan bahawa mereka? Terdapat beberapa jurnal yang menerbitkan laporan kajian rakan sebaya bersama dengan penerbitan asal. Untuk jurnal-jurnal yang lain dalam indeks, adakah kita hanya mempercayai penyedia indeks bahawa mereka secara jujur ​​memeriksa amalan semakan rakan-rakan dan bukti-bukti sebenar mereka sendiri?

Perkara ini berjalan dengan sama dengan keseluruhan proses kemasukan tersebut. Di luar syarat-syarat yang diperlukan terdapat banyak lagi kriteria yang mereka katakan. Untuk menamakan beberapa: "Akademik sumbangan ke lapangan", "Kualiti dan kesesuaian dengan matlamat dan skop jurnal", "Editor berdiri", "sudut pandang novel" dan "Penonton sasaran". Ini adalah juga kebanyakannya lazim dalam kedua-dua indeks, walaupun beberapa perbezaan dalam ekspresi. Kriteria ini semua kelihatan baik dan mewah, dan sekali lagi, persoalannya ialah bagaimana mereka benar-benar melakukannya. Yang paling saya dapati dari penjelasan mereka ialah mereka dinilai oleh pasukan editorial atau papan mereka (jangan mengelirukan ini dengan editor jurnal). Saya akhirnya menemui NO maklumat mengenai papan editorial di WoSCC, dan halaman papan untuk SCOPUS memberikan beberapa 17 akademik rawak dengan gabungan mereka, masing-masing mewakili satu meta-disiplin (17 orang yang bertanggungjawab "mendefinisikan" seluruh taksonomi akademik, wow). Singkatnya, kita adalah SELESAI mengenai siapa yang membuat keputusan kemasukan jurnal, mengapa mereka harus bertanggungjawab untuk kerja itu, atau apa yang sebenarnya mereka memutuskan bukti mana.

Kita bercakap tentang indeks indeks. Kertas diterbitkan (dengan itu diindeks sebagai sebahagian daripada jurnal yang diterbitkan dalam) dalam jurnal yang disunting oleh pakar bidang. Pada ketika ini, kami sememangnya santai kerana banyak laman web jurnal memberikan maklumat mengenai papan editorial mereka. * Dan kemudian jurnal ini meta-diindeks dalam pangkalan data bibliografi seperti WoSCC atau SCOPUS, disunting oleh beberapa orang rawak, di mana kita hilang sepenuhnya siapa mereka dan apa yang mereka lakukan. Memandangkan fakta bahawa indeks ini digunakan dalam banyak keputusan dalam akademik sebagai kriteria penilaian, kami membiarkan beberapa perniagaan komersial memutuskan di mana akademik harus mengemukakan kertas mereka untuk dianggap sebagai "pengetahuan saintifik" dengan operasi kabur. Saya sangat mempersoalkan jika ini adalah sains yang sepatutnya.
(* Lihat contohnya dari Lancet. Saya secara peribadi melihat maklumat ini tentang editor yang menjadi keperluan minimum.)

Menangkap Kesan

Mungkin jawapannya paling terperinci dengan bilangan yang kebanyakannya digunakan sebagai proksi untuk ini: Jurnal Impak Jurnal (JIF). Jelas seperti namanya, nampaknya seperti JIF menilai impak jurnal. Mengetepikan keraguan tentang apa kesan ini, nampaknya kesan kesan jurnal sangat berkaitan dengan kutipan, kerana JIF dikira dengan graf citakan. (JIF adalah jumlah purata petikan yang diterima oleh penerbitan jurnal kepentingan dalam dua tahun terdahulu daripada semua penerbitan indeks tahun ini Lihat Wikipedia untuk penerangan lanjut)

Tidak boleh membunuh pelbagai burung dengan batu biasa

Ia sememangnya mengelirukan apa kesan ini. Satu perkara yang dapat kita jelaskan. Ini bermakna purata petikan. Adakah ia memberi impak, nilai, kemajuan, sumbangan, atau apa sahaja, satu metrik ringkas, tidak boleh (dan tidak seharusnya) mewakili aspek pengetahuan yang rumit dan pelbagai. Seperti yang digambarkan oleh proses kemasukan oleh indeks, terdapat sumbangan kepada bidang, matlamat dan skop dan kesesuaian dan kualiti mereka, berdiri di antara bidang, keaslian ide, penonton, etika, ketelusan ... untuk menamakan sangat sedikit daripada mereka. Tiada siapa yang akan dapat mencari cara untuk menangkap nilai-nilai ini dengan metrik tunggal.

Menggunakan metrik yang sederhana dan tunggal menyebabkan kemudaratan serius kepada ahli akademik: ia membawa kepada undang-undang kuasa *. Ditubuhkan oleh Robert Merton sebagai "Matthew Effect", undang-undang kuasa ini digambarkan dengan baik oleh ungkapan "Kaya semakin kaya, miskin semakin miskin". Undang-undang kuasa di akademik ini tidak diinginkan kerana dua sebab utama. i) Penyelidik yang muncul dalam kerjaya awal mereka diberi kurang peluang. ii) Hanya sedikit pihak yang diberi kuasa daripada komuniti, yang bertentangan dengan "keraguan teratur" sains moden. Ilmu dicapai melalui penelitian oleh rakan-rakan, bukan oleh pihak berkuasa.
(* Keterangan undang-undang kuasa ini termasuk: Harga ', Lotka, Zipf, undang-undang Bradford)

"Di mana" Jangan Menangis "Apa"

Selain kebimbangan mengenai penggunaan metrik tunggal, terdapat kritikan terhadap JIF itu sendiri. Di atas semua, kerana dikira dari petikan, ia mewarisi sebahagian besar kritikan mengenai petikan. Sebagai contoh, kutipan boleh dibuat, bilangan sebenar mungkin berbeza-beza bergantung kepada indeks kutipan yang digunakan, dan yang paling penting bilangan kutipan tidak mewakili nilai penerbitan. Begitu juga JIFs. Lebih lanjut mengenai perkara ini akan dibincangkan dalam jawatan selepas membincangkan Citations.

Ia juga menyatakan bahawa JIFs tidak boleh digunakan untuk menilai penerbitan individu. Makna rata-rata biasanya ditafsirkan sebagai ukuran ramalan, tetapi dilaporkan bahawa anda tidak dapat meramalkan cita-cita penerbitan dalam jurnal dengan JIF. Ini terutamanya disebabkan oleh pengedaran yang tersirat petikan. JIFs sangat terjejas oleh outliers. Katakan kami mempunyai jurnal dengan JIF = 40, kami memilih penerbitan secara rawak daripada itu untuk melihat penghitungan petikannya, dan kami mungkin akan melihat nombor yang lebih kecil daripada 40. Menyatakan peringatan ini, Bahan Alam yang dicadangkan dalam editorial bahawa jurnal mempunyai pendedahan yang lebih baik pengagihan petikan mereka.

Paling penting, nilai penerbitan adalah Universal (U dari CUDOS). Ia tidak sepatutnya berubah di mana ia diletakkan. Anda melakukan percubaan A, mengumpul dataset B, dianalisis dengan kaedah C, mendapat hasil D. Sama ada anda memasukkannya ke suapan Facebook anda, tweetkannya, blogkannya, arxiv itu, atau menyiarkannya dalam jurnal dengan JIF yang sangat tinggi, nilainya mustn tidak berubah.

Kuasa besar

Sebagai penyelidik dinilai di mana mereka menerbitkan, sesetengah pihak berkepentingan berhubung dengan "mana" ini dapat memainkan pengaruh yang besar terhadap akademia. Seperti yang dijelaskan di atas, cukup banyak definisi maya sains (atau "di mana kita perlu menerbitkan disifatkan sebagai sains") dikawal oleh beberapa pembekal indeks.

Penerbit dan jurnal juga mendapat kuasa berwibawa. Oleh kerana kebanyakan jurnal mempunyai keputusan binari pada manuskrip yang diserahkan (iaitu menerima atau menolak), para penyelidik adalah tertakluk kepada keputusan ini. Ramai penerbit dan jurnal tidak "secara rasmi menyokong pengarkiban" * (iaitu prapesan dan repositori). Walaupun terdapat tempat alternatif untuk menerbitkan yang mungkin menyokong pengarkiban, para penyelidik masih terdedah untuk tidak menggunakan pratikel jika jurnal impak yang tinggi dalam bidang mereka tidak menyokongnya. Itulah satu-satunya perkara yang menghalang penyelidik daripada mengarkibkan sebelum penerbitan, dan meletakkan ke arah yang lain, sebab itulah penerbit dan jurnal boleh memutuskan untuk tidak menyokongnya.
(** menurut SHERPA / RoMEO, 487 daripada 2566 penerbit (19%) tidak "menyokong pengarsipan secara rasmi". Memperluaskan statistik ini ke peringkat jurnal pasti akan meningkatkan bahagian. *)

Limpahan Penerbitan

Penerbit dengan kuasa berwibawa boleh menyebabkan lebih banyak penerbitan daripada pengetahuan yang lebih baik dan mantap. Oleh kerana model perniagaan kebanyakan penerbit menuai keuntungan melalui langganan dan APC (penulis membayar ini apabila menyerahkan manuskrip untuk Akses Terbuka), jelasnya mereka akan lebih suka penerbitan. Pada peringkat jurnal individu, ini mungkin tidak benar kerana lebih banyak penerbitan boleh mengurangkan JIF. (ia dalam penyebut) Tetapi pada tahap penerbit, ini dapat diselaraskan dengan meningkatkan bilangan penerbitan sementara pada masa yang sama menghasilkan lebih banyak kutipan di seluruh jurnal mereka. Sememangnya jumlah penerbitan telah meningkat secara drastik selama beberapa dekad, tetapi terpulang kepada soalan sama ada ia juga membawa kepada lebih banyak, pengetahuan yang lebih baik.

Bahaya Moral

Satu lagi peringatan di sini ialah penerbit dan jurnal boleh menjejaskan arah keseluruhan komuniti penyelidikan dan trend. Seperti yang telah dibincangkan dalam jawatan terdahulu, mereka terdedah untuk menetapkan dasar-dasar yang akan menyebabkan JIF meningkat seperti menerima tuntutan yang menarik, bergaya, atau bahkan salah dan menolak kajian tambahan, negatif, atau mereplikasi.

Lebih buruk lagi ialah salah laku yang bertujuan meningkatkan metrik. Jurnal, terutamanya pengarangnya, mungkin secara tidak sengaja memaksa pengarang mereka mengemukakan makalah dalam jurnal itu. Editor dan pengarang di sekeliling jurnal boleh membentuk kartel kutipan, di mana mereka mengutip kertas masing-masing untuk sengaja meningkatkan kesan masing-masing. Malpraktik ini tidak hanya buruk kerana mereka tidak beretika, tetapi mereka juga terus menyusut kebolehpercayaan JIF sebagai metrik. Oleh itu, mereka mencemari kesusasteraan keseluruhan, menghasilkan kurang relevan, atau kadang-kadang tidak bermakna, kutipan di seluruh penerbitan. Pada penghujung hari, mereka merosot kepercayaan akademik.

Untuk Meningkatkan, bukan untuk Deter

Akan sentiasa ada aspek yang boleh dibahaskan di mana hasil penyelidikan perlu dikongsi. Sebagai sebahagian teras komunikasi ilmiah, menyebarkan kandungan ilmiah akan selalu melibatkan pemindahan maklumat penyelidikan yang berharga dari satu pemain ke yang lain. Selain itu, penilaian oleh JIF (atau di mana mereka menerbitkan) mempunyai kelebihan ini berdasarkan penghitungan kutipan bahawa, petikan untuk penerbitan individu mengambil masa yang lama, manakala proksi dengan jurnal boleh digunakan dengan serta-merta. Walau bagaimanapun, amalan semasa menilai penyelidik dan kandungan mereka berdasarkan di mana mereka menerbitkan perlu ditingkatkan.

Sebagai metrik yang sederhana, soalan-soalan mengenai apa yang ditangkap, cara yang lebih komprehensif untuk menangkap lebih banyak aspek pengetahuan perlu disiasat. Ia harus sentiasa diambil kira bahawa sekumpulan pengetahuan, dan nilainya, tidak berubah di mana ia diterbitkan, sementara kami terus mengingatkan bahawa ia masih penting untuk dipertanyakan kepada siapa ia akan disampaikan.

Malpraktis mungkin timbul oleh beberapa pemain yang mempunyai kuasa terlalu berwibawa dengan minat yang jauh dari menjana pengetahuan asli. Khususnya, ketelusan adalah penting untuk tidak membiarkan operasi legap sebilangan kecil pemain yang berorientasikan keuntungan memutuskan apa yang akan dianggap sebagai penyelidikan.

SETERUSNYA

Dalam jawatan yang akan datang, satu lagi insentif yang buruk akan dibincangkan, menggunakan bilangan penerbitan sebagai kriteria penilaian, isu paling utama untuk "menerbitkan atau musnah".

Terima kasih selalu atas sokongan itu, dan sila CLAP & SAHAM cerita dengan rakan-rakan, rakan, dan keluarga anda untuk menjemput lebih banyak perbincangan.

[Pluto Series] # 0 - Academia, Structurally Fxxked Up
[Siri Pluto] # 1 - Penyelidikan, Industri Penciptaan Pengetahuan
[Siri Pluto] # 2 - Akademik, Penerbitan, dan Komunikasi Ilmiah
[Siri Pluto] # 3 - Terbitkan, tetapi benar-benar Perish?
[Pluto Series] # 4 - Terbitkan atau Perish, dan Hilang dalam Vain
[Siri Pluto] # 5 - Di mana mereka Terbitkan
[Siri Pluto] # 6 - Dari Bilangan Penerbitan
[Siri Pluto] # 7 - Pada Asas Citation
[Siri Pluto] # 8 - Pada Amalan Mengutip
[Siri Pluto] # 9 - Pada Citations Penjejakan
[Siri Pluto] # 10 - Ulasan Peer
[Siri Pluto] # 11 - Menamatkan Siri

Rangkaian Pluto
Homepage / Github / Facebook / Twitter / Telegram / Sederhana
Scalami: Enjin carian akademik
E-mel: team@pluto.network