Memperkenalkan Algoritma dengan AI Nudge

Pemeriksaan Fakta Boleh Kurangkan Penyebaran Berita Yang Tidak Boleh Diyakini. Ia juga boleh melakukan yang bertentangan.

(jawatan ini pada mulanya muncul di civilservant.io)

Pembaca r / worldnews di reddit sering melaporkan berita tabloid kepada moderator sukarela, meminta mereka untuk mengharamkan tabloid untuk artikel sensasi mereka. Kisah-kisah yang menarik ini menangkap mata orang, menarik kontroversi, dan mendapat perhatian oleh algoritma ranking reddit, yang menyebarkannya lebih jauh lagi.

Mengharamkan berita tabloid boleh menamatkan gelung maklum balas ini, tetapi moderator komuniti menentang larangan selimut. Untuk menyelesaikan teka-teki ini, moderator perlu menjawab soalan di tengah-tengah perdebatan tentang apa yang disebut "berita palsu": bagaimana kita dapat mempertahankan kebebasan penyumbang sementara juga mempengaruhi tingkah laku bersama orang dan algoritma untuk kebaikan komuniti?

Musim sejuk ini, moderator bekerja dengan CivilServant untuk menguji idea: apakah kesan-kesan menggalakkan pemeriksaan fakta mengenai respons terhadap berita yang tidak boleh dipercayai? Kami mahu melihat bagaimana komuniti r / worldnews akan bertindak balas. Kami juga melihat kesan pada kedudukan reddit. Jika algoritma reddit menafsirkan fakta-semak sebagai populariti, artikel yang tidak boleh dipercayai mungkin tersebar lebih jauh.

Berita tabloid adalah kira-kira 2.3% daripada semua penyerahan kepada 15 juta komuniti pelanggan yang membincangkan berita di luar AS. Di dalam dunia, 70 moderator meninjau kira-kira 450 artikel setiap hari dan membenarkan 68% daripada artikel tersebut kekal. Oleh kerana ia adalah subreddit lalai, kebanyakan pembaca reddit mendapat berita dunia melalui komuniti ini. Walaupun jangkauan masyarakatnya kurang kerap oleh Facebook, dunia mungkin merupakan kumpulan tunggal terbesar untuk membincangkan berita dunia di mana saja di internet berbahasa Inggeris. Bahkan kesan kecil dalam komuniti ini boleh membuat perbezaan besar dalam bagaimana berjuta-juta orang memahami maklumat berpotensi-tidak dapat diandalkan tentang dunia.

Dalam kajian kami dari 27 Nov hingga 20 Jan, kami menguji mesej A / B yang menggalakkan masyarakat untuk menyemak fakta dan mengundi berita tabloid. Inilah yang kami dapati:

Kesan Menggalakkan Fakta-Memeriksa Kelakuan Masyarakat

Dalam perbincangan mengenai penyerahan tabloid di r / worldnews, menggalakkan pemeriksaan fakta meningkatkan kadar kejadian komen dengan pautan sebanyak 2x secara purata, dan menggalakkan pengesahan fakta + pengundian mempunyai kesan yang sama.

Kesan Mendorong Fakta-Memeriksa mengenai Algoritma Reddit

Mengamati lebih dari 24 jam, kami juga mendapati bahawa secara purata, komen melekit menggalakkan pemeriksaan fakta menyebabkan pengurangan 2x dalam skor reddit penyerahan tabloid, kesan statistik yang signifikan yang mungkin mempengaruhi ranking dalam subreddit. Apabila kami juga menggalakkan pembaca untuk mengundi, kesan ini hilang.

AI Nudges: Memujuk Algoritma Semasa Memelihara Kebebasan

Soalan kami mengenai berita tabloid menambah dimensi algorithmic kepada soalan tadbir urus klasik: bagaimana orang yang berkuasa bekerja ke arah kebaikan bersama sambil meminimumkan kekangan kebebasan individu?

kita boleh memujuk algoritma untuk bertindak dengan cara yang berbeza dengan memujuk orang untuk bertindak secara berbeza.

Di seberang internet, orang belajar untuk hidup dengan sistem AI yang tidak dapat mereka kendalikan. Sebagai contoh, pemandu Uber mengubah cara memandu mereka untuk mengoptimumkan pendapatan mereka. Tingkah laku kolektif kami telah mempengaruhi sistem AI sepanjang masa, tetapi setakat ini, orang awam tidak mempunyai maklumat mengenai apa yang sebenarnya mempengaruhinya. Kesilapan ini boleh menjadi masalah apabila algoritma melaksanakan peranan utama dalam masyarakat, seperti kesihatan, keselamatan, dan keadilan. Untuk menyelesaikan masalah ini, sesetengah penyelidik sedang merekabentuk sistem "masyarakat-dalam-gelung" [4]. Lain-lain sedang membangunkan kaedah untuk mengaudit algoritma [5] [6]. Namun pendekatan tidak menawarkan cara untuk menguruskan tingkah laku harian sistem yang kod kami tidak dapat dikawal. Kajian kami dengan r / worldnews menawarkan arah ketiga; kita boleh memujuk algoritma untuk bertindak dengan cara yang berbeza dengan memujuk orang untuk bertindak secara berbeza.

Sesetengah orang mungkin tertanya-tanya jika eksperimen ini merupakan manipulasi undi, yang bertentangan dengan dasar reddit. Nota melekat kami tidak melanggar mana-mana peraturan reddit untuk keuntungan peribadi (kami juga tidak membuat akaun palsu, memberitahu orang bagaimana untuk mengundi, atau menyusun blok undian). Tetapi kami menunjukkan bahawa orang yang mencadangkan untuk menyemak fakta mempunyai kesan sistematik terhadap algoritma reddit.

Idea "nudges AI" memberi kita cara untuk memikirkan usaha pro-sosial untuk mempengaruhi tingkah laku manusia dan mesin sambil mengekalkan kebebasan individu. Richard Thaler dan Cass Sunstein mula-mula mencadangkan "nudges" sebagai cara untuk institusi menjalankan kuasa mereka sambil mengekalkan kebebasan individu [7]. Berbanding dengan mengharamkan berita tabloid, AI nudge menggalakkan pemeriksaan fakta adalah tindakan sentuhan ringan yang dapat diambil oleh moderator. Keupayaan seseorang untuk berkongsi berita, komen, atau undi diambil, tetapi AI nudge masih lembap penyebaran berita yang tidak boleh dipercayai.

Seperti yang ditunjukkan oleh Sunstein dan Thaler, ia tidak selalu jelas jika campur tangan sentuhan ringan ini akan mempunyai hasil yang diingini. Itulah sebabnya kita harus secara sistematik menguji kesannya, terutamanya kerana sistem yang tidak teruji dapat menghasilkan hasil yang tidak dijangka.

Tadbir Urus dan Etika AI Nudges

Nudges dari kerajaan dan eksperimen sosial oleh platform dalam talian sering menarik kritikan yang sama. Saya fikir orang adalah betul untuk mengharapkan akauntabiliti daripada mereka yang menjalankan kuasa yang memudaratkan. Dengan bekerja dengan moderator sukarela, saya dapat bekerja dengan tahap ketelusan dan akauntabiliti yang lebih tinggi daripada yang biasa dalam pengkomputeran sosial. Semua kajian CivilServant direka dengan dan oleh pasukan kesederhanaan, dan semua keputusan didedahkan terlebih dahulu kepada masyarakat dalam pembahasan subreddit. Reka bentuk kajian kami disenaraikan secara terbuka di Rangka Kerja Sains Terbuka sebelum kami memulakan, dan semua kod kami adalah sumber terbuka. Butiran analisis penuh juga awam, jadi sesiapa sahaja boleh menyemak kesimpulan kami. Satu-satunya perkara yang kita tahan adalah data sebenar, kerana kita menghormati privasi semua orang yang terlibat.

Secara keseluruhannya, saya berharap bahawa AI nudges, terutamanya apabila dipimpin oleh masyarakat sendiri, menawarkan arah yang menarik untuk orang ramai untuk menguruskan peranan algoritma dalam masyarakat, sambil juga memelihara kebebasan individu.

Bagaimana Kajian Berfungsi

Untuk ujian ini, moderator mula dengan senarai sumber berita yang sering menerima aduan. Dari 27 Nov hingga 20 Jan, kami secara rawak memberikan pautan setiap tabloid baru kepada salah satu daripada tiga syarat: (a) komen tidak melekit, (b) komen melekit yang menggalakkan keraguan, (c) komen melekit yang menggalakkan keraguan + pengundian (butiran lengkap di sini ).

Kami menghantar mesej ini ke bahagian atas perbincangan berita tabloid

Yang kedua menggalakkan orang untuk mengkaji fakta artikel dan mempertimbangkan mengundurkan pautan jika mereka tidak dapat mencari bukti sokongan untuk tuntutannya:

Mesej kedua ini menggalakkan orang untuk mempertimbangkan untuk mengundurkan diri

Bolehkah Mengesan Pengaruh Perilaku Fakta Bagaimana Algoritma Reddit Lihat Berita Tidak Boleh Diyakini?

Walaupun kami yakin bahawa para pembaca akan membantu jika moderator ditanya, kami juga tertanya-tanya: jika kami menambah komen pada berita tabloid, mungkin kami secara tidak sengaja menyebabkan algoritma reddit untuk mempromosikan pautan tabloid tersebut?

Jika pemeriksaan fakta meningkatkan populariti sumber berita yang tidak boleh dipercayai, komuniti mungkin perlu memikirkan semula untuk meletakkan usaha mereka. Itulah sebabnya moderator menguji komen lengket kedua, yang mendorong para pembaca untuk mengundurkan diri.

Untuk menguji kesan komen melekit pada algoritma reddit, perisian CivilServant mengumpul data pada skor jawatan setiap empat minit. Platform tidak menyiarkan secara tepat apa yang masuk ke dalam skor atau bagaimana kedudukannya berfungsi (saya bertanya). Bagaimanapun, kami dapat meramalkan kedudukan laman web subreddit HOT daripada jawatannya dan skornya (butiran lengkap di sini). Pada dasarnya, jika pemeriksaan fakta mempunyai kesan besar pada skor artikel, maka ia mungkin mempunyai kesan ke atas ranking artikel dari masa ke masa pada halaman depan subreddit. Saya menguji ini dalam dua cara: dengan membandingkan skor selepas 24 jam, dan dengan memodelkan perubahan dalam skor dari masa ke masa.

Saya menggunakan model binomial negatif untuk menguji kesan pada skor selepas 24 jam. Seperti algoritma reddit yang berdiri semasa eksperimen kami, menggalakkan penyemakan fakta yang menyebabkan penyerahan tabloid yang diperolehi menerima 49.1% (2.04x lebih rendah) skor penyerahan tanpa komentar melekit, selepas 24 jam, secara purata di r / worldnews. Kesannya secara statistik secara signifikan. Dalam model ini, saya gagal untuk mendapatkan kesan daripada komen melekit yang menggalakkan pembaca untuk mempertimbangkan pengundian.

Saya juga menguji kesan fakta-fakta pada kadar pertumbuhan markah jawatan dari masa ke masa. Untuk menanyakan soalan ini, saya menyesuaikan model regresi linier rawak secara rawak pada skor log-berubah untuk jawatan setiap empat minit. Saya mendapati bahawa pemeriksaan fakta yang menggalakkan menyebabkan kadar pertumbuhan skor menjadi lebih rendah. Di sini, saya dapati bahawa pengundian menggalakkan sebenarnya mempunyai kesan positif yang kecil terhadap kadar pertumbuhan dalam skor dari masa ke masa, secara purata. Oleh kerana kami menjalankan eksperimen semasa perubahan dalam algoritma reddit pada awal Disember 2016, saya juga mendapati bahawa kesan komen melekit pada algoritma reddit mungkin telah berubah setelah reddit menyesuaikan algoritmanya (butiran).

Siapa yang Membantu Fakta-Semak Artikel Berita?

Daripada 930 komen bukan bot dengan pautan yang moderator dibenarkan untuk kekal, 737 akaun pengguna menyumbang pautan kepada bukti lanjut. Daripada jumlah ini, 133 akaun membuat lebih daripada satu komen dengan pautan. Ramai orang meneliti fakta-fakta mereka sendiri, dengan penyerah mengemukakan 81 komen untuk mendapatkan maklumat lanjut.

Apa yang Tidak Kita Ketahui Daripada Kajian ini?

Ujian ini melihat hasil dalam perbincangan dan bukannya akaun individu, jadi kita tidak dapat mengetahui sama ada orang perseorangan menjadi lebih ragu-ragu, atau jika komen yang melekat itu telah menyebabkan orang-orang yang ragu-ragu untuk menyiasat dan berkongsi. Saya juga tidak mempunyai apa-apa keterangan mengenai kesan pemeriksaan fakta pada pembaca, walaupun penyelidikan lain menunjukkan bahawa pemeriksaan fakta mempengaruhi kepercayaan pembaca [2] [3].

Kajian ini tidak dapat memberitahu kita banyak tentang mengapa kita melihat perubahan besar dalam kesan algoritmik apabila kita meminda mesej dengan menggalakkan pembaca untuk mempertimbangkan pengunduran. Perbezaan ini mungkin merupakan contoh dari apa yang disebut psikolog "reaktansi," suatu rintangan kepada cadangan daripada pihak berkuasa. Atau jika pengirim berita bimbang hubungan mereka mungkin akan turun, mereka mungkin meminta pertolongan, yang mengimbangi kelakuan pembaca.

Adakah ini berfungsi dengan jenis pautan lain, dalam subreddits lain, atau di tapak lain? Kajian ini terhad kepada komuniti tertentu dan senarai tapak. Walaupun saya mengesyaki bahawa banyak komuniti dalam talian pembaca yang besar akan membantu pautan menyemak fakta jika moderator ditanya, penemuan kami tentang algoritma reddit lebih jauh.

Kami dapat menjawab soalan ini jika subreddits lebih banyak memutuskan untuk mencuba eksperimen yang sama. Jika anda berminat, hubungi saya di reddit untuk membincangkan menjalankan percubaan yang sama dan mendaftar untuk kemas kini e-mel.

Ketahui Lebih Lanjut Mengenai Eksperimen Ini

PhD saya melibatkan komuniti sokongan untuk menguji kesan amalan sederhana mereka sendiri. Saya merancang percubaan ini bersama-sama dengan penyederhana r / worldnews, dan telah diluluskan oleh Jawatankuasa MIT mengenai Penggunaan Manusia sebagai Subjek Eksperimen. Jika anda mempunyai sebarang soalan atau kebimbangan, sila hubungi natematias di redditmail.

Percubaan ini, seperti semua kajian saya mengenai reddit setakat ini, dijalankan secara bebas dari platform reddit, yang tidak mempunyai peranan dalam perancangan atau reka bentuk percubaan. Percubaan belum diteliti semula. Kesemua hasil dari CivilServant disiarkan secara terbuka kepada komuniti yang terlibat sebaik sahaja hasilnya siap, dengan penerbitan akademik yang akan datang kemudian.

Butiran lengkap percubaan telah diterbitkan terlebih dahulu dalam pelan pra-analisis di osf.io/hmq5m/. Jika anda berminat dengan statistik, saya telah menerbitkan butiran lengkap analisis.

Rujukan

[1] Salganik, M. J., & Watts, D. J. (2008). Memimpin sesat itu: Satu kajian eksperimental mengenai nubuatan-nubuatan yang memuaskan diri dalam pasaran budaya buatan. Psikologi sosial setiap suku tahun, 71 (4), 338-355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz, dan John Cook. Maklumat Misinformasi dan Pembetulannya Berlanjutan Pengaruh dan Pembubaran Berjaya. Sains psikologi dalam Kepentingan Awam, 13 (3): 106-131, Disember 2012.

[3] Thomas Wood dan Ethan Porter. Kesan-Kesalahan Terowong yang Elusive: Pematuhan Fakta Tegas Sikap Massa. SSRN ID Kertas Ilmiah 2819073, Rangkaian Penyelidikan Sains Sosial, Rochester, NY, Ogos 2016.

[4] Rahwan, Iyad (2016) Persatuan-dalam-Loop: Pengaturcaraan Kontrak Sosial Algoritma. Sederhana

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios, dan Cedric Langbort. 2014. Algoritma pengauditan: Kaedah penyelidikan untuk mengesan diskriminasi di platform internet. Data dan Diskriminasi: Menukar Keprihatian Kritikal ke Penyiasatan Produktif, Mesyuarat Tahunan Persatuan Komunikasi Antarabangsa, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Ketelusan algoritma dalam media berita. Kewartawanan Digital, 1-20.

[7] Thaler, R. H., & Sunstein, C. R. (2003). Paternalisme Libertarian. Kajian Ekonomi Amerika, 93 (2), 175-179.