Belajar Mengenang: Rangka Kerja yang Diperkukuh Kerangka Berkapasiti untuk Pembelajaran Secara Berterusan

Oleksiy Ostapenko, Tassilo Klein, Moin Nabi (ML Research)

Manusia mempunyai keupayaan luar biasa untuk belajar secara berterusan sepanjang hayat mereka. Keupayaan untuk menerapkan ilmu pengetahuan terdahulu kepada situasi, persekitaran dan tugas baru membentuk ciri utama kecerdasan manusia. Pada peringkat biologi, ini biasanya dikaitkan dengan keupayaan untuk selektif menyimpan dan mentadbir kenangan selama jangka masa yang cukup lama dalam sambungan saraf dipanggil sinaps. Tidak seperti otak biologi, Rangkaian Neural Buatan konvensional (ANN) tidak mempunyai keupayaan untuk mengawal kekuatan sambungan sinaptik antara neuron. Ini membawa kepada kenangan memori yang sangat pendek dalam ANN - kesan yang dikenali sebagai melanda bencana.

Dalam dekad yang lalu kebanyakan penyelidikan dalam bidang Kepintaran Buatan (AI) telah diarahkan untuk melampaui tahap prestasi manusia di atas tugas yang terisolasi, jelas seperti bermain permainan komputer, mengurut e-mel spam, mengklasifikasikan kucing dari anjing dan mengiktiraf ucapan, hanya untuk menamakan beberapa. Akibatnya, kebanyakan AI yang mengelilingi kita dalam kehidupan seharian kita boleh dirujuk sebagai Kecerdasan Pensuisan Buatan atau AI yang lemah. Sebaliknya, AI yang kuat merujuk kepada AI seperti manusia yang dapat melaksanakan tugas cerdas, sambil belajar terus menerus, lupa secara selektif, dengan cepat beradaptasi dengan tugas baru dan menggunakan pengalaman sebelumnya. Ciri-ciri ini baru-baru ini mula mendapat perhatian oleh penyelidik AI.

Mengapa pembelajaran berterusan? Kunci kepada senario yang sentiasa berubah

Memalukan dan kehilangan pemindahan pengetahuan merupakan salah satu cabaran utama dalam perjalanan dari AI yang lemah kepada AI yang kuat. Tidak seperti manusia, yang melupakan secara selektif, mesin lupa bencana. Oleh itu, semasa "bayi belajar merangkak, berjalan dan kemudian berlari" (~ Dave Waters), AI benar-benar akan lupa merangkak apabila ia belajar bagaimana untuk berjalan, dan ia akan lupa berjalan apabila ia belajar bagaimana untuk berjalan. Sebelum mengkaji penyelesaian yang mungkin kepada cabaran pembelajaran sepanjang hayat, mari kita pertimbangkan contoh mudah bagi carian katalog berasaskan AI.

Model pembelajaran mesin yang dilatih dalam dataset yang mengandungi item pakaian dari musim (A) akan melakukan sangat baik ketika mencari di kalangan produk A (musim) ini. Walau bagaimanapun, apabila musim berubah, trend fesyen mungkin berubah juga. Apabila trend fesyen berubah, kategori produk baru, model dan gaya mungkin ditambah ke katalog (mis. Kasut tumit tinggi bukannya kasut, jaket panjang dan bukan jaket pendek dll). Model yang dilatih pada data musim pertama (A) tidak akan berfungsi dengan baik ketika mencari melalui item yang telah ditambahkan pada musim baru. Sebenarnya, hanya melatih model kami mengenai data dari musim baru, akan membawa kepada bencana yang melanda keupayaan untuk mencari di antara item musim terdahulu.

Cara biasa menyelesaikan melupakan?

Salah satu teknik terawal untuk mengurangkan melupakan bencana di ANN dikenali sebagai replay pengalaman atau "latihan". Melanjutkan dengan contoh carian katalog kami, untuk mengekalkan maklumat yang dipelajari pada musim pertama, model pembelajaran mesin semata-mata dilatih semula dari awal pada campuran data dari kedua-dua musim, iaitu pengetahuan sebelum ini dipelajari ke model yang dilatih data musim baru. Secara amnya, latihan semula model setiap kali pengagihan data "beralih" akan mengakibatkan meletupkan kos penyimpanan data dan usaha yang diperlukan untuk mengekalkan sistem pintar, apatah lagi pengurangan dramatikal skalabilitas sistem. Akhirnya, menyimpan data mentah dari tugas-tugas terdahulu sebahagian besarnya boleh melanggar keperluan privasi data aplikasi dunia nyata.

Dalam konteks ini, banyak penyelidik telah menumpukan pada simulasi kepekaan neural dalam ANN dan dengan itu mengurangkan keperluan penyimpanan data mentah (1,2,3,4,5,6). Ini biasanya dilakukan dalam persediaan yang dipanggil "penambahan tugas", di mana setiap data yang baru ditambah dianggap sebagai tugas yang berasingan dan maklumat mengenai label tugas diandaikan tersedia pada masa ujian. Kembali ke contoh carian katalog, ini memerlukan maklumat mengenai label musim (label tugas) untuk dimasukkan ke dalam setiap pertanyaan; jadi mengelaskan barangan pakaian yang diberikan akan memerlukan maklumat mengenai musim yang dimiliki oleh (label tugas). Mempunyai "label tugas" sedemikian akan secara automatik mengurangkan output model kepada kelas yang dimiliki oleh tugas yang diandaikan. Oleh itu, dalam contoh di atas, ia hanya akan menyekat model untuk musim tertentu. Andaian ini jarang dapat dipenuhi dalam aplikasi dunia sebenar.

Garis kerja yang berasingan menangani dunia yang lebih nyata seperti senario. Dalam senario "peningkatan kelas" ini, keluaran pengelasan model diperluas secara berterusan semasa kelas baru dipelajari. Dalam konteks ini strategi umum adalah untuk memperkenalkan komponen ingatan generatif yang dipanggil (mis. 7,8,9). Di sini, bukannya menyimpan data mentah, model generatif seperti GAN atau VAE (lihat blogpost sebelumnya) dilatih untuk menjana pengalaman yang akan dimainkan semula. Oleh itu, dalam contoh katalog, item (dengan kelas yang bersamaan) musim pertama akan dihasilkan dan diproses semula kepada model.

Pendekatan memori generatif sedia ada bergantung pada gagasan ulangan generatif mendalam di mana model generatif berulang kali dilatih semula pada campuran data sebenar yang sedia ada (musim baru) dan episod replay yang disintesis oleh penjana terdahulu (musim lalu). Walau bagaimanapun, selain daripada latihan yang tidak cekap, pendekatan ini sangat terdedah kepada kesan yang dikenali sebagai "hanyutan semantik". "Penangkapan semantik" merujuk kepada kualiti imej yang dihasilkan pada setiap replay memori bergantung pada imej yang dihasilkan sebelumnya, menyebabkan kerentanan kepada penyebaran ralat dan mengakibatkan kehilangan kualiti dan melupakan.

Penyelesaian yang dicadangkan - Pembelajaran plastik di dalam rangkaian memori generatif

Setakat ini, kami telah mengetahui bahawa pengalaman replay merupakan strategi yang mudah dan berguna untuk mengatasi melupakan ANNs secara umum, dan terutamanya dalam situasi "kelas tambahan" yang mencabar. Namun, strategi ini hanya terpakai apabila episod replay tidak disimpan sebagai data mentah tetapi dalam bentuk corak ingatan yang relevan dan berkesan.

Untuk mengatasi masalah ini, dalam kerja-kerja baru-baru ini, kami mencadangkan satu kaedah yang dikenali sebagai Dynamic Generative Memory (DGM) - kerangka pembelajaran berterusan yang berterusan hingga ke akhir yang menyerupai plastisitas sinaptik dengan topeng perhatian yang boleh dipelajari yang digunakan pada parameter rangkaian generatif (GAN) . Pelekat perhatian keras mengenal pasti segmen rangkaian yang penting untuk menghafal maklumat yang sedang dipelajari dan menghalang kemas kini mereka semasa pembelajaran masa depan. Rangkaian ini semakin terinsentrasi untuk menggunakan semula pengetahuan yang telah dipelajari sebelum ini, yang disimpan dalam segmen rangkaian "rizab" sedemikian yang menghasilkan pemindahan pengetahuan ke hadapan yang positif. Oleh itu, dalam contoh katalog produk kami, pengetahuan mengenai item katalog dari musim terdahulu dapat digunakan semula dengan berkesan ketika mempelajari barang-barang musim baru. Secara keseluruhannya, DGM dapat mempelajari tugas-tugas baru tanpa perlu memainkan semula pengetahuan lama, sehingga meningkatkan kecekapan pelatihan dan menjadi lebih kuat dalam menghadapi melupakan bencana.

Akibatnya, DGM dapat menghasilkan sampel yang bermaklumat dan beraneka ragam kategori yang telah dipelajari sebelum ini di mana-mana langkah pembelajaran berterusan seperti yang ditunjukkan dalam gambar di bawah. Menyalin semula sampel ini kepada model penyelesaian tugas (D) menghasilkan model yang dapat mengekalkan prestasi klasifikasi yang tinggi pada semua kelas yang telah dilihat semasa proses pembelajaran berterusan.

Pada skalabiliti

Memandangkan saiz rangkaian yang terhad, tidak dapat dielakkan bahawa dengan semakin banyak tugas untuk belajar, kapasiti model habis pada beberapa ketika. Isu ini diperburuk apabila simulasi keplastikan saraf dengan paras paras perhatian keras. Untuk menjamin kapasiti yang mencukupi dan kuasa ekspresif yang berterusan rangkaian asas, DGM menyimpan bilangan "percuma" parameter (iaitu sekali yang boleh dikemas kini secara berkesan) secara berterusan dengan memperluaskan rangkaian dengan tepat bilangan parameter yang dikhaskan untuk sebelumnya tugas. Idea utama di sini, ialah dengan pemindahan pengetahuan yang positif ke hadapan (iaitu reusability parameter), bilangan reservasi parameter untuk tugas baru harus berkurang dari masa ke masa dan pertumbuhan rangkaian harus menembus pada titik tertentu.

Untuk butiran teknikal mengenai kaedah DGM, sila rujuk kepada kertas lengkap mengenai arXiv.

Walaupun masih jauh dari menyelesaikan masalah bencana yang melanda sepenuhnya, dan walaupun terdapat beberapa batasan, DGM menunjukkan pertumbuhan rangkaian yang cekap dan keteguhan terhadap melupakan bencana dalam persediaan kelas "peningkatan" yang mencabar. Kami percaya bahawa penyelidikan yang disampaikan dapat membantu kami memajukan pemahaman kami tentang pembelajaran berterusan - keupayaan penting dalam perjalanan ke arah mencapai AI yang kuat, yang dapat belajar (dan lupa) secara adaptif dan progresif dari masa ke masa.

Kerja kami dalam pembelajaran sepanjang hayat dibentangkan di CVPR 2019.

Mengenai pengarang: Oleksiy Ostapenko, seorang Jurutera Penyelidik Bersekutu di pasukan penyelidikan pembelajaran mesin SAP, sedang berusaha menghadapi cabaran pembelajaran sepanjang hayat yang dibincangkan dalam jawatan ini dalam karya beliau yang akan dibentangkan di CVPR tahun ini.