Peneliti Facebook telah meluncurkan model AI Algoritma baru Facebook yang dapat belajar dari sekelompok acak gambar tanpa label di internet. Dalam terobosan yang meskipun masih dalam tahap awal, tim mengharapkan untuk menghasilkan “revolusi” dalam visi komputer.
SEER (SElf-SupERvised), model ini dengan satu miliar gambar Instagram yang tersedia untuk umum. Yang sebelumnya tidak ada kuratori secara manual.
Tetapi bahkan tanpa label dan anotasi yang biasanya masuk ke pelatihan algoritma. SEER dapat secara otonom bekerja melalui set data, belajar seperti yang sedang terjadi. Dan akhirnya mencapai tingkat akurasi teratas pada tugas-tugas seperti deteksi objek.
Metode ini, yang secara nama tepat pembelajaran yang penuh pengawasan. Sudah mapan di bidang AI: itu terdiri dari menciptakan sistem yang dapat belajar langsung dari informasi yang ada. Tanpa harus mengandalkan set data berlabel hati-hati untuk mengajari mereka cara melakukan tugas. Seperti mengenali objek dalam foto atau menerjemahkan blok teks.
Pembelajaran yang penuh pengawasan telah mengumpulkan banyak perhatian ilmiah akhir-akhir ini. Karena itu berarti bahwa keperluan data yang jauh lebih sedikit. Tugas yang sangat memakan waktu oleh sebagian besar peneliti.
Pada saat yang sama, tanpa perlu set data yang terkuratori. Model pengawasan diri dapat bekerja dengan set data yang lebih besar dan lebih beragam.
Dalam beberapa bidang, terutama pemrosesan bahasa alami, metode ini telah menyebabkan terobosan; algoritma yang dilatih pada teks tanpa label dalam jumlah yang semakin besar telah memungkinkan kemajuan dalam aplikasi. Seperti jawaban pertanyaan, terjemahan mesin, inferensi bahasa alami, dan banyak lagi.
SEER (SElf-SupERvised) Algoritma baru Facebook
Sebaliknya, visi komputer belum sepenuhnya melompat ke revolusi pembelajaran self-supervised. Sebagai Priya Gopal, insinyur perangkat lunak di Facebook AI Research, menjelaskan, SEER menandai yang pertama di lapangan.
“SEER adalah model visi komputer pertama dengan self-supervised dengan pelatihan pada gambar internet acak. Dibandingkan dengan karya self-supervised yang ada dalam visi komputer. Yang telah terlatih pada set data ImageNet yang sangat terkuratori.”
ImageNet, pada efeknya, adalah database skala besar dari jutaan gambar yang dengan label oleh para peneliti. Dan pembukaan untuk komunitas visi komputer yang lebih besar untuk memajukan perkembangan di AI.
Basis data proyek ini berguna sebagai tolok ukur oleh para peneliti Facebook untuk mengevaluasi kinerja SEER. Yang menemukan bahwa model self-supervised mengungguli sistem AI dengan pengawasan secara canggih pada tugas-tugas. Seperti low-shot, deteksi objek, segmentasi, dan klasifikasi gambar.
“SEER mengungguli model self-supervised dengan berlatih hanya pada gambar acak,” kata Goyal. “Hasil ini pada dasarnya menunjukkan bahwa kita tidak memerlukan set data yang sangat terkuratori. Seperti ImageNet dalam visi komputer dan pengawasan diri pada gambar acak menghasilkan model yang sangat berkualitas tinggi.”
Dengan tingkat kebutuhan kecanggihan untuk pembelajaran self-supervised, pekerjaan para peneliti bukan tanpa tantangan.
Ketika datang ke teks, model AI bertugas untuk menetapkan arti pada kata-kata; tetapi dengan gambar, algoritma harus memutuskan bagaimana setiap piksel sesuai dengan konsep. Sambil memperhitungkan berbagai sudut, pandangan, dan bentuk yang dapat diambil oleh satu konsep dalam gambar yang berbeda.
Dengan kata lain, para peneliti membutuhkan banyak data, dan model yang mampu memperoleh setiap konsep visual. Yang mungkin dari kumpulan informasi yang kompleks ini.
Untuk melaksanakan tugas tersebut, Goyal dan timnya mengadaptasi algoritma baru dari karya Facebook AI yang sudah ada dalam pembelajaran self-supervised. Dengan sebutan SwAV, yang mengelompokkan gambar yang menunjukkan konsep serupa ke dalam grup terpisah.
Persiapan sebelum SEER (SElf-SupERvised) berfungsi sepenuhnya
Para ilmuwan juga merancang jaringan konvolusional – algoritma pembelajaran mendalam yang menon model pola konektivitas neuron di otak manusia. Untuk menetapkan pentingnya objek yang berbeda dalam gambar.
Dengan kumpulan data berbasis Instagram yang kuat, skala sistemnya besar, untuk sedikitnya. Tim Facebook menggunakan GPU V100 Nvidia dengan RAM 32GB, dan ketika ukuran model meningkat, harus sesuai dengan model dalam RAM yang tersedia.
Tetapi Goyal menjelaskan bahwa penelitian lebih lanjut akan berguna untuk memastikan bahwa kemampuan komputasi penyesuaian dengan sistem baru.
“Ketika kami melatih model pada semakin banyak GPU, komunikasi antara GPU tersebut perlu cepat untuk pelatihan yang lebih cepat. Tantangan seperti itu dapat diatasi dengan mengembangkan perangkat lunak dan teknik penelitian. Yang jelas yang efisien untuk memori dan anggaran runtime yang ada,” katanya.
Meskipun masih ada beberapa pekerjaan yang harus dilakukan, oleh karena itu. Sebelum SEER dapat bermanfaat untuk kasus penggunaan dunia nyata, Goyal berpendapat bahwa dampak teknologi tidak boleh diremehkan.
“Dengan SEER, kita sekarang dapat membuat kemajuan lebih lanjut dalam visi komputer. Dengan melatih model besar pada banyak gambar internet acak,” katanya.
“Terobosan ini dapat memungkinkan revolusi pembelajaran self-supervised dalam visi komputer. Yang mirip dengan apa yang telah kita lihat dalam pemrosesan bahasa alami dengan teks.”
Di Facebook, SEER dapat berguna untuk berbagai tugas visi komputer. Mulai dari menghasilkan deskripsi gambar secara otomatis hingga membantu mengidentifikasi konten yang melanggar kebijakan. Di luar perusahaan, teknologi ini juga dapat berguna di bidang yang memiliki gambar dan metadata terbatas, seperti pencitraan medis.
Tim Facebook telah menyerukan lebih banyak pekerjaan yang harus melakukan untuk mendorong SEER ke tahap pengembangan berikutnya.
Sebagai bagian dari penelitian, tim mengembangkan perpustakaan berbasis PyTorch serbaguna untuk pembelajaran self-supervised dengan nama VISSL. Yang merupakan sumber terbuka untuk mendorong komunitas AI yang lebih luas untuk menguji dengan teknologi.
