Google menginginkan robots.txt yang setara untuk melatih AI

Model bahasa besar dilatih pada data dalam jumlah besar, termasuk web. Google telepon sekarang Untuk “sarana yang dapat dibaca mesin untuk pemilihan dan kontrol penayang web untuk AI yang muncul dan kasus penggunaan penelusuran” atau file robots.txt terbaru.

Google mengatakan penerbit web memiliki “pilihan dan kontrol” atas konten mereka adalah bagian penting dari menjaga ekosistem yang dinamis. Menunjukkan bagaimana file robots.txt memungkinkan situs menyetel apakah mesin telusur dapat merayapi dan mengindeks kontennya.

Namun, kami memahami bahwa kontrol penayang web yang ada dikembangkan sebelum AI baru dan kasus penggunaan penelusuran.

Karena itu, Google ingin menyatukan “penerbit web, masyarakat sipil, akademisi, dan lebih banyak lagi dari seluruh dunia” untuk membahas padanan modern robots.txt untuk melatih AI. Perhatikan bagaimana komunitas ini berkembang standar webyang berusia sekitar 30 tahun, “sederhana dan transparan”.

Saat ini perusahaan memiliki pengalaman penelitian generatif, Bard, dan secara aktif melatih Gemini, model dasar generasi berikutnya.

Google menginginkan diskusi umum dengan file Daftar dari Hari Ini Izinkan Grup untuk Mengekspresikan Minat Sebelum Kami Pergi: “Milis adalah untuk anggota web dan komunitas AI yang ingin menerima pesan di masa mendatang terkait proses pengembangan cara baru yang dapat dibaca mesin untuk memberikan pilihan dan kontrol penerbit web.”

Itu akan “mengumpulkan mereka yang tertarik untuk berpartisipasi dalam beberapa bulan mendatang.”

Selengkapnya di Google AI: