GPT-4: Melampaui Misteri Ajaib

“Kami akan meninjaunya kembali dan mengatakan itu adalah AI yang sangat awal dan lambat, buggy, tidak melakukan banyak hal dengan baik,” CEO OpenAI Sam Altman mengatakan saat berpartisipasi dalam podcast dengan Lex Friedman baru-baru ini. “Tapi,” lanjut Altman, “komputer pertama tidak dan masih menunjukkan jalan menuju sesuatu yang akan sangat penting dalam hidup kita, meskipun butuh beberapa dekade untuk berevolusi.”

Dia berbicara tentang “GPT-4”, penawaran terbaru OpenAI dalam jajaran model LLM, yang telah mengejutkan banyak orang dengan kemampuannya, terutama dengan pembaruan terkini terkait plug-in di platform-Menjadikannya momen AI iOS Appstore.

Namun ketika Friedman mendorong apa yang akan menjadi momen yang menentukan dalam sejarah dua tahun kemudian – ketika sampai pada adopsi AI secara massal – Altman memikirkan ChatGPT.

“Ini tidak seperti kita bisa mengatakan di sini adalah saat ketika AI berubah dari tidak terjadi menjadi sesuatu,” kata Altman, “Jika saya harus memilih beberapa momen dari apa yang telah kita lihat sejauh ini, saya akan memilih chatGPT.”

Menurut Altman, apa yang membuat ChatGPT populer di kalangan massa adalah kemudahan penggunaannya, RLHF, dan antarmuka yang cepat.

Unduh aplikasi seluler kami

Mengapa RLHF begitu penting?

Friedman mengatakan bahwa pembelajaran penguatan melalui umpan balik manusia (RLHF) adalah bahan rahasia yang meningkatkan kinerja model pembelajaran mesin.

Melanjutkan percakapan, Friedman mengatakan bahwa sementara model seperti ChatGPT dapat dilatih pada data teks dalam jumlah besar, mereka sering kurang praktis saat diuji. “Meskipun bekerja dengan baik dalam evaluasi dan tes, model dasar tidak terlalu berguna dalam praktiknya,” kata Altmann.

“Namun, RLHF,” lanjut Altman, “yang melibatkan penggabungan umpan balik manusia ke dalam pelatihan model, dapat sangat meningkatkan kegunaan.”

Dia lebih lanjut menjelaskan bahwa bentuk paling sederhana dari RLHF melibatkan penyajian dua hasil kepada manusia dan menanyakan mana yang lebih baik, dan kemudian menggunakan umpan balik tersebut untuk melatih model menggunakan teknik pembelajaran penguatan. Proses ini memungkinkan model untuk belajar dari preferensi manusia dan menyesuaikan hasilnya. “Menurut saya, RLHF adalah cara yang sangat efektif untuk meningkatkan performa model pembelajaran mesin,” ujar Altman.

Pada dasarnya, seperti yang kemudian ditunjukkan Friedman, model bahasa besar yang dilatih pada kumpulan data besar yang menciptakan kebijaksanaan yang ditemukan di Internet menjadi lebih mengesankan setelah beberapa tingkat panduan manusia ditambahkan di atasnya.

Dengan memasukkan panduan manusia ke dalam proses pelatihan, model dapat memahami preferensi manusia dengan lebih baik, menjadikannya lebih efisien dalam memberikan keluaran yang akurat dan relevan. “Rasa keselarasan antara pengguna dan formulir sangat penting untuk membuat formulir lebih fungsional dan bermanfaat,” kata Altmann.

GPT-4: Kebijaksanaan Manusia

Percakapan mengambil arah yang berbeda ketika Friedman bertanya kepadanya apakah ada pemahaman yang berkembang dalam OpenAI tentang sifat “benda” yang membuat model GPT begitu kuat atau apakah itu masih semacam misteri magis yang manis?

Altmann percaya bahwa ada banyak skala evaluasi berbeda yang dapat digunakan untuk mengukur kinerja model, baik selama maupun setelah pelatihan. “Namun, ukuran yang paling penting adalah seberapa bermanfaat dan berdampak keluaran model bagi orang-orang,” kata Altman.

“Ini termasuk nilai dan utilitas yang diberikannya serta kegembiraan yang dibawanya, dan cara Anda dapat membantu menciptakan dunia yang lebih baik melalui ilmu pengetahuan, produk, dan layanan baru,” tambah Altmann.

Selain itu, dia menyatakan bahwa meskipun para peneliti mendapatkan pemahaman yang lebih baik tentang cara kerja model GPT untuk input tertentu, masih banyak yang belum mereka pahami sepenuhnya. “Kami tidak selalu dapat menjelaskan mengapa sebuah model membuat keputusan tertentu atas yang lain, meskipun kami membuat kemajuan di bidang ini,” jelas Altman.

“Misalnya, membuat GPT-4 membutuhkan banyak pemahaman, tetapi kami mungkin tidak sepenuhnya memahami sejumlah besar data yang Anda kompres menjadi sejumlah kecil parameter,” kata Altmann.

Menurutnya, GPT-4 bisa dianggap sebagai gudang ilmu manusia. Selain itu, Altman percaya bahwa aspek yang menarik dari model GPT adalah kemampuannya untuk bernalar. “Meskipun mungkin ada ketidaksepakatan tentang apa yang dimaksud dengan logika, banyak pengguna sistem mengakui bahwa ia melakukan sesuatu ke arah itu, yang luar biasa,” catatnya.

CEO OpenAI percaya bahwa dengan mengasimilasi pengetahuan manusia, model tersebut memperoleh suatu bentuk kemampuan penalaran yang dapat menambah kebijaksanaan manusia dalam beberapa hal. Dia juga mengatakan bahwa itu dapat digunakan untuk tugas-tugas yang tidak membutuhkan kebijaksanaan sama sekali.

“Dalam konteks interaksi dengan manusia, model GPT tampaknya memiliki kearifan, terutama saat menangani banyak masalah dan interaksi yang sedang berlangsung,” kata Altman.