Plugin ChatGPT Sumber Terbuka OpenAI – Tanya Jawab dengan Roy Miara

Buka AI Baru-baru ini diumumkan Dukungan plugin ChatGPT, yang memungkinkan model bahasa untuk mengakses alat dan basis data eksternal. Perusahaan juga telah membuka kode file sumber Plugin pencarian pengetahuanyang dapat digunakan organisasi untuk memberikan akses berbasis ChatGPT ke dokumen dan data mereka.

Meskipun LLM seperti ChatGPT dapat menjawab banyak pertanyaan dengan benar, pengetahuan mereka mungkin sudah ketinggalan zaman, karena tidak diperbarui setelah pelatihan LLM. Selain itu, formulir hanya dapat menampilkan teks, yang artinya tidak dapat bertindak langsung atas nama pengguna.

Untuk membantu memecahkan masalah ini, para peneliti telah mengeksplorasi cara untuk memungkinkan LLM menerapkan API atau mengakses basis data pengetahuan. Sistem plugin ChatGPT akan memungkinkan model untuk berintegrasi dengan sistem eksternal seperti basis pengetahuan dan API pihak ketiga. Ekstensi loopback memungkinkan formulir untuk melakukan pencarian semantik terhadap file basis data vektor. Karena plugin dihosting sendiri, organisasi dapat menyimpan dokumen internal mereka dengan aman di database, memungkinkan pengguna untuk berinteraksi dengan data melalui antarmuka bahasa alami ChatGPT.

Plugin ini mendukung beberapa database vektor komersial dan sumber terbuka, termasuk yang dikembangkan oleh biji pinus, yang menyumbangkan kode plugin open source. Bicaralah dengan InfoQ Roy Mayarayang merupakan direktur teknik di Pinecone, tentang kontribusinya pada plugin.

InfoQ: Apa itu plugin ChatGPT, dan khususnya, untuk apa plugin Retrieval digunakan?

Roy Mayara: Plug-in ChatGPT berfungsi sebagai alat pelengkap yang memudahkan untuk mengakses informasi yang ada, melakukan penghitungan, atau mengintegrasikan layanan ChatGPT pihak ketiga. Plugin Retrieval, khususnya, memungkinkan ChatGPT memperoleh pengetahuan eksternal melalui teknik pencarian semantik. Ada dua model umum untuk menggunakan plugin Retrieval: 1) menggunakan plugin untuk mengakses data pribadi atau organisasi, dan 2) mengimplementasikan plugin sebagai komponen memori di dalam ChatGPT. Keduanya menggunakan pencarian semantik sebagai cara model untuk merumuskan ulang klaim pengguna sebagai kueri ke database vektor seperti Pinecone, Milvus, atau Weaviate.

InfoQ: Apa saja kelebihan yang dimiliki plugin ChatGPT dibandingkan integrasi LLM lainnya seperti LangChain?

Mayara: Meskipun LangChain memungkinkan pengalaman “proksi” dengan alat dan string, plugin ChatGPT lebih cocok untuk mengembangkan aplikasi AI. Keuntungan plugin ChatGPT meliputi: 1) implementasi yang lebih kompleks yang memanfaatkan kemampuan plugin internal OpenAI, berlawanan dengan pendekatan LangChain dalam menggabungkan informasi plugin sebagai vektor bentuk, dan 2) dukungan untuk metode keamanan dan autentikasi, yang penting untuk pengembangan Aplikasi AI, tidak khususnya saat mengakses data pribadi atau melakukan tindakan atas nama pengguna. Fitur-fitur ini tidak ada dalam penawaran Langchain saat ini.

InfoQ: Bisakah Anda menjelaskan kontribusi Anda pada proyek sumber terbuka plugin loopback?

Mayara: Datastore biji pinus telah berkontribusi pada proyek, bersama dengan beberapa peningkatan internal lainnya untuk pengujian dan dokumentasi. Implementasi inti secara keseluruhan mengikuti model parsial/permintaan/hapus Pinecone, dan saat ini kami sedang mengerjakan kueri campuran dan teknologi kueri tingkat lanjut lainnya.

InfoQ: Bisakah Anda memberikan beberapa detail teknis tentang cara kerja plug-in ChatGPT biasa?

Mayara: Plugin ChatGPT adalah server web yang menampilkan pernyataan “bantuan” ke ChatGPT, menjelaskan operasi plugin sebagai prompt dan referensi API sebagai spesifikasi OpenAPI yaml. Dengan menggunakan itu, ChatGPT memahami berbagai panggilan API yang mungkin dilakukan, dan instruksi yang harus Anda ikuti.

Jadi untuk membangun plugin kita harus membangun logika aplikasi, dan implementasi server web berikut Spesifikasi OpenAPI, dan publikasikan server agar ChatGPT dapat mengaksesnya. Meskipun tidak ada batasan untuk logika aplikasi yang dapat diterapkan, tidak disarankan untuk membuat server API yang kompleks, karena hal ini dapat menyebabkan perilaku yang tidak diinginkan, kebingungan, dll.

Kami menemukan bahwa bagian ‘description_for_model’ dari manifes, yang pada dasarnya adalah perintah yang dimasukkan sebelum mengambil konteks, adalah kunci keberhasilan plugin. OpenAI menawarkan beberapa panduan, tetapi pada akhirnya, pengembang akan menemukan router yang tepat untuk tugas tersebut.

InfoQ: OpenAI menyatakan bahwa plug-in “dirancang khusus untuk model bahasa dengan keselamatan sebagai prinsip utama.” Apa saja tantangan keamanan yang Anda temui dalam mengembangkan plugin Anda?

Mayara: Pertama, mengaktifkan ChatGPT untuk mengakses data pribadi atau organisasi memerlukan penerapan fitur keamanan dan integritas data. Plugin ini dirancang untuk menangani autentikasi API, memastikan akses aman ke data untuk tujuan baca dan tulis.

Kedua, paradigma bahasa generatif sering bergulat dengan halusinasi dan masalah keselarasan. Kami melihat bahwa plugin versi sebelumnya terkadang memberikan respons yang salah terhadap kueri, tetapi iterasi selanjutnya menunjukkan akurasi yang lebih baik sekaligus mengakui ketika beberapa pertanyaan berada di luar jangkauan. Selain itu, dengan menjalankan plug-in dalam alfa untuk waktu yang lama, OpenAI dapat menyelaraskan hasil dengan lebih baik sebelum merilisnya ke audiens yang lebih luas.

Selain itu, penting untuk diperhatikan bahwa fitur plug-in dirancang dengan transparansi penuh untuk pengguna. Pertama, pengguna secara eksplisit menentukan plugin mana yang ingin mereka aktifkan untuk digunakan dengan ChatGPT. Kedua, saat ChatGPT menggunakan plugin, ini dengan jelas menunjukkan hal ini kepada pengguna, sekaligus memudahkan untuk menampilkan hasil spesifik yang telah diberikan layanan plugin ke konteks ChatGPT.