Claude AI Anthropic sekarang dapat mencerna seluruh buku seperti The Great Gatsby dalam hitungan detik

Pada hari Kamis, AI Anthropic Company mengumumkan Saya telah memberikan model ChatGPT mirip AI Claude kemampuan untuk menganalisis nilai materi seluruh buku dalam waktu kurang dari satu menit. Kemampuan baru ini berasal dari perluasan jendela konteks Claude menjadi 100.000 karakter, atau sekitar 75.000 kata.

Seperti GPT-4 OpenAI, Claude adalah model bahasa besar (LLM) yang bekerja dengan memprediksi token berikutnya secara berurutan saat input tertentu diberikan. Token adalah potongan kata yang digunakan untuk menyederhanakan pemrosesan data AI, dan “jendela konteks” mirip dengan memori jangka pendek – jumlah data input yang disediakan manusia yang dapat diproses oleh LLM pada satu waktu.

Jendela konteks yang lebih besar berarti bahwa LLM dapat mempertimbangkan karya yang lebih besar seperti buku atau terlibat dalam percakapan interaktif yang sangat panjang yang mencakup “berjam-jam atau bahkan berhari-hari”, menurut Anthropic:

Rata-rata orang dapat membaca 100.000 simbol teks dalam waktu sekitar 5 jam atau lebih, setelah itu mereka mungkin membutuhkan waktu lebih lama untuk menyerap, mengingat, dan mengurai informasi ini. Claude sekarang dapat melakukannya dalam waktu kurang dari satu menit. Misalnya, kami memuat teks lengkap The Great Gatsby ke Claude-Instant (Token 72K) dan memodifikasi satu baris untuk mengatakan bahwa Mr. Carraway adalah “seorang insinyur perangkat lunak yang mengerjakan alat pembelajaran mesin di Anthropic”. Saat kami meminta model untuk melihat perbedaannya, ia menjawab dengan jawaban yang benar dalam 22 detik.

Meskipun kedengarannya tidak terlalu mengesankan saat memilih perubahan dalam teks (Microsoft Word dapat melakukan ini, tetapi hanya jika ada dua dokumen untuk dibandingkan), perlu diingat bahwa setelah memberi makan teks Claude Gatsby yang hebatModel AI kemudian dapat menjawab pertanyaan tentangnya secara interaktif atau menganalisis maknanya. 100.000 token adalah peningkatan besar untuk LLM. Sebagai perbandingan, GPT-4 LLM OpenAI menawarkan panjang jendela konteks 4.096 karakter (sekitar 3.000 kata) bila digunakan sebagai bagian dari ChatGPT dan 8.192 atau 32.768 karakter melalui API GPT-4 (yang saat ini hanya tersedia melalui antrian).

Untuk memahami bagaimana jendela konteks yang lebih besar menghasilkan percakapan yang lebih panjang dengan chatbot seperti ChatGPT atau Claude, kami membuat diagram dari artikel sebelumnya yang menunjukkan bagaimana ukuran perintah (yang disimpan di jendela konteks) diperluas untuk menampung semua teks percakapan. Artinya, percakapan dapat berlangsung lebih lama sebelum chatbot kehilangan “memori” percakapan tersebut.

Menurut Anthropic, kemampuan Claude yang ditingkatkan menambah penanganan buku-buku sebelumnya. Jendela konteks yang diperluas dapat membantu perusahaan mengekstrak informasi penting dari beberapa dokumen melalui interaksi percakapan. Perusahaan menyarankan bahwa pendekatan ini dapat mengungguli metode berbasis pencarian vektor saat menangani kueri kompleks.

Meskipun nama Anthropic di AI tidak sebesar Microsoft dan Google, Anthropic telah muncul sebagai pesaing utama OpenAI dalam hal penawaran kompetitif di LLM dan akses API. Mantan Wakil Presiden Riset OpenAI Dario Amodi dan saudara perempuannya Daniela didirikan Antropy pada tahun 2021 setelah ketidaksepakatan atas arah komersial OpenAI. Khususnya, Anthropic menerima $300 juta investasi dari Google pada akhir 2022, dengan Google mengakuisisi 10 persen saham di perusahaan tersebut.

Anthropic mengatakan bahwa jendela konteks 100k sekarang tersedia untuk penggunanya Claude APIyang saat ini dibatasi oleh file Daftar tunggu.