Chatbot AI Google yang sehat lulus ujian medis AS: belajar

Obrolan medis bertenaga AI Google memiliki skor kelulusan pada ujian lisensi medis AS yang sulit, kata sebuah studi 12 Juli, tetapi jawabannya masih lebih rendah daripada jawaban dokter manusia.

Tahun lalu, versi ChatGPT — yang pengembangnya OpenAI didukung oleh saingan Google Microsoft — memulai perlombaan di antara raksasa teknologi di bidang kecerdasan buatan yang sedang berkembang.

Sementara banyak yang telah dibuat tentang kemungkinan – dan risiko – AI di masa depan, kesehatan adalah salah satu bidang di mana teknologi telah menunjukkan kemajuan yang signifikan, dengan algoritme yang mampu membaca pemeriksaan medis tertentu serta manusia.

Google pertama kali mengungkapkan alat AI-nya untuk menjawab pertanyaan medis, yang disebut Med-PaLM, dalam studi pracetak bulan Desember. Tidak seperti ChatGPT, itu belum dirilis ke publik.

Raksasa teknologi AS mengatakan Med-PaLM adalah model bahasa besar pertama, teknologi kecerdasan buatan yang dilatih pada sejumlah besar teks yang diproduksi manusia, yang lulus Ujian Perizinan Medis AS (USMLE).

Nilai kelulusan ujian yang diambil oleh mahasiswa kedokteran dan dokter yang dilatih di Amerika Serikat adalah sekitar 60%.

Pada bulan Februari, sebuah penelitian mengatakan bahwa ChatGPT memiliki hasil yang sukses atau hampir sukses.

Dalam studi peer-review yang diterbitkan di Nature pada 12 Juli, peneliti Google mengatakan Med-PaLM mendapat skor 67,6% pada pertanyaan pilihan ganda gaya USMLE.

“Med-PaLM bekerja dengan semangat, tetapi tetap kalah dengan dokter,” kata studi tersebut.

halusinasi

Untuk mengidentifikasi dan mengurangi “halusinasi” – nama ketika model kecerdasan buatan memberikan informasi palsu – Google mengatakan telah mengembangkan kriteria evaluasi baru.

Karan Singhal, seorang peneliti di Google dan penulis utama studi baru tersebut, mengatakan kepada AFP bahwa tim tersebut menggunakan tolok ukur untuk menguji versi baru model mereka dengan hasil yang “sangat menarik”.

Med-PaLM 2 mencapai 86,5% pada ujian USMLE, mengungguli versi sebelumnya sekitar 20%, menurut studi pracetak yang dirilis pada bulan Mei yang belum ditinjau oleh rekan sejawat.

‘Gajah di kamar’

“Ada seekor gajah di dalam ruangan” dari chatbot medis bertenaga AI, kata James Davenport, seorang ilmuwan komputer di University of Bath, Inggris, yang tidak terlibat dalam penelitian tersebut.

Ada perbedaan besar antara menjawab “pertanyaan medis” dan pengobatan yang sebenarnya, “yang melibatkan diagnosis dan pengobatan masalah kesehatan yang sebenarnya,” katanya.

Halusinasi cenderung selalu menjadi masalah untuk model bahasa sebesar itu, kata Anthony Cohn, pakar kecerdasan buatan di University of Leeds, Inggris, karena sifat statistiknya.

Oleh karena itu, Mr. Cohn berkata, model-model ini “harus selalu dilihat sebagai pembantu daripada pembuat keputusan akhir.”

Mr Singhal mengatakan bahwa di masa depan Med-PaLM dapat digunakan untuk mendukung dokter untuk menawarkan alternatif yang mungkin belum pernah dipertimbangkan sebelumnya.

The Wall Street Journal melaporkan awal pekan ini bahwa Med-PaLM 2 telah diuji di rumah sakit penelitian Mayo Clinic yang bergengsi di AS sejak April.

Mr Singhal mengatakan dia tidak bisa berbicara tentang kemitraan tertentu.

Tetapi dia menekankan bahwa tidak ada tes yang “klinis, menghadap pasien, atau berpotensi membahayakan pasien.”

Alih-alih itu untuk “lebih banyak tugas administratif yang dapat diotomatisasi dengan relatif mudah, dan dengan risiko rendah,” tambahnya.