Microsoft dikatakan sedang mengerjakan chip AI untuk pelatihan LLM

Microsoft dikatakan sedang mengerjakan chip AI-nya sendiri yang dapat digunakan untuk melatih LLM

Setelah menginvestasikan miliaran di perusahaan yang menciptakan ChatGPT, OpenAI, Microsoft dikatakan sedang mengerjakan chip AI-nya sendiri yang dapat digunakan untuk melatih model bahasa besar, atau LLM. Microsoft membuat gelombang di bidang kecerdasan buatan (AI).

Menurut informasi yang mengutip dua sumber yang memiliki pengetahuan langsung tentang proyek tersebut, raksasa perangkat lunak tersebut telah berjalan di mikroprosesor sejak 2019. Sejumlah kecil karyawan Microsoft dan OpenAI yang mengevaluasi teknologi tersebut dikatakan sudah memiliki akses ke sana dengan nama kode. Athena.

Microsoft berharap chip tersebut akan mengungguli yang sekarang dibeli dari vendor lain, menghemat waktu dan uang untuk proyek AI yang mahal. Menurut penelitian tersebut, perusahaan teknologi terkenal lainnya seperti Amazon, Google, dan Facebook juga memproduksi prosesor AI mereka sendiri.

Untuk firma riset kecerdasan buatan OpenAI, Microsoft telah membangun superkomputer yang dapat melatih sejumlah besar model. Untuk mendukung ChatGPT dan Bing AI chatbot, perusahaan menggunakan puluhan ribu chip grafis Nvidia A100 yang terhubung ke jaringan untuk superkomputer. Dia akan membangun “superkomputer” dan dengan demikian menginvestasikan $1 miliar di OpenAI pada tahun 2019.

Microsoft membangun superkomputer ini untuk memiliki kekuatan pemrosesan yang diperlukan untuk melatih dan melatih kembali model AI yang semakin banyak dalam waktu lama menggunakan data dalam jumlah besar.

Nidhi Chappell, Pimpinan Produk Microsoft untuk Komputasi Kinerja Tinggi dan Kecerdasan Buatan di Microsoft menyatakan, “Salah satu hal yang kami pelajari dari penelitian ini adalah semakin besar model, semakin banyak data yang Anda miliki, dan semakin lama Anda berlatih, semakin akurat model.

Chip AI TPU Google

Google mengungkapkan bahwa mereka menciptakan chip AI yang dijuluki Tensor Processing Unit (TPU) yang dibuat khusus untuk aktivitas pembelajaran mesin tahun lalu. Menurut klaim, TPU menggunakan daya yang sangat kecil dan dapat melakukan miliaran operasi per detik.

TensorFlow, kerangka pembelajaran mesin sumber terbuka dari Google, dirancang untuk digunakan dengan unit pemrosesan tensor.