Perangkat AI Seukuran Powerbank Ini Punya Kecerdasan Setara Doktor

- Ukuran perangkat ini mini dan ringkas karena dapat ditaruh di saku pengguna. Namun, kemampuannya diklaim setara dengan level doktor atau PhD.

Perangkat ini diberi nama AI Pocket Lab, dikembangkan oleh startup Amerika Serikat, Tiiny AI.

AI Pocket Lab diklaim sebagai superkomputer kecerdasan buatan (AI) paling kecil di dunia karena ukurannya hanya sebesar powerbank kecil. Lebih spesifik, ukurannya adalah 14,2 × 8 × 2,53 cm.

Walau kecil, AI Pocket Lab mampu menjalankan model bahasa besar (LLM) atau model AI kompleks dengan 120 miliar parameter secara lokal atau tanpa konektivitas internet.

Karena mampu menjalankan beban kerja lebih dari 100 miliar parameter, perangkat ini memenuhi syarat disebut sebagai superkomputer, bukan sekadar mini-PC atau workstation standar.

Baca juga: Gen Z Wajib Waspada, AI Bisa Bongkar Identitas Second Account

Kemampuan itu memungkinkan perangkat memecahkan masalah secara otonom, melakukan penalaran abstrak, hingga perencanaan strategis.

Konsep tersebut terbilang sangat praktis ketimbang model AI pada umumnya yang memerlukan infrastruktur data center.

Lantas bagaimana Tiiny AI membuat AI Pocket Lab?

AI Pocket Lab dibangun menggunakan prosesor ARM 12 inti, seperti prosesor yang umum digunakan pada smartphone, laptop, maupun tablet.

Perangkat ini dibekali RAM LPDDR5X sebesar 80 GB, jauh lebih besar dibanding gadget pada umumnya seperti laptop yang biasanya memiliki RAM 8 GB hingga 32 GB.

Dari total RAM tersebut, 48 GB di antaranya ditujukan khusus untuk Neural Processing Unit (NPU), yaitu chip untuk menunjang komputasi AI.

AI Pocket Lab untuk saat ini dapat menjalankan model AI seperti GPT-OSS 120B, yakni model AI berukuran 120 miliar parameter dari OpenAI.

Trik Tiiny AI pasang model AI besar ke perangkat mini

AI Pocket Lab mampu memberikan daya komputasi hingga 190 triliun operasi per detik (trillion operations per second/TOPS) dari kombinasi CPU dan NPU.

Untuk menjalankan model AI besar pada perangkat kecil, Tiiny AI menyematkan sejumlah teknologi optimasi.

Wccftech AI Pocket Lab, superkomputer mini yang dikembangkan oleh startup Amerika Serikat, Tiiny AI.

Salah satunya adalah TurboSparse, yang memungkinkan model bahasa besar berjalan lebih cepat pada perangkat dengan sumber daya terbatas. Teknologi ini bekerja dengan hanya menggunakan bagian parameter model yang dibutuhkan, pada setiap proses komputasi.

Selain itu, ada pula fitur PowerInfer yang mengatur pembagian tugas antara CPU, GPU, dan NPU secara lebih efisien. Dengan metode ini, setiap prosesor hanya menangani jenis pekerjaan yang paling sesuai dengan kemampuannya.

PowerInfer juga memiliki sistem manajemen daya yang dapat menentukan kapan perangkat perlu menggunakan performa penuh dan kapan dapat bekerja dengan konsumsi daya lebih rendah.

Baca juga: Google Rilis AI Pomelli di Indonesia, Mudahkan UMKM Bikin Materi Pomosi

Adapun pengembangan perangkat seperti AI Pocket Lab merupakan bagian dari tren edge computing untuk AI, yaitu menjalankan pemrosesan kecerdasan buatan langsung di perangkat, bukan di pusat data.

Pendekatan ini dapat mengurangi ketergantungan pada server cloud sekaligus menekan konsumsi energi dari pusat data berskala besar.

Selain itu, kemampuan menjalankan AI secara lokal juga dapat meningkatkan privasi karena data pengguna tidak perlu diproses di server pihak ketiga.

Perangkat semacam ini juga berpotensi digunakan di lokasi dengan konektivitas terbatas, seperti stasiun penelitian terpencil, kapal, atau pesawat yang berada di luar jangkauan jaringan internet, dihimpun KompasTekno dari Live Science.

Tag:  #perangkat #seukuran #powerbank #punya #kecerdasan #setara #doktor