Florin Cașotă
Modelele de limbaj mari (LLM-uri) precum GPT și LLaMA au devenit vedetele lumii AI, capabile să genereze text asemănător celui uman, să răspundă la întrebări și chiar să scrie cod. Dar aceste modele se bazează de obicei pe miliarde de parametri și necesită centre de date masive pentru a funcționa. Un youtuber pe nume Binh a decis să provoace status quo-ul prin comprimarea unui LLM pe un stick USB.
Acesta nu este un stick de memorie obișnuit. În interiorul carcasei sale personalizate imprimată 3D se află un Raspberry Pi Zero W, un computer minuscul nu mai mare decât o gumă de mestecat. Pe acest hardware modest rulează llama.cpp, o versiune ușoară a modelului LLaMA de la Meta. Dar să faci software-ul să funcționeze pe Pi nu a fost ușor. Cea mai recentă versiune de llama.cpp este concepută pentru procesoare ARMv8, în timp ce Raspberry Pi Zero W rulează pe arhitectura mai veche ARMv6. Așa că a trebuit să elimine cu grijă optimizările ARMv8.
Perseverența sa a dat roade, și a reușit să adapteze modelul pentru a rula pe hardware-ul mai vechi. Rezultatul este o inteligență artificială portabilă care încape în buzunar - fără a necesita cloud computing.
AI plug-and-play
Adevărata magie a acestui proiect constă în simplitatea sa. Binh a proiectat stick-ul USB să funcționeze cu orice computer fără a necesita drivere speciale. Pentru a utiliza LLM-ul, tot ce trebuie să faci este să conectezi stick-ul USB, să creezi un fișier text gol și să-i dai un nume. Modelul generează automat text și îl salvează în fișier.
Deși nu este la fel de rapid ca omologii săi bazați pe cloud, LLM-ul bazat pe USB este o dovadă de concept revoluționară. „Cred că acesta este primul LLM plug-and-play bazat pe USB,” a spus Binh. Și probabil are dreptate.
Acest proiect nu este doar un hack inteligent; este o privire în viitorul accesibilității AI. Făcând modelele de limbaj portabile și ușor de utilizat, Binh a deschis ușa unor noi posibilități. Imaginați-vă studenți din zone îndepărtate folosind LLM-uri bazate pe USB pentru ajutor la teme, sau jurnaliști pe teren generând ciorne fără conexiune la internet.
De asemenea, ridică întrebări despre impactul asupra mediului al AI. Modelele mari necesită cantități vaste de energie, contribuind la emisiile de carbon. Modele mai mici și mai eficiente ca acesta ar putea ajuta la reducerea acestei amprente.
Desigur, există limitări. Raspberry Pi Zero W are doar 512MB de RAM, ceea ce restricționează dimensiunea și complexitatea modelului pe care îl poate rula. Dar pe măsură ce hardware-ul se îmbunătățește, la fel vor crește și capacitățile acestor AI-uri de buzunar.
Deocamdată, stick-ul USB al lui Binh este o reamintire că inovația nu înseamnă întotdeauna să construiești mai mare și mai rapid. Uneori, înseamnă să gândești mai mic.
