Tot mai multe companii doresc asistenți AI care să lucreze cu propriile documente fără a trimite date în cloud. Factorul decisiv nu este marca procesorului, ci memoria — câtă memorie poate utiliza modelul. Iată cum să alegeți computerul în funcție de sarcină.
De ce să rulați AI local
Datele rămân la birou: contractele, dosarele medicale sau evidențele contabile nu părăsesc niciodată rețeaua companiei. Nu există taxe per solicitare, iar sistemul continuă să funcționeze fără internet. În schimb, alegerea și întreținerea hardware-ului vă revin dumneavoastră.
Memoria determină ce model puteți rula
Modelele lingvistice se măsoară în miliarde de parametri. Comprimat la 4 biți — metoda obișnuită pentru rularea locală — un model are nevoie de puțin peste jumătate de gigabyte de memorie pentru fiecare miliard de parametri, plus spațiu pentru conversație. Orientativ: un model cu 8 miliarde de parametri necesită circa 6 GB, unul cu 32 de miliarde circa 20 GB, iar unul cu 70 de miliarde circa 40–45 GB.
Contează memoria pe care o poate utiliza procesorul grafic sau acceleratorul AI. În computerele cu memorie unificată, procesorul și procesorul grafic folosesc aceeași memorie, astfel încât o stație de lucru cu 128 GB poate aloca modelului până la 96 GB.
Trei clase de hardware
Computerele pe o singură placă, cu un NPU de 1 până la 6 TOPS și 8–16 GB de memorie, pot gestiona sarcini de viziune artificială — numărare, detecție, citirea textului — și modele lingvistice mici. Sunt potrivite pentru laboratoare de instruire și dispozitive care funcționează la fața locului.
Mini PC-urile cu procesoare Intel Core Ultra sau AMD Ryzen AI și 32–64 GB de memorie rulează modele cu 8–14 miliarde de parametri pentru câțiva utilizatori — de exemplu, un asistent pentru lucrul cu documente într-un birou mic.
Stațiile de lucru cu 128–192 GB de memorie unificată rulează modele cu până la aproximativ 70 de miliarde de parametri și deservesc o echipă mică. Pentru zeci de utilizatori simultani este necesar un server cu plăci grafice profesionale — ceea ce presupune un alt buget.
NPU sau procesor grafic?
Un NPU este eficient pentru anumite sarcini, dar nu toate modelele și programele îl acceptă. Instrumentele populare pentru rularea locală a modelelor lingvistice, precum Ollama, LM Studio și llama.cpp, se bazează în principal pe procesor și pe procesorul grafic. Înainte de achiziție, verificați dacă software-ul dumneavoastră este compatibil cu modelul exact de cip — noi solicităm fabricii să confirme acest lucru în scris.
Listă de verificare înainte de comandă
Ce modele veți utiliza și de ce dimensiune; câte persoane le vor utiliza simultan; cât de lungi sunt documentele; Windows sau Linux; dacă fabrica trebuie să preinstaleze imaginea sistemului dumneavoastră; garanția și procedura de reparație; consumul de energie și zgomotul într-un birou.
Cum vă ajutăm
Spuneți-ne ce modele doriți să rulați și câți utilizatori aveți. Vă propunem o configurație, solicităm fabricii să confirme compatibilitatea în scris și putem asigura instalarea imaginii sistemului dumneavoastră înainte de expediere.