Sve više kompanija želi asistente zasnovane na veštačkoj inteligenciji koji rade sa njihovim dokumentima bez slanja podataka u oblak. Presudan faktor nije marka procesora, već memorija — odnosno koliko memorije model može da koristi. Evo kako da izaberete računar prema zadatku.
Zašto pokretati veštačku inteligenciju lokalno
Podaci ostaju u kancelariji: ugovori, medicinski kartoni ili računovodstvena dokumentacija nikada ne napuštaju mrežu kompanije. Nema naknade po zahtevu, a sistem nastavlja da radi i bez interneta. Zauzvrat, hardver birate i održavate sami.
Memorija određuje koji model možete da pokrenete
Jezički modeli se mere milijardama parametara. Kada se komprimuje na 4 bita — što je uobičajen način za lokalno pokretanje — modelu je potrebno nešto više od pola gigabajta memorije po milijardi parametara, uz dodatni prostor za razgovor. Okvirno: modelu sa 8 milijardi parametara potrebno je oko 6 GB, modelu sa 32 milijarde oko 20 GB, a modelu sa 70 milijardi oko 40–45 GB.
Važna je memorija koju grafički procesor ili akcelerator za veštačku inteligenciju mogu da koriste. U računarima sa objedinjenom memorijom, procesor i grafički procesor dele istu memoriju, pa radna stanica sa 128 GB može modelu da dodeli do 96 GB.
Tri klase hardvera
Računari na jednoj ploči sa NPU performansi od 1 do 6 TOPS i 8–16 GB memorije mogu da obavljaju zadatke računarskog vida — brojanje, detekciju, čitanje teksta — i pokreću male jezičke modele. Pogodni su za laboratorije za obuku i uređaje koji rade na lokaciji.
Mini računari sa procesorima Intel Core Ultra ili AMD Ryzen AI i 32–64 GB memorije pokreću modele sa 8–14 milijardi parametara za nekoliko korisnika — na primer, asistenta za rad sa dokumentima u maloj kancelariji.
Radne stanice sa 128–192 GB objedinjene memorije pokreću modele sa do oko 70 milijardi parametara i opslužuju mali tim. Za desetine istovremenih korisnika potreban je server sa profesionalnim grafičkim karticama — što podrazumeva drugačiji budžet.
NPU ili grafički procesor?
NPU je efikasan za određene zadatke, ali ga ne podržavaju svi modeli i programi. Popularni alati za lokalno pokretanje jezičkih modela, kao što su Ollama, LM Studio i llama.cpp, uglavnom se oslanjaju na procesor i grafički procesor. Pre kupovine proverite da li Vaš softver podržava konkretan čip — od fabrike tražimo da to potvrdi u pisanom obliku.
Kontrolna lista pre naručivanja
Koje modele ćete koristiti i koje su veličine; koliko ljudi će ih koristiti istovremeno; koliko su dugački dokumenti; Windows ili Linux; da li fabrika treba unapred da instalira Vašu sliku sistema; garancija i postupak popravke; potrošnja električne energije i buka u kancelariji.
Kako pomažemo
Recite nam koje modele želite da pokrećete i koliko korisnika imate. Predlažemo konfiguraciju, tražimo od fabrike pisanu potvrdu kompatibilnosti i možemo da organizujemo instalaciju Vaše slike sistema pre otpreme.