Sve više tvrtki želi AI asistente koji rade s njihovim dokumentima bez slanja podataka u oblak. Presudna nije marka procesora, nego memorija — odnosno koliko je model može koristiti. Evo kako uskladiti računalo sa zadatkom.
Zašto pokretati AI lokalno
Podaci ostaju u uredu: ugovori, medicinska dokumentacija ili računovodstveni podaci nikada ne napuštaju mrežu tvrtke. Nema naknade po zahtjevu, a sustav nastavlja raditi i bez interneta. Zauzvrat morate sami odabrati i održavati hardver.
Memorija određuje koji model možete pokrenuti
Jezični modeli mjere se milijardama parametara. Kada je komprimiran na 4 bita — što je uobičajeni način lokalnog pokretanja — model treba malo više od pola gigabajta memorije po milijardi parametara, uz dodatni prostor za razgovor. Okvirno: model s 8 milijardi parametara treba oko 6 GB, model s 32 milijarde oko 20 GB, a model sa 70 milijardi oko 40–45 GB.
Važna je memorija koju može koristiti grafički procesor ili AI akcelerator. U računalima s objedinjenom memorijom procesor i grafički procesor dijele istu memoriju, pa radna stanica sa 128 GB može modelu dodijeliti do 96 GB.
Tri kategorije hardvera
Jednopločna računala s NPU-om performansi od 1 do 6 TOPS i 8–16 GB memorije mogu obavljati zadatke računalnog vida — brojanje, detekciju, čitanje teksta — i pokretati male jezične modele. Prikladna su za laboratorije za obuku i uređaje koji rade na lokaciji.
Mini PC-jevi s procesorima Intel Core Ultra ili AMD Ryzen AI i 32–64 GB memorije pokreću modele s 8–14 milijardi parametara za nekoliko korisnika — primjerice, asistenta za rad s dokumentima u malom uredu.
Radne stanice sa 128–192 GB objedinjene memorije pokreću modele s do približno 70 milijardi parametara i mogu opsluživati manji tim. Za desetke istodobnih korisnika potreban je poslužitelj s profesionalnim grafičkim karticama — što zahtijeva drukčiji proračun.
NPU ili grafički procesor?
NPU je učinkovit za određene zadatke, ali ga ne podržava svaki model ni program. Popularni alati za lokalno pokretanje jezičnih modela, kao što su Ollama, LM Studio i llama.cpp, oslanjaju se uglavnom na procesor i grafički procesor. Prije kupnje provjerite podržava li Vaš softver upravo taj čip — od tvornice tražimo pisanu potvrdu.
Kontrolni popis prije narudžbe
Koji modeli i koje veličine; koliko će ih osoba istodobno koristiti; koliko su dokumenti dugi; Windows ili Linux; treba li tvornica unaprijed instalirati Vašu sliku sustava; jamstvo i postupak popravka; potrošnja energije i buka u uredu.
Kako pomažemo
Recite nam koje modele želite pokretati i koliko korisnika imate. Predlažemo konfiguraciju, od tvornice tražimo pisanu potvrdu kompatibilnosti i možemo dogovoriti instalaciju Vaše slike sustava prije otpreme.