Vse več podjetij želi pomočnike z umetno inteligenco, ki delajo z njihovimi dokumenti, ne da bi podatke pošiljali v oblak. Odločilna ni znamka procesorja, temveč pomnilnik — koliko ga lahko model uporablja. V nadaljevanju pojasnjujemo, kako računalnik prilagoditi nalogi.
Zakaj umetno inteligenco poganjati lokalno
Podatki ostanejo v pisarni: pogodbe, zdravstvena dokumentacija ali računovodske evidence nikoli ne zapustijo omrežja podjetja. Ni plačila za posamezno zahtevo, sistem pa deluje tudi brez interneta. V zameno morate strojno opremo izbrati in vzdrževati sami.
Pomnilnik določa, kateri model lahko poganjate
Velikost jezikovnih modelov merimo v milijardah parametrov. Pri stiskanju na 4 bite — običajnem načinu za lokalno izvajanje — model potrebuje nekaj več kot pol gigabajta pomnilnika na milijardo parametrov, poleg tega pa še prostor za pogovor. Okvirno: model z 8 milijardami parametrov potrebuje približno 6 GB, model z 32 milijardami približno 20 GB in model s 70 milijardami približno 40–45 GB.
Pomemben je pomnilnik, ki ga lahko uporablja grafični procesor ali pospeševalnik umetne inteligence. V računalnikih s poenotenim pomnilnikom si procesor in grafični procesor delita isti pomnilnik, zato lahko delovna postaja s 128 GB modelu nameni do 96 GB.
Trije razredi strojne opreme
Enoploščni računalniki z NPU z zmogljivostjo od 1 do 6 TOPS in 8–16 GB pomnilnika obvladujejo naloge računalniškega vida — štetje, zaznavanje, branje besedila — in majhne jezikovne modele. Primerni so za učne laboratorije in naprave, ki delujejo na lokaciji.
Mini računalniki s procesorji Intel Core Ultra ali AMD Ryzen AI in 32–64 GB pomnilnika poganjajo modele z 8–14 milijardami parametrov za nekaj uporabnikov — na primer pomočnika za delo z dokumenti v majhni pisarni.
Delovne postaje s 128–192 GB poenotenega pomnilnika poganjajo modele z do približno 70 milijardami parametrov in zadostujejo za manjšo ekipo. Za več deset sočasnih uporabnikov potrebujete strežnik s profesionalnimi grafičnimi karticami — kar zahteva drugačen proračun.
NPU ali grafični procesor?
NPU je učinkovit pri določenih nalogah, vendar ga ne podpirajo vsi modeli in programi. Priljubljena orodja za lokalno izvajanje jezikovnih modelov, kot so Ollama, LM Studio in llama.cpp, se opirajo predvsem na procesor in grafični procesor. Pred nakupom preverite, ali vaša programska oprema podpira točno določen čip — od tovarne zahtevamo pisno potrditev.
Kontrolni seznam pred naročilom
Kateri modeli in kakšne velikosti; koliko ljudi jih bo uporabljalo hkrati; kako dolgi so dokumenti; Windows ali Linux; ali naj tovarna vnaprej namesti vašo sistemsko sliko; garancija in potek popravil; poraba električne energije in hrup v pisarni.
Kako vam pomagamo
Povejte nam, katere modele želite poganjati in koliko uporabnikov imate. Predlagamo konfiguracijo, od tovarne zahtevamo pisno potrditev združljivosti in lahko uredimo namestitev vaše sistemske slike pred odpremo.