Čoraz viac firiem chce AI asistentov, ktorí pracujú s ich vlastnými dokumentmi bez odosielania údajov do cloudu. Rozhodujúcim faktorom nie je značka procesora, ale pamäť — koľko z nej môže model využiť. Tu sa dozviete, ako vybrať počítač podľa úlohy.
Prečo prevádzkovať AI lokálne
Údaje zostávajú v kancelárii: zmluvy, zdravotné záznamy ani účtovníctvo nikdy neopustia firemnú sieť. Za jednotlivé požiadavky neplatíte a systém funguje aj bez internetu. Na druhej strane si hardvér vyberáte a udržiavate sami.
Pamäť rozhoduje o tom, ktorý model môžete spustiť
Veľkosť jazykových modelov sa udáva v miliardách parametrov. Pri kompresii na 4 bity — bežnom spôsobe ich lokálnej prevádzky — potrebuje model o niečo viac ako pol gigabajtu pamäte na miliardu parametrov a navyše priestor na konverzáciu. Orientačne: model s 8 miliardami parametrov potrebuje približne 6 GB, model s 32 miliardami približne 20 GB a model so 70 miliardami približne 40–45 GB.
Rozhodujúca je pamäť, ktorú môže využívať grafický procesor alebo AI akcelerátor. V počítačoch so zjednotenou pamäťou zdieľajú procesor a grafický procesor spoločnú pamäť, takže pracovná stanica so 128 GB môže modelu prideliť až 96 GB.
Tri triedy hardvéru
Jednodoskové počítače s NPU s výkonom 1 až 6 TOPS a pamäťou 8–16 GB zvládajú počítačové videnie — počítanie, detekciu, čítanie textu — aj malé jazykové modely. Sú vhodné pre výučbové laboratóriá a zariadenia, ktoré pracujú priamo na mieste.
Mini PC s procesormi Intel Core Ultra alebo AMD Ryzen AI a pamäťou 32–64 GB zvládajú modely s 8–14 miliardami parametrov pre niekoľkých používateľov — napríklad asistenta na prácu s dokumentmi pre malú kanceláriu.
Pracovné stanice so 128–192 GB zjednotenej pamäte zvládajú modely až s približne 70 miliardami parametrov a obslúžia malý tím. Desiatky súbežných používateľov potrebujú server s profesionálnymi grafickými kartami — čo si vyžaduje iný rozpočet.
NPU alebo grafický procesor?
NPU je efektívna pri konkrétnych úlohách, ale nie každý model a program ju podporuje. Obľúbené nástroje na lokálne spúšťanie jazykových modelov, ako Ollama, LM Studio a llama.cpp, využívajú najmä procesor a grafický procesor. Pred kúpou si overte, či váš softvér podporuje konkrétny čip — od výrobcu žiadame písomné potvrdenie.
Kontrolný zoznam pred objednaním
Ktoré modely a akej veľkosti; koľko ľudí ich bude používať súčasne; aké dlhé sú dokumenty; Windows alebo Linux; či má výrobca vopred nainštalovať váš obraz systému; záruka a spôsob riešenia opráv; spotreba energie a hlučnosť v kancelárii.
Ako vám pomôžeme
Povedzte nám, ktoré modely chcete prevádzkovať a koľko máte používateľov. Navrhneme konfiguráciu, požiadame výrobcu o písomné potvrdenie kompatibility a môžeme zabezpečiť inštaláciu vášho obrazu systému pred odoslaním.