Stále více firem chce AI asistenty, kteří pracují s jejich vlastními dokumenty, aniž by odesílali data do cloudu. Rozhodující není značka procesoru, ale paměť — kolik jí model může využít. Zde se dozvíte, jak vybrat počítač podle konkrétní úlohy.
Proč provozovat AI lokálně
Data zůstávají v kanceláři: smlouvy, zdravotní záznamy ani účetnictví nikdy neopustí firemní síť. Neplatíte za jednotlivé požadavky a systém funguje i bez internetu. Na druhou stranu si hardware vybíráte a udržujete sami.
Paměť rozhoduje o tom, jaký model můžete provozovat
Velikost jazykových modelů se měří v miliardách parametrů. Při kompresi na 4 bity — běžném způsobu jejich lokálního provozu — potřebuje model o něco více než půl gigabajtu paměti na miliardu parametrů a k tomu prostor pro konverzaci. Orientačně: model s 8 miliardami parametrů potřebuje přibližně 6 GB, model s 32 miliardami přibližně 20 GB a model se 70 miliardami přibližně 40–45 GB.
Rozhodující je paměť, kterou může využít grafický procesor nebo AI akcelerátor. V počítačích se sjednocenou pamětí sdílejí procesor a grafický procesor společnou paměť, takže pracovní stanice se 128 GB může modelu přidělit až 96 GB.
Tři třídy hardwaru
Jednodeskové počítače s NPU o výkonu 1 až 6 TOPS a s 8–16 GB paměti zvládají počítačové vidění — počítání, detekci, čtení textu — i malé jazykové modely. Hodí se do výukových laboratoří a zařízení, která pracují přímo na místě.
Mini PC s procesory Intel Core Ultra nebo AMD Ryzen AI a s 32–64 GB paměti provozují modely s 8–14 miliardami parametrů pro několik uživatelů — například asistenta pro práci s dokumenty v malé kanceláři.
Pracovní stanice se 128–192 GB sjednocené paměti provozují modely až s přibližně 70 miliardami parametrů a obslouží malý tým. Pro desítky souběžných uživatelů je potřeba server s profesionálními grafickými kartami — to už znamená jiný rozpočet.
NPU, nebo grafický procesor?
NPU je efektivní pro konkrétní úlohy, ale ne každý model a program jej podporuje. Oblíbené nástroje pro lokální provoz jazykových modelů, jako jsou Ollama, LM Studio a llama.cpp, využívají především procesor a grafický procesor. Před nákupem ověřte, zda váš software podporuje konkrétní čip — od výrobce si k tomu vyžádáme písemné potvrzení.
Co ověřit před objednávkou
Jaké modely a v jaké velikosti budete používat; kolik lidí je bude používat současně; jak dlouhé jsou dokumenty; Windows, nebo Linux; zda má výrobce předinstalovat váš obraz systému; záruka a postup při opravách; spotřeba energie a hlučnost v kanceláři.
Jak vám pomůžeme
Sdělte nám, jaké modely chcete provozovat a kolik máte uživatelů. Navrhneme konfiguraci, vyžádáme si od výrobce písemné potvrzení kompatibility a můžeme zajistit instalaci vašeho obrazu systému před odesláním.