Egyre több vállalat szeretne olyan MI-asszisztenst, amely a saját dokumentumaival dolgozik anélkül, hogy adatokat küldene a felhőbe. A döntő tényező nem a processzor márkája, hanem a memória – pontosabban az, hogy mennyit használhat belőle a modell. Az alábbiakban bemutatjuk, hogyan válasszon a feladathoz illő számítógépet.
Miért érdemes helyben futtatni az MI-t?
Az adatok az irodában maradnak: a szerződések, az egészségügyi dokumentáció vagy a könyvelési adatok soha nem hagyják el a vállalati hálózatot. Nincs kérésenkénti díj, és a rendszer internet nélkül is működik. Cserébe Önnek kell kiválasztania és karbantartania a hardvert.
A memória határozza meg, melyik modellt futtathatja
A nyelvi modellek méretét a paramétereik milliárdokban megadott számával jellemezzük. A helyi futtatáshoz általában használt 4 bites tömörítés mellett egy modellnek milliárd paraméterenként valamivel több mint fél gigabájt memóriára van szüksége, valamint további helyre a beszélgetéshez. Nagyságrendileg: egy 8 milliárd paraméteres modellhez körülbelül 6 GB, egy 32 milliárd paramétereshez körülbelül 20 GB, egy 70 milliárd paramétereshez pedig körülbelül 40–45 GB szükséges.
Az a memória számít, amelyet a grafikus egység vagy az MI-gyorsító használni tud. Az egységes memóriával rendelkező számítógépekben a processzor és a grafikus egység közös memóriaterületet használ, így egy 128 GB memóriájú munkaállomás akár 96 GB-ot is biztosíthat a modellnek.
Három hardverkategória
Az 1–6 TOPS teljesítményű NPU-val és 8–16 GB memóriával rendelkező egykártyás számítógépek gépi látási feladatokra – számlálásra, észlelésre, szövegolvasásra – és kis nyelvi modellek futtatására alkalmasak. Oktatási laborokhoz és helyszínen működő eszközökhöz illenek.
Az Intel Core Ultra vagy AMD Ryzen AI processzorral és 32–64 GB memóriával rendelkező mini PC-k 8–14 milliárd paraméteres modelleket futtatnak néhány felhasználó számára – például dokumentumkezelő asszisztenst egy kis irodában.
A 128–192 GB egységes memóriával rendelkező munkaállomások legfeljebb körülbelül 70 milliárd paraméteres modelleket futtatnak, és egy kis csapatot szolgálnak ki. Több tucat egyidejű felhasználóhoz professzionális grafikus kártyákkal felszerelt szerver szükséges – ez már más költségkeretet igényel.
NPU vagy grafikus egység?
Az NPU bizonyos feladatokban hatékony, de nem minden modell és program támogatja. A nyelvi modellek helyi futtatására használt népszerű eszközök, például az Ollama, az LM Studio és a llama.cpp, elsősorban a processzorra és a grafikus egységre támaszkodnak. Vásárlás előtt ellenőrizze, hogy a szoftvere támogatja-e az adott chipet – mi ennek írásos megerősítését kérjük a gyártól.
Ellenőrzőlista rendelés előtt
Mely modelleket és milyen méretben szeretné futtatni; hányan használják majd őket egyszerre; milyen hosszúak a dokumentumok; Windows vagy Linux; előtelepítse-e a gyár az Ön rendszerképét; milyen a garancia és hogyan zajlanak a javítások; mekkora az energiafogyasztás és a zajszint irodai környezetben.
Hogyan segítünk?
Mondja el, mely modelleket szeretné futtatni, és hány felhasználója van. Konfigurációt javasolunk, írásos megerősítést kérünk a gyártól a kompatibilitásról, és szállítás előtt telepíttetni tudjuk az Ön rendszerképét.