Arvien vairāk uzņēmumu vēlas MI asistentus, kas strādā ar uzņēmuma dokumentiem, nenosūtot datus uz mākoni. Izšķirošais faktors nav procesora zīmols, bet gan atmiņa — cik daudz no tās modelis var izmantot. Tālāk skaidrojam, kā izvēlēties uzdevumam piemērotu datoru.
Kāpēc darbināt MI lokāli
Dati paliek birojā: līgumi, medicīniskā dokumentācija vai grāmatvedības dati nekad nenonāk ārpus uzņēmuma tīkla. Nav maksas par katru pieprasījumu, un sistēma turpina darboties arī bez interneta. Toties aparatūra Jums jāizvēlas un jāuztur pašiem.
Atmiņa nosaka, kuru modeli varat darbināt
Valodas modeļu lielumu mēra miljardos parametru. Ja parametri ir saspiesti līdz 4 bitiem — kā tas ierasts, darbinot modeļus lokāli —, modelim nepieciešams nedaudz vairāk par pusgigabaitu atmiņas uz katru miljardu parametru, kā arī papildu vieta sarunai. Aptuveni: modelim ar 8 miljardiem parametru vajag ap 6 GB, modelim ar 32 miljardiem — ap 20 GB, bet modelim ar 70 miljardiem — ap 40–45 GB.
Svarīga ir atmiņa, ko var izmantot grafiskais procesors vai MI paātrinātājs. Datoros ar vienoto atmiņu procesors un grafiskais procesors izmanto vienu kopīgu atmiņu, tāpēc darbstacija ar 128 GB atmiņu modelim var atvēlēt līdz 96 GB.
Trīs aparatūras klases
Vienplates datori ar NPU, kura veiktspēja ir no 1 līdz 6 TOPS, un 8–16 GB atmiņu tiek galā ar datorredzes uzdevumiem — skaitīšanu, noteikšanu, teksta nolasīšanu — un nelieliem valodas modeļiem. Tie ir piemēroti mācību laboratorijām un ierīcēm, kas darbojas uz vietas.
Minidatori ar Intel Core Ultra vai AMD Ryzen AI procesoriem un 32–64 GB atmiņu darbina modeļus ar 8–14 miljardiem parametru dažu lietotāju vajadzībām — piemēram, dokumentu asistentu nelielam birojam.
Darbstacijas ar 128–192 GB vienotās atmiņas darbina modeļus ar līdz aptuveni 70 miljardiem parametru un apkalpo nelielu komandu. Desmitiem vienlaicīgu lietotāju nepieciešams serveris ar profesionālām grafiskajām kartēm — tam vajadzīgs cits budžets.
NPU vai grafiskais procesors?
NPU ir efektīvs konkrētiem uzdevumiem, taču ne katrs modelis un programma to atbalsta. Populāri rīki valodas modeļu lokālai darbināšanai, piemēram, Ollama, LM Studio un llama.cpp, galvenokārt izmanto procesoru un grafisko procesoru. Pirms iegādes pārbaudiet, vai Jūsu programmatūra atbalsta konkrēto mikroshēmu — mēs lūdzam rūpnīcai to apstiprināt rakstiski.
Kas jāpārbauda pirms pasūtīšanas
Kādus modeļus un ar kādu lielumu izmantosiet; cik cilvēku tos izmantos vienlaikus; cik gari ir dokumenti; Windows vai Linux; vai rūpnīcai iepriekš jāinstalē Jūsu sistēmas attēls; garantija un remonta kārtība; elektroenerģijas patēriņš un trokšņa līmenis birojā.
Kā mēs palīdzam
Pastāstiet mums, kādus modeļus vēlaties darbināt un cik lietotāju Jums ir. Mēs iesakām konfigurāciju, lūdzam rūpnīcai rakstiski apstiprināt saderību un varam nodrošināt Jūsu sistēmas attēla instalēšanu pirms nosūtīšanas.