Vis daugiau įmonių nori DI asistentų, kurie dirbtų su jų dokumentais nesiųsdami duomenų į debesiją. Lemiamas veiksnys yra ne procesoriaus prekės ženklas, o atmintis — kiek jos gali naudoti modelis. Toliau paaiškiname, kaip pasirinkti kompiuterį pagal užduotį.
Kodėl verta DI naudoti vietoje
Duomenys lieka biure: sutartys, medicininiai įrašai ar apskaitos duomenys niekada nepalieka įmonės tinklo. Nėra mokesčio už kiekvieną užklausą, o sistema veikia ir be interneto. Tačiau aparatinę įrangą turite pasirinkti ir prižiūrėti patys.
Atmintis lemia, kurį modelį galite paleisti
Kalbos modelių dydis matuojamas milijardais parametrų. Suspaudus iki 4 bitų — tai įprastas būdas juos paleisti vietoje — modeliui reikia šiek tiek daugiau nei pusės gigabaito atminties kiekvienam milijardui parametrų ir papildomos vietos pokalbiui. Apytikriai: 8 milijardų parametrų modeliui reikia apie 6 GB, 32 milijardų parametrų modeliui — apie 20 GB, o 70 milijardų parametrų modeliui — apie 40–45 GB.
Svarbi ta atmintis, kurią gali naudoti grafikos procesorius arba DI spartintuvas. Kompiuteriuose su vieningąja atmintimi procesorius ir grafikos procesorius naudoja tą pačią atmintį, todėl darbo stotis su 128 GB gali modeliui skirti iki 96 GB.
Trys aparatinės įrangos klasės
Vienplokščiai kompiuteriai su 1–6 TOPS našumo NPU ir 8–16 GB atminties tinka kompiuterinės regos užduotims — skaičiavimui, aptikimui, teksto skaitymui — ir mažiems kalbos modeliams. Jie tinka mokymo laboratorijoms ir vietoje veikiantiems įrenginiams.
Mini kompiuteriai su Intel Core Ultra arba AMD Ryzen AI procesoriais ir 32–64 GB atminties gali vykdyti 8–14 milijardų parametrų modelius, kuriais naudojasi keli naudotojai, — pavyzdžiui, darbo su dokumentais asistentą nedideliam biurui.
Darbo stotys su 128–192 GB vieningosios atminties gali vykdyti maždaug iki 70 milijardų parametrų modelius ir aptarnauti nedidelę komandą. Dešimtims vienu metu dirbančių naudotojų reikia serverio su profesionaliomis vaizdo plokštėmis — tam reikia kitokio biudžeto.
NPU ar grafikos procesorius?
NPU efektyviai atlieka konkrečias užduotis, tačiau jį palaiko ne visi modeliai ir programos. Populiarūs vietinio kalbos modelių vykdymo įrankiai, tokie kaip Ollama, LM Studio ir llama.cpp, daugiausia naudoja procesorių ir grafikos procesorių. Prieš pirkdami patikrinkite, ar Jūsų programinė įranga palaiko konkretų lustą — mes prašome gamyklos tai patvirtinti raštu.
Ką patikrinti prieš užsakant
Kokie modeliai bus naudojami ir kokio jie dydžio; kiek žmonių jais naudosis vienu metu; kokio ilgio dokumentai; Windows ar Linux; ar gamykla turėtų iš anksto įdiegti Jūsų sistemos atvaizdą; garantija ir remonto tvarka; energijos suvartojimas ir triukšmas biure.
Kaip padedame
Nurodykite, kuriuos modelius norite paleisti ir kiek turite naudotojų. Pasiūlome konfigūraciją, paprašome gamyklos raštu patvirtinti suderinamumą ir galime pasirūpinti, kad Jūsų sistemos atvaizdas būtų įdiegtas prieš išsiunčiant.