Üha rohkem ettevõtteid soovib tehisintellektiassistente, mis töötavad nende enda dokumentidega, saatmata andmeid pilve. Otsustav tegur ei ole protsessori kaubamärk, vaid mälu — kui palju saab mudel seda kasutada. Siin selgitame, kuidas valida ülesandele sobiv arvuti.
Miks käitada tehisintellekti kohapeal
Andmed jäävad kontorisse: lepingud, terviseandmed või raamatupidamisandmed ei lahku kunagi ettevõtte võrgust. Päringupõhist tasu ei ole ja süsteem töötab ka ilma internetita. Vastukaaluks tuleb Teil riistvara ise valida ja hooldada.
Mälu määrab, millist mudelit saate käitada
Keelemudelite suurust mõõdetakse miljardites parameetrites. Kui mudeli parameetrid on tihendatud 4 bitini — see on tavapärane viis mudelite kohapeal käitamiseks —, vajab mudel iga miljardi parameetri kohta veidi üle poole gigabaidi mälu ning lisaks ruumi vestluse jaoks. Ligikaudu vajab 8 miljardi parameetriga mudel umbes 6 GB, 32 miljardi parameetriga mudel umbes 20 GB ja 70 miljardi parameetriga mudel umbes 40–45 GB mälu.
Oluline on mälu, mida saab kasutada graafikaprotsessor või tehisintellektikiirendi. Ühismäluga arvutites kasutavad protsessor ja graafikaprotsessor sama mälumahtu, mistõttu saab 128 GB mäluga tööjaam eraldada mudelile kuni 96 GB.
Kolm riistvaraklassi
Üheplaadiarvutid, mille NPU jõudlus on 1 kuni 6 TOPS ja mälumaht 8–16 GB, saavad hakkama masinnägemise ülesannetega — loendamise, tuvastamise ja teksti lugemisega — ning väikeste keelemudelitega. Need sobivad õppelaboritesse ja kohapeal töötavatesse seadmetesse.
Intel Core Ultra või AMD Ryzen AI protsessoritega ja 32–64 GB mäluga miniarvutid käitavad 8–14 miljardi parameetriga mudeleid mõne kasutaja jaoks — näiteks väikese kontori dokumendiassistendina.
128–192 GB ühismäluga tööjaamad käitavad kuni umbes 70 miljardi parameetriga mudeleid ja teenindavad väikest meeskonda. Kümnete samaaegsete kasutajate jaoks on vaja professionaalsete graafikakaartidega serverit — see eeldab teistsugust eelarvet.
NPU või graafikaprotsessor?
NPU on kindlate ülesannete puhul tõhus, kuid iga mudel ja programm seda ei toeta. Populaarsed tööriistad keelemudelite kohapeal käitamiseks, näiteks Ollama, LM Studio ja llama.cpp, kasutavad peamiselt protsessorit ja graafikaprotsessorit. Enne ostmist kontrollige, kas Teie tarkvara toetab just seda kiipi — palume tehasel seda kirjalikult kinnitada.
Kontrollnimekiri enne tellimist
Milliseid mudeleid ja mis suuruses vajate; mitu inimest neid korraga kasutab; kui pikad on dokumendid; Windows või Linux; kas tehas peaks Teie süsteemitõmmise eelinstallima; garantii ja remondikorraldus; energiatarve ja müratase kontoris.
Kuidas saame aidata
Andke meile teada, milliseid mudeleid soovite käitada ja kui palju kasutajaid Teil on. Pakume sobiva konfiguratsiooni, palume tehasel ühilduvust kirjalikult kinnitada ning saame korraldada Teie süsteemitõmmise paigaldamise enne väljasaatmist.