Stadig flere bedrifter ønsker KI-assistenter som arbeider med deres egne dokumenter uten å sende data til skyen. Det avgjørende er ikke prosessormerket, men minnet — hvor mye av det modellen kan bruke. Slik velger du en datamaskin som passer til oppgaven.
Hvorfor kjøre KI lokalt
Dataene blir på kontoret: kontrakter, pasientjournaler eller regnskaper forlater aldri bedriftens nettverk. Det er ingen avgift per forespørsel, og systemet fortsetter å fungere uten internett. Til gjengjeld må du velge og vedlikeholde maskinvaren selv.
Minnet avgjør hvilken modell du kan kjøre
Språkmodeller måles i milliarder parametere. Komprimert til 4 bit — den vanlige måten å kjøre dem lokalt på — trenger en modell litt mer enn en halv gigabyte minne per milliard parametere, i tillegg til plass til samtalen. Grovt regnet trenger en modell med 8 milliarder parametere omtrent 6 GB, en modell med 32 milliarder omtrent 20 GB og en modell med 70 milliarder omtrent 40–45 GB.
Det som teller, er minne som grafikkprosessoren eller KI-akseleratoren kan bruke. I datamaskiner med felles minne deler prosessoren og grafikkprosessoren én minnepool, slik at en arbeidsstasjon med 128 GB kan tildele modellen opptil 96 GB.
Tre maskinvareklasser
Ettkortsdatamaskiner med en NPU på 1 til 6 TOPS og 8–16 GB minne håndterer maskinsyn — telling, deteksjon og tekstlesing — og små språkmodeller. De passer til opplæringslaboratorier og enheter som arbeider lokalt.
Mini-PC-er med Intel Core Ultra- eller AMD Ryzen AI-prosessorer og 32–64 GB minne kjører modeller med 8–14 milliarder parametere for noen få brukere — for eksempel en dokumentassistent for et lite kontor.
Arbeidsstasjoner med 128–192 GB felles minne kjører modeller med opptil omtrent 70 milliarder parametere og betjener et lite team. Flere titalls samtidige brukere krever en server med profesjonelle grafikkort — og et annet budsjett.
NPU eller grafikkprosessor?
En NPU er effektiv til bestemte oppgaver, men ikke alle modeller og programmer støtter den. Populære verktøy for å kjøre språkmodeller lokalt, som Ollama, LM Studio og llama.cpp, bruker hovedsakelig prosessoren og grafikkprosessoren. Før du kjøper, bør du kontrollere at programvaren støtter den konkrete brikken — vi ber fabrikken bekrefte dette skriftlig.
Sjekkliste før du bestiller
Hvilke modeller og hvilken størrelse; hvor mange som skal bruke dem samtidig; hvor lange dokumentene er; Windows eller Linux; om fabrikken skal forhåndsinstallere systemavbildningen din; garantien og hvordan reparasjoner håndteres; strømforbruk og støy på et kontor.
Slik hjelper vi
Fortell oss hvilke modeller du vil kjøre, og hvor mange brukere du har. Vi foreslår en konfigurasjon, ber fabrikken bekrefte kompatibiliteten skriftlig og kan få systemavbildningen din installert før forsendelse.