Flere virksomheder ønsker AI-assistenter, der arbejder med deres egne dokumenter uden at sende data til cloud. Det afgørende er ikke processorens mærke, men hukommelsen — hvor meget af den modellen kan bruge. Her kan du se, hvordan du vælger en computer, der passer til opgaven.
Hvorfor køre AI lokalt
Data bliver på kontoret: Kontrakter, patientjournaler eller regnskaber forlader aldrig virksomhedens netværk. Der er ingen betaling pr. forespørgsel, og systemet fungerer fortsat uden internet. Til gengæld skal du selv vælge og vedligeholde hardwaren.
Hukommelsen afgør, hvilken model du kan køre
Sprogmodeller måles i milliarder af parametre. Komprimeret til 4 bit — den gængse måde at køre dem lokalt på — kræver en model lidt over en halv gigabyte hukommelse pr. milliard parametre samt plads til samtalen. Som tommelfingerregel kræver en model med 8 milliarder parametre omkring 6 GB, en model med 32 milliarder omkring 20 GB og en model med 70 milliarder omkring 40–45 GB.
Det afgørende er den hukommelse, som grafikprocessoren eller AI-acceleratoren kan bruge. I computere med fælles hukommelse deler processoren og grafikprocessoren den samme hukommelsespulje, så en arbejdsstation med 128 GB kan stille op til 96 GB til rådighed for modellen.
Tre hardwareklasser
Enkeltkortscomputere med en NPU på 1 til 6 TOPS og 8–16 GB hukommelse håndterer computersyn — optælling, detektion og tekstlæsning — samt små sprogmodeller. De egner sig til undervisningslaboratorier og enheder, der arbejder lokalt.
Mini-pc'er med Intel Core Ultra- eller AMD Ryzen AI-processorer og 32–64 GB hukommelse kører modeller med 8–14 milliarder parametre for nogle få brugere — for eksempel en dokumentassistent til et lille kontor.
Arbejdsstationer med 128–192 GB fælles hukommelse kører modeller med op til omkring 70 milliarder parametre og betjener et lille team. Flere dusin samtidige brugere kræver en server med professionelle grafikkort — og et andet budget.
NPU eller grafikprocessor?
En NPU er effektiv til bestemte opgaver, men ikke alle modeller og programmer understøtter den. Populære værktøjer til at køre sprogmodeller lokalt, såsom Ollama, LM Studio og llama.cpp, bruger primært processoren og grafikprocessoren. Før du køber, bør du kontrollere, at din software understøtter den præcise chip — vi beder fabrikken om at bekræfte dette skriftligt.
Tjekliste, før du bestiller
Hvilke modeller og i hvilken størrelse; hvor mange personer der skal bruge dem samtidig; hvor lange dokumenterne er; Windows eller Linux; om fabrikken skal præinstallere dit systemimage; garantien og hvordan reparationer foregår; strømforbrug og støj på et kontor.
Sådan hjælper vi
Fortæl os, hvilke modeller du vil køre, og hvor mange brugere du har. Vi foreslår en konfiguration, beder fabrikken om skriftligt at bekræfte kompatibiliteten og kan få dit systemimage installeret inden afsendelse.