Allt fler företag vill ha AI-assistenter som arbetar med företagets egna dokument utan att skicka data till molnet. Det avgörande är inte processorns märke utan minnet – hur mycket av det modellen kan använda. Så här väljer du rätt dator för uppgiften.
Varför köra AI lokalt
Data stannar på kontoret: avtal, patientjournaler eller bokföring lämnar aldrig företagets nätverk. Det finns ingen avgift per förfrågan, och systemet fortsätter att fungera utan internet. Nackdelen är att du själv väljer och underhåller hårdvaran.
Minnet avgör vilken modell du kan köra
Språkmodeller mäts i miljarder parametrar. Komprimerad till 4 bitar – det vanliga sättet att köra modeller lokalt – behöver en modell lite mer än en halv gigabyte minne per miljard parametrar, plus utrymme för konversationen. Grovt räknat behöver en modell med 8 miljarder parametrar cirka 6 GB, en med 32 miljarder cirka 20 GB och en med 70 miljarder cirka 40–45 GB.
Det som räknas är minne som grafikprocessorn eller AI-acceleratorn kan använda. I datorer med enhetligt minne delar processorn och grafikprocessorn på samma minnespool, så en arbetsstation med 128 GB kan tilldela modellen upp till 96 GB.
Tre hårdvaruklasser
Enkortsdatorer med en NPU på 1 till 6 TOPS och 8–16 GB minne klarar datorseende – räkning, detektering och textläsning – samt små språkmodeller. De passar för utbildningslabb och enheter som arbetar på plats.
Mini-PC med Intel Core Ultra- eller AMD Ryzen AI-processorer och 32–64 GB minne kör modeller med 8–14 miljarder parametrar för ett fåtal användare – till exempel en dokumentassistent för ett litet kontor.
Arbetsstationer med 128–192 GB enhetligt minne kör modeller med upp till cirka 70 miljarder parametrar och kan användas av ett litet team. Dussintals samtidiga användare kräver en server med professionella grafikkort – och en annan budget.
NPU eller grafikprocessor?
En NPU är effektiv för specifika uppgifter, men alla modeller och program stöder den inte. Populära verktyg för att köra språkmodeller lokalt, som Ollama, LM Studio och llama.cpp, använder främst processorn och grafikprocessorn. Kontrollera före köp att din programvara stöder just det chippet – vi ber fabriken att bekräfta detta skriftligen.
Checklista innan du beställer
Vilka modeller och i vilken storlek; hur många som ska använda dem samtidigt; hur långa dokumenten är; Windows eller Linux; om fabriken ska förinstallera din systemavbildning; garantin och hur reparationer går till; strömförbrukning och ljudnivå på kontoret.
Så hjälper vi dig
Berätta vilka modeller du vill köra och hur många användare du har. Vi föreslår en konfiguration, ber fabriken att bekräfta kompatibiliteten skriftligen och kan ordna så att din systemavbildning installeras före leverans.