Steeds meer bedrijven willen AI-assistenten die met hun eigen documenten werken zonder gegevens naar de cloud te sturen. Niet het processormerk geeft de doorslag, maar het geheugen — en hoeveel daarvan het model kan gebruiken. Zo stemt u de computer af op de taak.
Waarom AI lokaal uitvoeren
Gegevens blijven op kantoor: contracten, medische dossiers of boekhoudgegevens verlaten het bedrijfsnetwerk niet. Er zijn geen kosten per verzoek en het systeem blijft zonder internet werken. Daar staat tegenover dat u de hardware zelf kiest en onderhoudt.
Het geheugen bepaalt welk model u kunt uitvoeren
De omvang van taalmodellen wordt uitgedrukt in miljarden parameters. Gecomprimeerd tot 4 bits — de gebruikelijke manier om ze lokaal uit te voeren — heeft een model iets meer dan een halve gigabyte geheugen per miljard parameters nodig, plus ruimte voor het gesprek. Als vuistregel: een model met 8 miljard parameters heeft ongeveer 6 GB nodig, een model met 32 miljard ongeveer 20 GB en een model met 70 miljard ongeveer 40–45 GB.
Wat telt, is het geheugen dat de grafische processor of de AI-versneller kan gebruiken. In computers met gedeeld geheugen gebruiken de processor en de grafische processor dezelfde geheugenpool. Daardoor kan een workstation met 128 GB tot 96 GB aan het model toewijzen.
Drie hardwareklassen
Singleboardcomputers met een NPU van 1 tot 6 TOPS en 8–16 GB geheugen zijn geschikt voor computervisie — tellen, detecteren, tekst lezen — en kleine taalmodellen. Ze passen bij opleidingslabs en apparaten die op locatie werken.
Mini-pc's met Intel Core Ultra- of AMD Ryzen AI-processors en 32–64 GB geheugen kunnen modellen met 8–14 miljard parameters uitvoeren voor enkele gebruikers — bijvoorbeeld een documentassistent voor een klein kantoor.
Workstations met 128–192 GB gedeeld geheugen kunnen modellen met tot ongeveer 70 miljard parameters uitvoeren en een klein team bedienen. Voor tientallen gelijktijdige gebruikers is een server met professionele grafische kaarten nodig — dat vraagt om een ander budget.
NPU of grafische processor?
Een NPU is efficiënt voor specifieke taken, maar niet elk model en programma ondersteunt deze. Populaire tools om taalmodellen lokaal uit te voeren, zoals Ollama, LM Studio en llama.cpp, gebruiken vooral de processor en de grafische processor. Controleer vóór aankoop of uw software de specifieke chip ondersteunt — wij vragen de fabriek dit schriftelijk te bevestigen.
Checklist voordat u bestelt
Welke modellen en van welke omvang; hoeveel mensen ze tegelijk zullen gebruiken; hoe lang de documenten zijn; Windows of Linux; of de fabriek uw systeemimage vooraf moet installeren; de garantie en hoe reparaties verlopen; stroomverbruik en geluidsniveau op kantoor.
Hoe wij helpen
Vertel ons welke modellen u wilt uitvoeren en hoeveel gebruikers u heeft. Wij stellen een configuratie voor, vragen de fabriek de compatibiliteit schriftelijk te bevestigen en kunnen uw systeemimage vóór verzending laten installeren.