Immer mehr Unternehmen wünschen sich KI-Assistenten, die mit ihren eigenen Dokumenten arbeiten, ohne Daten an die Cloud zu senden. Entscheidend ist nicht die Prozessormarke, sondern der Speicher – und wie viel davon das Modell nutzen kann. So wählen Sie den passenden Computer für Ihre Aufgabe.
Warum KI lokal betreiben?
Die Daten bleiben im Büro: Verträge, Patientenakten oder Buchhaltungsdaten verlassen das Unternehmensnetzwerk nicht. Es fallen keine Gebühren pro Anfrage an, und das System funktioniert auch ohne Internet weiter. Dafür müssen Sie die Hardware selbst auswählen und warten.
Der Speicher entscheidet, welches Modell Sie ausführen können
Die Größe von Sprachmodellen wird in Milliarden Parametern angegeben. Bei einer Komprimierung auf 4 Bit – dem üblichen Verfahren für den lokalen Betrieb – benötigt ein Modell etwas mehr als ein halbes Gigabyte Speicher pro Milliarde Parameter, zuzüglich Platz für den Gesprächsverlauf. Als Richtwert: Ein Modell mit 8 Milliarden Parametern benötigt etwa 6 GB, eines mit 32 Milliarden etwa 20 GB und eines mit 70 Milliarden etwa 40–45 GB.
Entscheidend ist der Speicher, den die Grafikeinheit oder der KI-Beschleuniger nutzen kann. Bei Computern mit gemeinsamem Speicher greifen Prozessor und Grafikeinheit auf denselben Speicherpool zu. So kann eine Workstation mit 128 GB dem Modell bis zu 96 GB zur Verfügung stellen.
Drei Hardwareklassen
Einplatinencomputer mit einer NPU mit 1 bis 6 TOPS und 8–16 GB Speicher bewältigen Aufgaben der Bildverarbeitung – Zählen, Erkennen und Lesen von Text – sowie kleine Sprachmodelle. Sie eignen sich für Schulungslabore und Geräte, die vor Ort arbeiten.
Mini-PCs mit Prozessoren der Serien Intel Core Ultra oder AMD Ryzen AI und 32–64 GB Speicher führen Modelle mit 8–14 Milliarden Parametern für wenige Nutzer aus – zum Beispiel einen Dokumentenassistenten für ein kleines Büro.
Workstations mit 128–192 GB gemeinsamem Speicher führen Modelle mit bis zu etwa 70 Milliarden Parametern aus und versorgen ein kleines Team. Für Dutzende gleichzeitige Nutzer ist ein Server mit professionellen Grafikkarten erforderlich – das bedeutet ein anderes Budget.
NPU oder Grafikeinheit?
Eine NPU ist bei bestimmten Aufgaben effizient, wird aber nicht von jedem Modell und Programm unterstützt. Gängige Werkzeuge für den lokalen Betrieb von Sprachmodellen, etwa Ollama, LM Studio und llama.cpp, nutzen hauptsächlich den Prozessor und die Grafikeinheit. Prüfen Sie vor dem Kauf, ob Ihre Software den konkreten Chip unterstützt – wir lassen uns dies vom Hersteller schriftlich bestätigen.
Checkliste vor der Bestellung
Welche Modelle in welcher Größe eingesetzt werden sollen; wie viele Personen sie gleichzeitig nutzen werden; wie lang die Dokumente sind; Windows oder Linux; ob der Hersteller Ihr Systemabbild vorinstallieren soll; die Garantie und der Reparaturablauf; Stromverbrauch und Geräuschentwicklung im Büro.
So unterstützen wir Sie
Teilen Sie uns mit, welche Modelle Sie ausführen möchten und wie viele Nutzer Sie haben. Wir schlagen eine Konfiguration vor, lassen uns die Kompatibilität vom Hersteller schriftlich bestätigen und können Ihr Systemabbild vor dem Versand installieren lassen.