Coraz więcej firm potrzebuje asystentów AI, którzy pracują z firmowymi dokumentami bez wysyłania danych do chmury. Decydującym czynnikiem nie jest marka procesora, lecz pamięć — a dokładniej jej ilość dostępna dla modelu. Poniżej wyjaśniamy, jak dobrać komputer do zadania.
Dlaczego warto uruchamiać AI lokalnie
Dane pozostają w biurze: umowy, dokumentacja medyczna czy dane księgowe nie opuszczają sieci firmowej. Nie ma opłat za poszczególne zapytania, a system działa również bez internetu. W zamian muszą Państwo samodzielnie wybrać i utrzymywać sprzęt.
Pamięć decyduje o tym, jaki model można uruchomić
Wielkość modeli językowych mierzy się w miliardach parametrów. Po kompresji do 4 bitów — typowej przy uruchamianiu lokalnym — model potrzebuje nieco ponad pół gigabajta pamięci na miliard parametrów oraz dodatkowego miejsca na rozmowę. W przybliżeniu: model z 8 miliardami parametrów wymaga około 6 GB, z 32 miliardami — około 20 GB, a z 70 miliardami — około 40–45 GB.
Liczy się pamięć, z której może korzystać układ graficzny lub akcelerator AI. W komputerach z pamięcią zunifikowaną procesor i układ graficzny współdzielą jedną pulę, dzięki czemu stacja robocza ze 128 GB pamięci może udostępnić modelowi nawet 96 GB.
Trzy klasy sprzętu
Komputery jednopłytkowe z NPU o wydajności od 1 do 6 TOPS i 8–16 GB pamięci obsługują zadania widzenia komputerowego — zliczanie, wykrywanie, odczytywanie tekstu — oraz małe modele językowe. Sprawdzają się w laboratoriach szkoleniowych i urządzeniach pracujących na miejscu.
Mini PC z procesorami Intel Core Ultra lub AMD Ryzen AI i 32–64 GB pamięci obsługują modele o 8–14 miliardach parametrów dla kilku użytkowników — na przykład asystenta do pracy z dokumentami w małym biurze.
Stacje robocze ze 128–192 GB pamięci zunifikowanej obsługują modele o maksymalnie około 70 miliardach parametrów i zapewniają obsługę małego zespołu. Dziesiątki użytkowników pracujących jednocześnie wymagają serwera z profesjonalnymi kartami graficznymi — to już inny budżet.
NPU czy układ graficzny?
NPU sprawnie wykonuje określone zadania, ale nie każdy model i program go obsługuje. Popularne narzędzia do lokalnego uruchamiania modeli językowych, takie jak Ollama, LM Studio i llama.cpp, wykorzystują głównie procesor i układ graficzny. Przed zakupem powinni Państwo sprawdzić, czy używane oprogramowanie obsługuje konkretny układ — prosimy fabrykę o pisemne potwierdzenie tej zgodności.
Lista kontrolna przed złożeniem zamówienia
Jakie modele i jakiej wielkości; ile osób będzie z nich korzystać jednocześnie; jak długie są dokumenty; Windows czy Linux; czy fabryka ma wstępnie zainstalować Państwa obraz systemu; gwarancja i sposób realizacji napraw; pobór mocy i poziom hałasu w biurze.
Jak pomagamy
Prosimy wskazać, jakie modele chcą Państwo uruchamiać i ilu użytkowników będzie z nich korzystać. Zaproponujemy konfigurację, poprosimy fabrykę o pisemne potwierdzenie zgodności i możemy zlecić instalację Państwa obrazu systemu przed wysyłką.