Все повече компании искат ИИ асистенти, които работят с фирмените им документи, без да изпращат данни в облака. Решаващият фактор не е марката на процесора, а паметта — какъв обем от нея може да използва моделът. Ето как да подберете компютър според задачата.
Защо да изпълнявате ИИ локално
Данните остават в офиса: договори, медицински досиета или счетоводни данни никога не напускат фирмената мрежа. Няма такса за всяка заявка, а системата продължава да работи и без интернет. Компромисът е, че сами избирате и поддържате хардуера.
Паметта определя кой модел можете да изпълнявате
Езиковите модели се измерват в милиарди параметри. При компресиране до 4 бита — обичайният начин за локално изпълнение — един модел се нуждае от малко повече от половин гигабайт памет на милиард параметри, плюс място за разговора. Ориентировъчно: модел с 8 милиарда параметри се нуждае от около 6 GB, модел с 32 милиарда — от около 20 GB, а модел със 70 милиарда — от около 40–45 GB.
От значение е паметта, която графичният процесор или ИИ ускорителят може да използва. При компютрите с унифицирана памет централният и графичният процесор споделят обща памет, така че работна станция със 128 GB може да предостави до 96 GB на модела.
Три класа хардуер
Едноплатковите компютри с NPU с производителност от 1 до 6 TOPS и 8–16 GB памет се справят със задачи за компютърно зрение — броене, откриване, разчитане на текст — и с малки езикови модели. Подходящи са за учебни лаборатории и устройства, които работят на място.
Миникомпютрите с процесори Intel Core Ultra или AMD Ryzen AI и 32–64 GB памет изпълняват модели с 8–14 милиарда параметри за няколко потребители — например асистент за работа с документи в малък офис.
Работните станции със 128–192 GB унифицирана памет изпълняват модели с до около 70 милиарда параметри и обслужват малък екип. За десетки едновременни потребители е нужен сървър с професионални графични карти — това изисква друг бюджет.
NPU или графичен процесор?
NPU е ефективен за конкретни задачи, но не всеки модел и всяка програма го поддържат. Популярни инструменти за локално изпълнение на езикови модели, като Ollama, LM Studio и llama.cpp, разчитат основно на централния и графичния процесор. Преди покупка проверете дали Вашият софтуер поддържа конкретния чип — ние изискваме писмено потвърждение за това от завода.
Какво да проверите преди поръчка
Кои модели ще използвате и с какъв размер; колко души ще ги използват едновременно; колко дълги са документите; Windows или Linux; дали заводът трябва предварително да инсталира Вашия системен образ; гаранцията и процедурата за ремонт; консумацията на енергия и шумът в офис среда.
Как помагаме
Кажете ни кои модели искате да изпълнявате и колко потребители имате. Предлагаме конфигурация, изискваме от завода писмено потвърждение за съвместимостта и можем да организираме инсталирането на Вашия системен образ преди изпращане.