Всё больше компаний хотят ИИ-ассистентов, которые работают с их документами и не отправляют данные в облако. Решает не марка процессора, а память — сколько её может использовать модель. Рассказываем, как подобрать компьютер под задачу.
Зачем запускать ИИ у себя
Данные остаются в офисе: договоры, медицинские карты или бухгалтерия не уходят за пределы сети компании. Нет платы за каждый запрос, и система работает без интернета. Цена этого — технику вы выбираете и обслуживаете сами.
Какую модель запустить, решает память
Языковые модели меряют в миллиардах параметров. В сжатии до 4 бит — обычный способ запускать их локально — модели нужно чуть больше половины гигабайта памяти на миллиард параметров, плюс запас на диалог. Примерно: модели на 8 млрд нужно около 6 ГБ, на 32 млрд — около 20 ГБ, на 70 млрд — около 40–45 ГБ.
Считается память, которую может использовать графика или ИИ-ускоритель. В компьютерах с общей памятью процессор и графика делят один объём, поэтому станция со 128 ГБ может отдать модели до 96 ГБ.
Три класса техники
Одноплатные компьютеры с NPU на 1–6 TOPS и 8–16 ГБ памяти справляются с компьютерным зрением — подсчётом, распознаванием, чтением текста — и с небольшими языковыми моделями. Подходят для учебных лабораторий и устройств, которые работают на месте.
Мини-ПК на процессорах Intel Core Ultra или AMD Ryzen AI с 32–64 ГБ памяти запускают модели на 8–14 млрд параметров для нескольких пользователей — например, ассистента по документам для небольшого офиса.
Станции со 128–192 ГБ общей памяти запускают модели примерно до 70 млрд параметров и обслуживают небольшую команду. Для десятков одновременных пользователей нужен сервер с профессиональными видеокартами — это другой бюджет.
NPU или графика?
NPU экономичен в отдельных задачах, но не каждая модель и программа его поддерживает. Популярные инструменты для локального запуска языковых моделей, такие как Ollama, LM Studio и llama.cpp, опираются в основном на процессор и графику. Перед покупкой проверьте, что ваше ПО поддерживает именно этот чип, — мы просим завод подтвердить это письменно.
Что решить до заказа
Какие модели и какого размера; сколько человек будут работать одновременно; насколько длинные документы; Windows или Linux; нужно ли заводу заранее поставить ваш образ системы; гарантия и порядок ремонта; потребление и шум в офисе.
Чем мы помогаем
Напишите, какие модели хотите запускать и сколько у вас пользователей. Предложим конфигурацию, попросим завод письменно подтвердить совместимость и можем поставить ваш образ системы до отправки.