Дедалі більше компаній потребують ШІ-асистентів, які працюють із їхніми власними документами без передавання даних у хмару. Вирішальним чинником є не бренд процесора, а пам’ять — скільки її може використовувати модель. Розглянемо, як підібрати комп’ютер під завдання.
Навіщо запускати ШІ локально
Дані залишаються в офісі: договори, медичні записи чи бухгалтерські дані не виходять за межі мережі компанії. Плати за кожен запит немає, а система продовжує працювати без інтернету. Натомість Ви самостійно вибираєте й обслуговуєте обладнання.
Пам’ять визначає, яку модель Ви зможете запустити
Розмір мовних моделей вимірюють у мільярдах параметрів. Після стиснення до 4 біт — звичного способу підготовки до локального запуску — моделі потрібно трохи більше ніж пів гігабайта пам’яті на мільярд параметрів, а також місце для розмови. Орієнтовно: моделі з 8 мільярдами параметрів потрібно близько 6 GB, із 32 мільярдами — близько 20 GB, а із 70 мільярдами — близько 40–45 GB.
Важливий обсяг пам’яті, доступний графічному процесору або ШІ-прискорювачу. У комп’ютерах зі спільною пам’яттю центральний і графічний процесори використовують один пул пам’яті, тому робоча станція зі 128 GB може виділити моделі до 96 GB.
Три класи обладнання
Одноплатні комп’ютери з NPU продуктивністю від 1 до 6 TOPS і 8–16 GB пам’яті виконують завдання комп’ютерного зору — підрахунок, виявлення, розпізнавання тексту — та працюють із невеликими мовними моделями. Вони підходять для навчальних лабораторій і пристроїв, що працюють на місці.
Міні-ПК із процесорами Intel Core Ultra або AMD Ryzen AI та 32–64 GB пам’яті запускають моделі з 8–14 мільярдами параметрів для кількох користувачів — наприклад, асистента для роботи з документами в невеликому офісі.
Робочі станції зі 128–192 GB спільної пам’яті запускають моделі з кількістю параметрів до приблизно 70 мільярдів і обслуговують невелику команду. Для десятків одночасних користувачів потрібен сервер із професійними відеокартами — це вже інший бюджет.
NPU чи графічний процесор?
NPU ефективний для конкретних завдань, але не кожна модель і програма його підтримує. Популярні інструменти для локального запуску мовних моделей, як-от Ollama, LM Studio та llama.cpp, переважно використовують центральний і графічний процесори. Перед купівлею перевірте, чи підтримує Ваше програмне забезпечення саме цей чип — ми просимо завод письмово це підтвердити.
Що перевірити перед замовленням
Які моделі та якого розміру Ви використовуватимете; скільки людей працюватиме з ними одночасно; який обсяг документів; Windows чи Linux; чи має завод попередньо встановити Ваш образ системи; умови гарантії та порядок ремонту; енергоспоживання й рівень шуму в офісі.
Як ми допомагаємо
Повідомте нам, які моделі Ви хочете запускати та скільки у Вас користувачів. Ми запропонуємо конфігурацію, попросимо завод письмово підтвердити сумісність і за потреби організуємо встановлення Вашого образу системи перед відправленням.