Cada vez más empresas quieren asistentes de IA que trabajen con sus propios documentos sin enviar datos a la nube. El factor decisivo no es la marca del procesador, sino la memoria: cuánta puede usar el modelo. Aquí le explicamos cómo elegir el computador adecuado para la tarea.
Por qué ejecutar IA localmente
Los datos permanecen en la oficina: los contratos, las historias clínicas o las cuentas nunca salen de la red de la empresa. No hay cobro por solicitud y el sistema sigue funcionando sin internet. A cambio, usted debe elegir y mantener el hardware.
La memoria determina qué modelo puede ejecutar
Los modelos de lenguaje se miden en miles de millones de parámetros. Comprimido a 4 bits —la forma habitual de ejecutarlo localmente—, un modelo necesita un poco más de medio gigabyte de memoria por cada mil millones de parámetros, además de espacio para la conversación. Como referencia: un modelo de 8 mil millones necesita unos 6 GB; uno de 32 mil millones, unos 20 GB; y uno de 70 mil millones, unos 40–45 GB.
Lo que cuenta es la memoria que puede usar el procesador gráfico o el acelerador de IA. En los computadores con memoria unificada, el procesador y el procesador gráfico comparten la misma memoria, por lo que una estación de trabajo con 128 GB puede asignar hasta 96 GB al modelo.
Tres clases de hardware
Los computadores de placa única con una NPU de 1 a 6 TOPS y 8–16 GB de memoria permiten realizar tareas de visión por computador —conteo, detección y lectura de texto— y ejecutar modelos de lenguaje pequeños. Son adecuados para laboratorios de formación y dispositivos que funcionan en las instalaciones.
Los mini PC con procesadores Intel Core Ultra o AMD Ryzen AI y 32–64 GB de memoria ejecutan modelos de 8–14 mil millones de parámetros para unos pocos usuarios; por ejemplo, un asistente de documentos para una oficina pequeña.
Las estaciones de trabajo con 128–192 GB de memoria unificada ejecutan modelos de hasta unos 70 mil millones de parámetros y atienden a un equipo pequeño. Para atender a decenas de usuarios simultáneos se necesita un servidor con tarjetas gráficas profesionales, lo que implica otro presupuesto.
¿NPU o procesador gráfico?
Una NPU es eficiente para tareas específicas, pero no todos los modelos y programas son compatibles con ella. Las herramientas populares para ejecutar modelos de lenguaje localmente, como Ollama, LM Studio y llama.cpp, se apoyan principalmente en el procesador y el procesador gráfico. Antes de comprar, verifique que su software sea compatible con el chip exacto: nosotros le pedimos a la fábrica que lo confirme por escrito.
Lista de verificación antes de hacer su pedido
Qué modelos usará y de qué tamaño; cuántas personas los usarán al mismo tiempo; qué extensión tienen los documentos; Windows o Linux; si la fábrica debe preinstalar su imagen del sistema; la garantía y cómo se gestionan las reparaciones; el consumo de energía y el ruido en una oficina.
Cómo le ayudamos
Cuéntenos qué modelos quiere ejecutar y cuántos usuarios tiene. Le sugerimos una configuración, le pedimos a la fábrica que confirme la compatibilidad por escrito y podemos gestionar la instalación de su imagen del sistema antes del envío.