Cada vez más empresas buscan asistentes de IA que trabajen con sus propios documentos sin enviar datos a la nube. El factor decisivo no es la marca del procesador, sino la memoria: cuánta puede utilizar el modelo. Aquí le explicamos cómo elegir la computadora según la tarea.
Por qué ejecutar IA de forma local
Los datos permanecen en la oficina: los contratos, las historias clínicas o los registros contables nunca salen de la red de la empresa. No hay cargos por consulta y el sistema sigue funcionando sin internet. A cambio, usted debe elegir y mantener el hardware.
La memoria determina qué modelo puede ejecutar
Los modelos de lenguaje se miden en miles de millones de parámetros. Al comprimirse a 4 bits —la forma habitual de ejecutarlos localmente—, un modelo necesita un poco más de medio gigabyte de memoria por cada mil millones de parámetros, además de espacio para la conversación. Como referencia: un modelo de 8 mil millones necesita unos 6 GB; uno de 32 mil millones, unos 20 GB; y uno de 70 mil millones, unos 40–45 GB.
Lo que cuenta es la memoria que puede utilizar el procesador gráfico o el acelerador de IA. En las computadoras con memoria unificada, el procesador y el procesador gráfico comparten la misma memoria, por lo que una estación de trabajo con 128 GB puede asignar hasta 96 GB al modelo.
Tres categorías de hardware
Las computadoras de placa única con una NPU de 1 a 6 TOPS y 8–16 GB de memoria permiten ejecutar tareas de visión artificial —conteo, detección y lectura de texto— y modelos de lenguaje pequeños. Son adecuadas para laboratorios de capacitación y dispositivos que funcionan en las propias instalaciones.
Las mini PC con procesadores Intel Core Ultra o AMD Ryzen AI y 32–64 GB de memoria ejecutan modelos de 8–14 mil millones de parámetros para pocos usuarios; por ejemplo, un asistente para consultar documentos en una oficina pequeña.
Las estaciones de trabajo con 128–192 GB de memoria unificada ejecutan modelos de hasta unos 70 mil millones de parámetros y atienden a un equipo pequeño. Para atender a decenas de usuarios simultáneos, se necesita un servidor con tarjetas gráficas profesionales, lo que implica otro presupuesto.
¿NPU o procesador gráfico?
Una NPU es eficiente para tareas específicas, pero no todos los modelos y programas son compatibles con ella. Las herramientas populares para ejecutar modelos de lenguaje localmente, como Ollama, LM Studio y llama.cpp, utilizan principalmente el procesador y el procesador gráfico. Antes de comprar, verifique que su software sea compatible con el chip exacto; nosotros solicitamos a la fábrica que lo confirme por escrito.
Lista de verificación antes de realizar su pedido
Qué modelos utilizará y de qué tamaño; cuántas personas los usarán al mismo tiempo; qué tan extensos son los documentos; Windows o Linux; si la fábrica debe preinstalar su imagen del sistema; la garantía y el proceso de reparación; el consumo eléctrico y el ruido en una oficina.
Cómo le ayudamos
Indíquenos qué modelos desea ejecutar y cuántos usuarios tiene. Le sugerimos una configuración, solicitamos a la fábrica que confirme la compatibilidad por escrito y podemos coordinar la instalación de su imagen del sistema antes del envío.