Cada vez mais empresas querem assistentes de IA que trabalhem com seus próprios documentos sem enviar dados para a nuvem. O fator decisivo não é a marca do processador, mas a memória — quanto dela o modelo pode usar. Veja como escolher o computador adequado para a tarefa.
Por que executar IA localmente
Os dados ficam no escritório: contratos, prontuários médicos ou registros contábeis nunca saem da rede da empresa. Não há cobrança por solicitação, e o sistema continua funcionando sem internet. Em contrapartida, você fica responsável pela escolha e manutenção do hardware.
A memória determina qual modelo você pode executar
Os modelos de linguagem são medidos em bilhões de parâmetros. Comprimido para 4 bits — a forma usual de executá-los localmente —, um modelo precisa de pouco mais de meio gigabyte de memória por bilhão de parâmetros, além de espaço para a conversa. Em termos aproximados: um modelo de 8 bilhões precisa de cerca de 6 GB; um de 32 bilhões, de cerca de 20 GB; e um de 70 bilhões, de cerca de 40–45 GB.
O que conta é a memória que o processador gráfico ou o acelerador de IA pode usar. Em computadores com memória unificada, o processador e o processador gráfico compartilham a mesma memória, de modo que uma estação de trabalho com 128 GB pode disponibilizar até 96 GB para o modelo.
Três categorias de hardware
Computadores de placa única com NPU de 1 a 6 TOPS e 8–16 GB de memória executam tarefas de visão computacional — contagem, detecção e leitura de texto — e pequenos modelos de linguagem. São adequados para laboratórios de treinamento e dispositivos que operam no local.
Mini PCs com processadores Intel Core Ultra ou AMD Ryzen AI e 32–64 GB de memória executam modelos de 8–14 bilhões de parâmetros para poucos usuários — por exemplo, um assistente de documentos para um pequeno escritório.
Estações de trabalho com 128–192 GB de memória unificada executam modelos de até cerca de 70 bilhões de parâmetros e atendem a uma equipe pequena. Dezenas de usuários simultâneos exigem um servidor com placas gráficas profissionais — outra faixa de orçamento.
NPU ou processador gráfico?
Uma NPU é eficiente para tarefas específicas, mas nem todos os modelos e programas são compatíveis com ela. Ferramentas populares para executar modelos de linguagem localmente, como Ollama, LM Studio e llama.cpp, dependem principalmente do processador e do processador gráfico. Antes de comprar, verifique se o seu software é compatível com o chip específico — pedimos à fábrica que confirme isso por escrito.
Lista de verificação antes de fazer o pedido
Quais modelos serão usados e de que tamanho; quantas pessoas os usarão ao mesmo tempo; qual é a extensão dos documentos; Windows ou Linux; se a fábrica deve pré-instalar a imagem do seu sistema; a garantia e como funcionam os reparos; o consumo de energia e o ruído em um escritório.
Como ajudamos
Informe quais modelos você quer executar e quantos usuários tem. Sugerimos uma configuração, pedimos à fábrica que confirme a compatibilidade por escrito e podemos providenciar a instalação da imagem do seu sistema antes do envio.