Cada vez mais empresas procuram assistentes de IA que trabalhem com os seus próprios documentos sem enviar dados para a nuvem. O fator decisivo não é a marca do processador, mas sim a memória — a quantidade que o modelo consegue utilizar. Saiba como adequar o computador à tarefa.
Porquê executar IA localmente
Os dados permanecem no escritório: contratos, registos clínicos ou dados contabilísticos nunca saem da rede da empresa. Não há custos por pedido e o sistema continua a funcionar sem Internet. Em contrapartida, a escolha e a manutenção do hardware ficam a seu cargo.
A memória determina o modelo que pode executar
Os modelos de linguagem medem-se em milhares de milhões de parâmetros. Comprimido para 4 bits — a forma habitual de o executar localmente —, um modelo precisa de um pouco mais de meio gigabyte de memória por cada mil milhões de parâmetros, além de espaço para a conversa. Como referência: um modelo de 8 mil milhões de parâmetros precisa de cerca de 6 GB, um de 32 mil milhões de cerca de 20 GB e um de 70 mil milhões de cerca de 40–45 GB.
O que conta é a memória que o processador gráfico ou o acelerador de IA consegue utilizar. Nos computadores com memória unificada, o processador e o processador gráfico partilham a mesma memória, pelo que uma estação de trabalho com 128 GB pode disponibilizar até 96 GB ao modelo.
Três categorias de hardware
Os computadores de placa única com uma NPU de 1 a 6 TOPS e 8–16 GB de memória permitem executar tarefas de visão computacional — contagem, deteção, leitura de texto — e pequenos modelos de linguagem. São adequados para laboratórios de formação e dispositivos que funcionam no local.
Os mini PCs com processadores Intel Core Ultra ou AMD Ryzen AI e 32–64 GB de memória executam modelos de 8–14 mil milhões de parâmetros para poucos utilizadores — por exemplo, um assistente para consulta de documentos num pequeno escritório.
As estações de trabalho com 128–192 GB de memória unificada executam modelos de até cerca de 70 mil milhões de parâmetros e servem uma pequena equipa. Dezenas de utilizadores em simultâneo exigem um servidor com placas gráficas profissionais — o que implica outro orçamento.
NPU ou processador gráfico?
Uma NPU é eficiente em tarefas específicas, mas nem todos os modelos e programas são compatíveis com ela. As ferramentas populares para executar modelos de linguagem localmente, como Ollama, LM Studio e llama.cpp, utilizam sobretudo o processador e o processador gráfico. Antes de comprar, verifique se o seu software é compatível com o chip em questão — pedimos à fábrica que confirme esta compatibilidade por escrito.
Lista de verificação antes de encomendar
Que modelos pretende utilizar e de que dimensão; quantas pessoas os vão utilizar em simultâneo; qual a extensão dos documentos; Windows ou Linux; se a fábrica deve pré-instalar a sua imagem de sistema; a garantia e como funcionam as reparações; o consumo de energia e o ruído num escritório.
Como ajudamos
Diga-nos que modelos pretende executar e quantos utilizadores tem. Sugerimos uma configuração, pedimos à fábrica que confirme a compatibilidade por escrito e podemos providenciar a instalação da sua imagem de sistema antes do envio.