Sempre più aziende cercano assistenti AI che lavorino sui propri documenti senza inviare dati al cloud. Il fattore decisivo non è la marca del processore, ma la memoria: quanta ne può utilizzare il modello. Ecco come scegliere il computer in base all’attività da svolgere.
Perché eseguire l’AI in locale
I dati restano in ufficio: contratti, cartelle cliniche e dati contabili non escono mai dalla rete aziendale. Non ci sono costi per singola richiesta e il sistema continua a funzionare anche senza Internet. In cambio, la scelta e la manutenzione dell’hardware sono a Suo carico.
La memoria determina quale modello si può eseguire
I modelli linguistici si misurano in miliardi di parametri. Con la compressione a 4 bit, la modalità più comune per eseguirli in locale, un modello richiede poco più di mezzo gigabyte di memoria per ogni miliardo di parametri, oltre allo spazio per la conversazione. Indicativamente: un modello da 8 miliardi di parametri richiede circa 6 GB, uno da 32 miliardi circa 20 GB e uno da 70 miliardi circa 40–45 GB.
Conta la memoria che il processore grafico o l’acceleratore AI può utilizzare. Nei computer con memoria unificata, il processore e il processore grafico condividono la stessa memoria, quindi una workstation da 128 GB può dedicarne fino a 96 GB al modello.
Tre categorie di hardware
I computer a scheda singola con NPU da 1 a 6 TOPS e 8–16 GB di memoria gestiscono attività di visione artificiale — conteggio, rilevamento, lettura di testi — e piccoli modelli linguistici. Sono adatti ai laboratori didattici e ai dispositivi che operano in sede.
I mini PC con processori Intel Core Ultra o AMD Ryzen AI e 32–64 GB di memoria eseguono modelli da 8–14 miliardi di parametri per pochi utenti: ad esempio, un assistente per la consultazione dei documenti in un piccolo ufficio.
Le workstation con 128–192 GB di memoria unificata eseguono modelli fino a circa 70 miliardi di parametri e possono servire un piccolo gruppo di lavoro. Per decine di utenti simultanei serve un server con schede grafiche professionali: il budget è diverso.
NPU o processore grafico?
Una NPU è efficiente per attività specifiche, ma non tutti i modelli e i programmi la supportano. Strumenti diffusi per eseguire modelli linguistici in locale, come Ollama, LM Studio e llama.cpp, si basano principalmente sul processore e sul processore grafico. Prima dell’acquisto, verifichi che il Suo software supporti il chip specifico: chiediamo alla fabbrica di confermarlo per iscritto.
Lista di controllo prima dell’ordine
Quali modelli e di quali dimensioni; quante persone li utilizzeranno contemporaneamente; quanto sono lunghi i documenti; Windows o Linux; se la fabbrica deve preinstallare la Sua immagine di sistema; la garanzia e le modalità di riparazione; il consumo energetico e la rumorosità in ufficio.
Come possiamo aiutarLa
Ci indichi quali modelli desidera eseguire e quanti sono gli utenti. Proponiamo una configurazione, chiediamo alla fabbrica di confermare per iscritto la compatibilità e possiamo far installare la Sua immagine di sistema prima della spedizione.