Ogni volta che incolli un contratto, un referto o un foglio di calcolo aziendale in un chatbot online, quei dati viaggiano verso i server di qualcun altro. Per molti usi va benissimo; per altri, come abbiamo visto nella guida su quali dati non inserire in un chatbot, decisamente no. Esiste però una terza via, molto meno complicata di quanto si pensi: far girare il modello direttamente sul tuo computer. Nessun account, nessun abbonamento, e il testo non esce mai dalla tua scrivania.
In questa guida ti spiego cosa serve, quali programmi usare e, soprattutto, cosa aspettarti, perché un modello locale non è ChatGPT o Claude in miniatura.
Il dato che conta: la memoria
Più che il processore, a decidere cosa puoi far girare è la memoria: la memoria della scheda video (VRAM) se hai una GPU dedicata, oppure la RAM di sistema. Sui Mac con chip Apple Silicon la memoria è condivisa tra CPU e GPU, e per questo sono macchine sorprendentemente adatte allo scopo.
La dimensione di un modello si misura in miliardi di parametri (la “B” nei nomi: 8B, 14B, 70B). Nei programmi che vedremo i modelli vengono di solito scaricati quantizzati a 4 bit, una forma compressa che riduce molto lo spazio con una perdita di qualità contenuta. Come ordine di grandezza:
| Dimensione del modello | Memoria occupata (circa) | Che computer serve |
|---|---|---|
| 3-4B | 2-3 GB | quasi qualsiasi PC recente con 8 GB di RAM |
| 7-8B | 5 GB | 16 GB di RAM, oppure scheda video con 8 GB |
| 12-14B | 8-9 GB | scheda video con 12 GB o Mac con 16-24 GB |
| 30-32B | 18-20 GB | scheda video con 24 GB o Mac con 32 GB e oltre |
| 70B | 40 GB e più | workstation o Mac con 64 GB e oltre |
A questi valori va aggiunto un margine per il sistema operativo e per il “contesto”, cioè il testo della conversazione. Un modello che sta tutto nella memoria della GPU risponde rapidamente; se deve usare anche la RAM normale funziona lo stesso, ma rallenta molto. Senza GPU, solo con il processore, i modelli piccoli sono utilizzabili, quelli medi diventano lenti.
Strada facile: LM Studio
LM Studio è il punto di partenza che consiglio a chi non vuole toccare il terminale. È gratuito per uso personale e disponibile per Windows, Mac e Linux.
- scaricalo dal sito ufficiale lmstudio.ai e installalo;
- apri la sezione di ricerca (l’icona della lente) e cerca una famiglia di modelli, per esempio Qwen, Gemma, Llama o Mistral;
- LM Studio indica accanto a ogni file se è adatto al tuo computer: scegli una versione che dichiara di poter stare interamente nella GPU, se disponibile;
- a download finito, apri la scheda della chat, seleziona il modello in alto e inizia a scrivere.
Una funzione molto comoda è la possibilità di allegare documenti alla chat: il programma li legge in locale e il modello risponde basandosi sul loro contenuto.
Strada da smanettoni: Ollama
Ollama nasce per la riga di comando ed è perfetto se vuoi integrare il modello in altri programmi. Dopo averlo installato da ollama.com, apri il terminale e usa pochi comandi:
ollama run nome-modelloscarica il modello (solo la prima volta) e apre una chat. Per esempioollama run qwen3:8b; i nomi aggiornati li trovi nella libreria sul sito;- scrivi
/byeper uscire dalla chat; ollama listmostra i modelli scaricati e quanto spazio occupano;ollama rm nome-modelloli cancella, utile perché ognuno pesa diversi gigabyte.
La parte interessante è che Ollama espone anche un’API locale sulla porta 11434. Molti programmi, dalle estensioni per scrivere codice alle interfacce web come Open WebUI, fino a Home Assistant per comandare la casa con la voce, possono collegarsi lì e usare il tuo modello invece di un servizio cloud.
Cosa aspettarsi (e cosa no)
Qui serve onestà, perché molte delusioni nascono da aspettative sbagliate.
- Un modello da 8B non è un modello di frontiera. Riassume bene, corregge testi, traduce in modo decente, scrive codice semplice. Su ragionamenti lunghi, calcoli e domande di cultura generale sbaglia molto più spesso dei grandi servizi online, e le allucinazioni sono frequenti.
- Non sa cosa succede oggi. Conosce solo i dati fino al suo addestramento e, di base, non naviga su Internet.
- L’italiano varia molto da modello a modello. Prova due o tre famiglie diverse sullo stesso compito prima di scegliere.
- Il contesto è limitato. Di serie molti programmi impostano una finestra di contesto prudente per risparmiare memoria: se il modello “dimentica” l’inizio di un documento lungo, cerca nelle impostazioni la voce relativa alla lunghezza del contesto e aumentala, sapendo che occuperà più memoria.
Due accortezze di sicurezza
Scarica i modelli solo dalle librerie integrate nei programmi o da pagine ufficiali su Hugging Face, e preferisci il formato GGUF, che contiene solo dati e non codice eseguibile. Inoltre, controlla la licenza: non tutti i modelli “aperti” sono liberamente utilizzabili per scopi commerciali.
Il mio consiglio per iniziare: installa LM Studio, scarica un modello da 7-8B e dagli un compito concreto che oggi fai con un chatbot online, come riassumere un verbale o riscrivere una mail. In mezz’ora capirai se per il tuo uso un’IA locale basta o se, almeno per ora, ti serve ancora il cloud.