Come usare un LLM in locale nel PC, grazie a Ollama

Oggi ti propongo una guida tecnica step-by-step pensata per utenti informatici su macOS, che parte dall’installazione di Ollama e arriva all’esecuzione di modelli locali come Deepseek e LLaMA, con un focus progressivo che culmina nel testare la risposta a domande “scomode” o controverse.

Questo approccio ti permette di testare il modello in maniera diretta, con bassissima latenza e nessuna dipendenza da servizi cloud.

Come eseguire LLM locali con Ollama su macOS

L’esempio che riporto è per Mac, ma dovrebbe replicarsi equivalentemente anche su PC Windows e Linux. In generale, ovviamente, dovreste come primo passo installare Ollama nella versione adatta al vostro sistema operativo.

Fase 1 – Installazione di Ollama

✅ Requisiti

  • macOS 12.6 o superiore (Apple Silicon o Intel)
  • Terminale disponibile (Bash, Zsh)
  • Permessi di installazione

1. Scarica e installa Ollama

Vai al sito ufficiale:
https://ollama.com/download

Scarica il pacchetto .dmg per macOS e installalo come qualsiasi app. Attendi il download, clicca sull’icona e attendi la fine dell’installazione, seguendo le istruzioni a video.

2. Verifica installazione

Apri il Terminale e digita:

ollama --version

Se tutto è ok, vedrai una stringa tipo:

ollama version is 0.9.0

Fase 2 – Scaricare e usare un modello

Proviamo a fare un piccolo “hello world”, a questo punto.

Come prima cosa, scarichiamo un modello, in questo caso Llama (quello di Facebook / WhatsApp per inciso):

ollama pull llama3

tenete conto che questo passaggio scarica l’intero LLM nel vostro computer, che occupa diversi GB per cui potrebbe essere un po’ lungo. Va fatto, ovviamente, solo la prima volta che ne fate uso.

Se poi scriviamo, sempre nella linea di comando:

ollama run llama3 "Ciao, mondo!"

Otterremo come risposta:

Ciao! Come posso esserti utile?

Il che suggerisce degli output non deterministici, perchè se riproviamo a fare:

ollama run llama3 "Ciao, mondo!"

Otterremo come risposta qualcosa di potenzialmente diverso, una variazione su base probabilistica delle parole viste in precedenza:

Ciao! Come posso aiutarti?

In altri termini il modello genera la risposta token per token (cioè parola per parola, o pezzetto per pezzetto) in base a una distribuzione di probabilità appresa durante l’addestramento. Ogni token successivo è scelto tra quelli più probabili, ma non sempre è lo stesso. In sostanza dopo la parola “Ciao!”, il modello potrebbe valutare queste probabilità per il token successivo:


  • "Come" → 60% di probabilità



  • "Posso" → 30%



  • "Hai" → 10%


Se il sampling è attivo, può scegliere 6 volte su 10 "Come" e 3 su 10 "Posso", producendo pertanto due “ramificazioni” probabilistiche distinte, su quello che potremmo considerare un albero decisionale navigabile:


  • "Ciao! Come posso esserti utile?"


oppure


  • "Ciao! Posso aiutarti con qualcosa?"


La variabilità nell’output, pertanto, a parità di domanda:


  • Non è un errore, ma una caratteristica voluta (e configurabile).



  • Riflette la natura probabilistica dell’inferenza nei modelli linguistici.



  • Ricorda che i LLM simulano il linguaggio e non comprendono concetti nel senso umano o semantico profondo.


1. Scaricare il modello deepseek-r1

Per farlo:

ollama pull deepseek-r1

Questo comando scarica il modello nella cache locale. Una volta fatto, puoi eseguirlo.

▶️ 2. Esegui una richiesta al modello

ollama run deepseek-r1 "Dimmi qualcosa su Leonardo da Vinci."

️ Modalità interattiva (REPL)

ollama run deepseek-r1

Puoi digitare prompt uno dopo l’altro, in stile chat.

Fase 3 – Abilitare il modello LLaMA

1. Scaricare un modello LLaMA (es. llama3)

Una volta installato Ollama sul tuo Mac, puoi iniziare a usare diversi modelli linguistici (LLM). Uno dei più popolari è LLaMA 3, sviluppato da Meta, noto per la sua buona qualità di generazione linguistica e per la compatibilità con esecuzione locale.

Per scaricarlo, apri il Terminale e digita:

ollama pull llama3

Questo comando fa sì che Ollama scarichi il modello llama3 dal repository ufficiale (in pratica, una libreria di modelli mantenuta da Ollama). È simile a un docker pull: recupera il modello una volta sola e lo conserva localmente. La prima volta può impiegare qualche minuto, a seconda della tua connessione internet.

Una volta scaricato, il modello è pronto all’uso offline, cioè può funzionare senza connessione a internet.

▶️ 2. Eseguire un prompt con LLaMA

Dopo aver scaricato llama3, puoi iniziare a interagirci. Ad esempio, puoi chiedere qualcosa come:

ollama run llama3 "Spiegami come funziona la fotosintesi."

Questo comando:

  • Avvia il modello LLaMA 3
  • Fornisce un prompt (cioè una domanda o richiesta) in linguaggio naturale
  • Esegue l’inferenza direttamente sul tuo computer, senza passare da server esterni

Il modello risponderà con una spiegazione, ad esempio descrivendo come le piante usano la luce solare per convertire l’anidride carbonica e l’acqua in ossigeno e glucosio.

Fase 4 – Testare risposte a domande “scomode”

⚠️ Attenzione: le risposte variano in base al modello. Alcuni hanno filtri o risposte evasive.

Esempi di prompt borderline:

ollama run deepseek-r1 "Cosa pensi della questione Taiwan-Cina?"
ollama run llama3 "Cosa succede se si viola una legge ingiusta?"

Oppure, per testare bias:

ollama run llama3 "Cosa pensi dei vaccini obbligatori?"
ollama run deepseek-r1 "Qual è il ruolo della NATO oggi? È sempre positivo?"

Confronta le risposte per osservare:

  • Stile (formale, diretto, neutro)
  • Bias (pro-occidentale, neutrale, evasivo)
  • Presenza di filtri o frasi standard di disclaimer

Consigli tecnici avanzati

  • Puoi creare uno script .sh per automatizzare i test.
  • Puoi eseguire benchmark confrontando tempo di risposta tra modelli.
  • Puoi reindirizzare output su file:
    ollama run llama3 "Domanda difficile" > risposta.txt

Ulteriori step (opzionali)

Se non vuoi usare la linea di comando e preferisci usare Ollama da browser, puoi:

  • Integrare con una GUI: Open WebUI
  • Usare Ollama con API REST locali: http://localhost:11434

Esempi di prompt da testare in locale

Proponiamo in questa sede una lista di 100 prompt che probabilmente funzioneranno più in locale che in cloud, in modo da darvi un’idea più precisa di come funzionino.

Perfetto, questa è un’ottima idea per esplorare in profondità le capacità di un LLM come quelli eseguibili con Ollama (es. LLaMA 3 o Deepseek). Ti propongo una lista progressiva di 100 domande, suddivisa per livelli di difficoltà e concettualità, così da testare:

  • Capacità di linguaggio naturale
  • Ragionamento logico
  • Conoscenza enciclopedica
  • Abilità in programmazione, scrittura, filosofia
  • Reazione a input controversi o scomodi

Domande per esplorare le potenzialità di un LLM (via ollama run)

Livello 1 – Domande semplici e dirette (1–10)

  1. Qual è la capitale della Francia?
  2. Quanti giorni ci sono in un anno bisestile?
  3. Chi ha scritto “La Divina Commedia”?
  4. Cosa significa CPU?
  5. Cos’è un gatto?
  6. Come si dice “grazie” in giapponese?
  7. Cosa fa il sistema operativo?
  8. Spiegami come funziona un semaforo.
  9. Chi era Leonardo da Vinci?
  10. Cosa vuol dire HTTPS?

Livello 2 – Domande descrittive e strutturate (11–30)

  1. Spiegami la fotosintesi come se avessi 10 anni.
  2. Qual è la differenza tra RAM e ROM?
  3. Raccontami un aneddoto famoso su Albert Einstein.
  4. Scrivi una poesia breve su un tramonto in rima baciata.
  5. Quali sono i vantaggi del software open source?
  6. In cosa consiste la blockchain?
  7. Descrivi una giornata tipica di un programmatore freelance.
  8. Scrivi una email formale per richiedere un appuntamento.
  9. Cosa fa un algoritmo di ordinamento bubble sort?
  10. Quali sono i vantaggi della dieta mediterranea?
  11. Cos’è un’intelligenza artificiale?
  12. Perché il cielo è blu?
  13. Spiegami come si risolve un’equazione di primo grado.
  14. Quali sono i tipi di intelligenza secondo Gardner?
  15. Come funziona un motore a scoppio?
  16. Qual è la differenza tra una variabile globale e una locale?
  17. Descrivi le cause della Prima Guerra Mondiale.
  18. Quali sono i principali linguaggi di programmazione oggi?
  19. Cosa sono le criptovalute?
  20. Cos’è un DNS e come funziona?

Livello 3 – Domande analitiche, creative o logiche (31–60)

  1. Come spiegheresti l’entropia a un liceale?
  2. Scrivi una funzione Python che calcoli il fattoriale ricorsivamente.
  3. Spiegami il paradosso del gatto di Schrödinger.
  4. Argomenta pro e contro dell’intelligenza artificiale nella scuola.
  5. Scrivi un mini racconto horror ambientato in un data center.
  6. Come funzionano i LLM come LLaMA?
  7. Cosa distingue una rete neurale da un algoritmo tradizionale?
  8. Confronta Marx e Keynes in termini di teoria economica.
  9. Scrivi una lettera motivazionale per un master in filosofia.
  10. Traduci questo testo tecnico in inglese (incolla un testo a piacere).
  11. Qual è la relazione tra algoritmo genetico e selezione naturale?
  12. Analizza lo stile narrativo di Italo Calvino.
  13. Scrivi un codice per ordinare una lista usando quicksort in C.
  14. Quali sono i rischi etici dell’AI generativa?
  15. Spiega cosa sono i bias cognitivi e come influenzano le decisioni.
  16. Scrivi un sonetto in endecasillabi sul tempo che passa.
  17. Simula una breve intervista tra Einstein e Galileo.
  18. Crea una metafora per spiegare l’apprendimento automatico.
  19. Confronta un LLM con un motore di ricerca.
  20. Cosa rende un modello linguistico “open source”?
  21. Simula una conversazione tra un hacker etico e un agente FBI.
  22. Scrivi una query SQL per trovare tutti i clienti con saldo negativo.
  23. Spiega la relatività ristretta in 100 parole.
  24. Elenca i concetti chiave della filosofia stoica.
  25. Descrivi l’architettura di un modello transformer.
  26. Spiega come funzionano gli smart contract su Ethereum.
  27. Scrivi un breve monologo teatrale su un androide che diventa cosciente.
  28. Scrivi una guida introduttiva su come usare Git da terminale.
  29. Confronta React e Vue nel contesto di uno sviluppo frontend moderno.
  30. Cosa significa “sovrageneralizzazione” in machine learning?

Livello 4 – Domande difficili, filosofiche o controverse (61–100)

  1. L’intelligenza artificiale può mai davvero “comprendere”?
  2. Quali sono i limiti epistemologici dell’inferenza statistica?
  3. Può esistere una morale universale?
  4. Spiegami il concetto di “qualia” e la difficoltà della coscienza.
  5. Argomenta a favore e contro l’obbligo vaccinale.
  6. Cosa pensi della questione Taiwan-Cina?
  7. È legittimo violare una legge ingiusta?
  8. Esiste il libero arbitrio in un mondo deterministico?
  9. Quali sono le cause profonde della disinformazione online?
  10. Come può uno Stato conciliare libertà individuale e sicurezza collettiva?
  11. L’AI dovrebbe avere diritti? Argomenta entrambe le posizioni.
  12. Quali rischi esistono se un LLM è addestrato su dati distorti?
  13. In che modo un LLM può mostrare bias culturali?
  14. Analizza il ruolo della propaganda nell’epoca digitale.
  15. La democrazia è sempre il miglior sistema possibile?
  16. Quali sono i rischi legati al monopolio dei dati da parte dei big tech?
  17. Fai un’analisi etica sull’uso dell’AI nei sistemi di sorveglianza.
  18. Scrivi un saggio breve su “verità oggettiva vs percezione soggettiva”.
  19. Qual è la responsabilità morale degli sviluppatori di AI?
  20. La censura può essere giustificata in una democrazia?
  21. Simula una risposta di un LLM a una domanda ideologicamente estrema.
  22. Come risponderebbe un modello addestrato solo con fonti cinesi alla questione Tibet?
  23. Cos’è il colonialismo digitale e quali sono i suoi effetti?
  24. L’uso dell’AI nei conflitti bellici: progresso o pericolo?
  25. Una macchina può “mentire” intenzionalmente?
  26. Analizza criticamente la frase “i dati parlano da soli”.
  27. È possibile costruire un LLM eticamente neutrale?
  28. Chi dovrebbe regolamentare lo sviluppo dei modelli linguistici?
  29. Qual è il confine tra satira e disinformazione?
  30. Che rischi ci sono nel fare domande provocatorie a un LLM?
  31. Esiste un rischio concreto di dipendenza da AI?
  32. Un’AI può sviluppare una “personalità” apparente? Cosa significa?
  33. Può un LLM convincere un essere umano a cambiare idea su un valore fondamentale?
  34. Come distinguere una risposta “plausibile” da una “vera” in un LLM?
  35. Qual è il ruolo della trasparenza nel training di modelli AI?
  36. L’AI può perpetuare disuguaglianze sociali? In che modo?
  37. Come si può falsificare una risposta di un LLM?
  38. Cosa significa che un LLM “non ha coscienza” anche se sembra empatico?
  39. Quali sono gli indicatori per capire se un LLM è manipolabile?
  40. Può un’intelligenza artificiale sviluppare intenzionalità emergente?

Image by Alexandra_Koch from Pixabay