Il testo viene trattato come token: piccoli pezzi di testo, non necessariamente parole intere.

Ogni nuovo token si aggiunge al contesto e viene usato per generare il successivo.

Training: il modello impara dai dati modificando i propri parametri (pesi).

Confronta il token previsto con quello presente nel testo e usa il confronto per aggiornare i pesi.

Inferenza: usiamo un modello che ha già completato il training.

Il modello riceve il contesto e usa i pesi per generare il token successivo.

I pesi restano invariati. Il nuovo token si aggiunge al contesto.

"Leggi ricette e dispensa e prepara la lista della spesa".

Indicare cena/ non fornisce al modello il contenuto dei file.

L'applicazione può usare strumenti per leggerli e aggiungere il contenuto al contesto.

Nel contesto il modello trova la richiesta e i percorsi dei file disponibili.

Chiede all'applicazione di leggerli. L'applicazione attiva lo strumento adatto: lettura di PDF, DOCX o CSV.

Il contenuto estratto, di solito testo, torna nel contesto inviato al modello.

Per preparare la lista della spesa servono più operazioni, non una sola lettura.

Un agente è un sistema che usa questo ciclo per portare avanti il compito.

Il modello può chiedere un'altra operazione oppure generare la risposta finale, che l'applicazione mostra all'utente.

Quando scriviamo a ChatGPT o Gemini, usiamo una chat nel browser.

La chat invia richiesta e contesto ai server dove il runtime esegue il modello.

Il modello non gira sul nostro computer.

In questo caso, il modello proprietario viene eseguito sui server del fornitore.

• Inviamo richiesta e contesto, riceviamo risposte.
• Non possiamo eseguirlo sul nostro computer.

Con i modelli open weights possiamo scaricare una copia dei pesi.

Possiamo usare un runtime compatibile sul nostro computer, se ha risorse sufficienti.

Un esempio: Qwen3.5-9B.

Abbiamo una copia dei pesi. Possiamo usarli, modificarli e condividere una versione modificata?

La licenza indica quali usi sono consentiti e a quali condizioni.

Open weights: i pesi sono disponibili per eseguire il modello.

Nel riferimento Open Source AI di OSI, servono anche codice e informazioni su dati e training.

Materiali e condizioni devono permettere di usare, studiare, modificare e condividere il sistema.

Olmo 3 pubblica materiali per studiare anche come si è svolto il training.

Per usare un modello resta poi una scelta pratica: dove eseguirlo.

Torniamo a ricette e dispensa: il loro contenuto entra nel contesto.

Con un runtime remoto, quel contesto lascia il computer. Con un runtime locale, l'inferenza avviene sul computer.

Il fornitore riceve il contesto, che può contenere anche dati personali estratti dai file.

Oltre a generare la risposta:

• Conserva questi dati? Per quanto tempo?
• Li usa per il training di altri modelli?

Dipende da servizio, piano e impostazioni: dobbiamo verificarlo prima di inviare i dati.

Con i pesi scaricabili, possiamo eseguire il modello sul nostro computer.

File, contesto e risposte restano nel PC. Decidiamo noi che cosa conservare e cancellare.

Per lavorare senza inviare dati all'esterno, anche applicazione e strumenti devono usare solo risorse locali.

Modello già addestrato.

Programmi compatibili, memoria libera e tempi accettabili sul nostro compito.

Il file occupa spazio sul disco. Durante l'uso serve memoria anche per contesto e lavoro del runtime.

Hermes Agent gestisce la conversazione e gli strumenti per i file.

Ollama carica ed esegue il modello localmente.

Usiamo la combinazione già provata per questa demo.