Skip to main content
Osservatorio

Osservatorio Evolutivo

Temi

Ogni tema e una raccolta curata di articoli attorno a un filo di ricerca. Un indice navigabile che collega le fonti della biblioteca a letture accessibili.

● Tema · SYS.LOCAL3 articoli

Modelli locali per la GenAI

Eseguire modelli generativi aperti sul proprio hardware: panorama dei pesi aperti, quantizzazione, formati come GGUF. Cosa serve sapere per portare un modello dalla model card alla propria GPU.

  1. 01Il panorama dei modelli aperti eseguibili in locale
  2. 02Quantizzazione: far entrare un modello nella tua GPU
  3. 03GGUF e llama.cpp: il formato dei pesi per l'inferenza locale
● Tema · SYS.HARNESS2 articoli

Harness

Il software che sta tra te e il modello: motori di inferenza e loop di agenti. Come un modello grezzo diventa un servizio utile, dalla gestione della memoria all'orchestrazione degli strumenti.

  1. 01Cos'è un harness di inferenza e perché conta
  2. 02Harness per agenti: dal prompt al loop di strumenti