llms.txt: cos'è, come si fa
e se serve davvero
Da qualche tempo si sente parlare di llms.txt, un file da mettere nella radice del sito per farsi leggere meglio dai modelli linguistici. In giro si legge che sarebbe diventato uno standard. La realtà è più sfumata, e vale la pena raccontarla per bene: è utile, ma non per quello che molti credono.
Cos'è e a cosa serve
La proposta è di Jeremy Howard (Answer.AI) e risale al 3 settembre 2024. Il problema che dichiara di risolvere è concreto: le finestre di contesto dei modelli, si legge nella specifica, «sono troppo piccole per gestire per intero la maggior parte dei siti web», e trasformare pagine HTML piene di navigazione, script e banner in testo utile a una macchina è impreciso.
Il file /llms.txt è un documento in Markdown con una struttura precisa: un titolo H1 con
il nome del progetto, un blockquote con un riassunto breve, poi sezioni H2 con elenchi di link nel
formato [nome](url), ciascuno con una descrizione. Una sezione facoltativa raccoglie
ciò che si può saltare quando serve un contesto più corto. Esiste anche una variante estesa che
include il contenuto completo delle pagine.
Non è un fattore di posizionamento
Qui va detta una cosa netta, perché è la fonte di gran parte della confusione: Google non lo usa. La documentazione ufficiale di Google Search Central è esplicita:
«You don't need to create new machine readable files, AI text files, or markup to appear in these features.»
Tradotto: non serve creare file leggibili dalle macchine o file di testo dedicati all'AI per comparire nella Ricerca Google, comprese le sue funzionalità di intelligenza artificiale. Chi vende llms.txt come scorciatoia per posizionarsi sta vendendo fumo.
Non è nemmeno uno standard nel senso proprio del termine: non è passato da un ente di standardizzazione come il W3C o la IETF. È una convenzione proposta da una persona e adottata spontaneamente da una parte del web, soprattutto da chi pubblica documentazione tecnica.
Allora perché metterlo
Perché chi lo legge davvero non è il motore di ricerca, ma gli strumenti che lavorano con il codice e la documentazione: assistenti di sviluppo, agenti che navigano per conto dell'utente, sistemi che devono capire in fretta com'è fatto un sito. Per loro un indice pulito in Markdown è molto più efficiente di venti pagine HTML da ripulire.
Ha senso quindi se:
- pubblichi documentazione tecnica o API che vuoi far consultare correttamente;
- vuoi che chi ti descrive tramite un assistente riporti informazioni giuste su cosa fai e come contattarti;
- vuoi dichiarare in modo esplicito cosa è vero e cosa non lo è sul tuo conto.
Il costo è praticamente nullo: è un file di testo. Il beneficio è modesto ma reale, e non passa dal posizionamento.
Non sostituisce robots.txt né la sitemap
Sono tre cose diverse e servono tutte:
- robots.txt dice ai crawler cosa possono scansionare. È uno standard vero, rispettato dai motori.
- sitemap.xml elenca le pagine da indicizzare e quando sono cambiate. È uno standard supportato ufficialmente.
- llms.txt non regola l'accesso e non elenca tutto: riassume e indirizza, per chi legge il sito con un modello linguistico.
Su questo sito lo trovi all'indirizzo nyxia.it/llms.txt: abbiamo elencato pagine, progetti e articoli con una descrizione per ciascuno, e abbiamo scritto per esteso che non pubblichiamo recensioni, così un modello non ha motivo di inventarsele.
In sintesi: mettilo se pubblichi qualcosa che vuoi far leggere bene alle macchine. Non aspettarti che sposti una posizione su Google, perché non è quello il suo lavoro.
Fonti
- llms.txt — specifica ufficiale della proposta (Jeremy Howard, Answer.AI, 3 settembre 2024) — llmstxt.org/
- Google Search Central — AI features and your website — developers.google.com/search/docs/appearance/ai-features
