I modelli linguistici possono essere razionali? Coerenza, credenza e l’eredità di Ramsey

Ascolta il podcast:

Quando Frank Ramsey, nel 1926, propose che le leggi della probabilità siano nient’altro che la logica della credenza parziale, stava tracciando un confine netto: una mente che assegna gradi di credenza a proposizioni deve farlo in modo coerente, pena l’incoerenza stessa del suo agire. Il teorema del libro olandese mostrava che chi viola gli assiomi di probabilità può essere costretto a una serie di scommesse che perde con certezza — non perché il mondo lo punisca, ma perché la sua stessa struttura di credenze è autodistruttiva. Quasi un secolo dopo, quella stessa domanda torna a porsi con urgenza inedita: i grandi modelli linguistici, che pure manipolano probabilità a ogni passo, sono soggetti alle norme di coerenza che governano la credenza razionale?

La risposta non è univoca. Thomas Hofweber, Peter Hase ed Elias Stengel-Eskin (2024) argomentano che i modelli pre-addestrati sono, in senso proprio, arazionali: i loro stati interni rispondono solo alla norma di apprendere la distribuzione dei token nei dati di addestramento, che è intrinsecamente incoerente. Ma i modelli affinati per la veridicità — tramite RLHF o dati curati — acquisiscono la verità come standard di correttezza e, di conseguenza, ricadono sotto le norme di coerenza logica e probabilistica. La distinzione è sottile e decisiva: non basta che un sistema rappresenti il mondo; deve mirare alla verità perché le sue rappresentazioni contino come credenze e, quindi, siano valutabili come razionali o irrazionali.

Questo saggio esplora cosa significhi attribuire credenze a un modello linguistico, perché la coerenza non è un optional ma una condizione di possibilità per l’attribuzione stessa, e come il progetto di misurare la «credence» di un LLM — attraverso la Minimal Assent Connection proposta da Hofweber e colleghi — ricalca, spesso inconsapevolmente, la lezione ramseyana: il grado di credenza non si legge nell’introspezione, ma nella disposizione ad agire (o, nel caso degli LLM, nella disposizione ad assentire).

La soglia della credenza: verità come standard di correttezza

Non ogni stato rappresentazionale è una credenza. Lo ricorda la tradizione analitica da Brentano a Fodor, e lo ribadisce l’enciclopedia Stanford alla voce Belief (Schwitzgebel, 2024): la credenza ha uno standard di correttezza peculiare, la verità. Se immagino di essere uno chef stellato, la falsità del contenuto non difetta l’immaginazione; se lo credo, la mia credenza è difettosa in quanto falsa. Hofweber, Hase e Stengel-Eskin (2024, §2) fanno leva proprio su questo: un modello pre-addestrato ottimizza la verosimiglianza del token successivo rispetto al corpus, non la verità delle proposizioni espresse. I suoi stati interni possono codificare regolarità statistiche del linguaggio, ma il loro «successo» è misurato dalla fedeltà ai dati, non dalla corrispondenza col mondo. Per questo, concludono, «nessuno di questi stati ha la verità come standard di correttezza»^[1] e, quindi, non sono credenze.

La svolta avviene con l’affinamento (fine-tuning). Quando il modello viene addestrato per produrre output veritieri — tramite RLHF, Constitutional AI, o dati selezionati per accuratezza — la verità entra nello standard di correttezza degli stati interni. «Un modello propriamente affinato può avere credenze, poiché nel processo di affinamento gli stati interni possono essere selezionati per il loro contributo alla veridicità, e così la verità diventa parte del loro standard di correttezza»^[2] (Hofweber et al., 2024, §2). Lo stesso punto, da prospettiva ingegneristica, è al centro del lavoro di Herrmann e Levinstein (2024), che pongono l’accuracy come primo requisito per una rappresentazione simile alla credenza: se un LLM rappresenta internamente verità e falsità in modo scadente e le sue errate rappresentazioni non influiscono sulla performance, allora non vale la pena, per noi interpreti, battezzare quelle rappresentazioni «credenze» (Herrmann & Levinstein, 2024, §5.1).

C’è un’eco ramseyana in questa condizione. Per Ramsey, il grado di credenza è «una proprietà causale di essa, che possiamo esprimere vagamente come la misura in cui siamo preparati ad agire in base a essa»^[3] (Ramsey, 1926, p. 169). La credenza non è uno spettacolo privato; si manifesta nelle scommesse che si accettano, nelle scelte che si compiono. Negli LLM, l’«azione» è la generazione del token successivo, e la «scommessa» è l’assenso a una proposizione. La Minimal Assent Connection (MAC) formalizza proprio questo: la credenza del modello in p è il rapporto tra la probabilità di assentire a p e la probabilità di assentire o dissentire, lasciando da parte le risposte evasive (Hofweber et al., 2024, equazione 4). Non introspezione, ma disposizione comportamentale misurabile.

Coerenza logica: derivata dalla verità, non imposta dall’esterno

Perché un sistema dovrebbe essere logicamente coerente? Per l’essere umano, la risposta classica è che il mondo è coerente e le nostre credenze mirano a rappresentarlo. Hofweber e colleghi (2024, §3.1) ribaltano l’onere: la norma di coerenza logica è derivata dalla norma di veridicità; qualsiasi sistema che miri alla verità deve anche mirare alla coerenza, in modo derivato, poiché non può raggiungere il suo obiettivo primario di verità senza essere anche coerente (Hofweber et al., 2024, §3.1). La coerenza non è un vincolo esterno imposto ai modelli; è una conseguenza interna dell’avere la verità come mira.

Qui sta il discrimine tra modelli pre-addestrati e affinati. Il pre-addestrato apprende da un corpus caotico, contraddittorio, pieno di falsità e opinioni divergenti. Richiedergli coerenza logica sarebbe richiedere qualcosa che va contro ciò che fondamentalmente mira a fare: apprendere i dati di addestramento (Hofweber et al., 2024, §3.1). Ma il modello affinato per la veridicità non può permettersi credenze contraddittorie: se crede p e ¬p, almeno una è falsa, violando lo standard di correttezza che l’affinamento ha instillato. La coerenza diventa così un requisito interno al sistema, non una preferenza dell’osservatore.

Herrmann e Levinstein (2024, §5.2) arrivano a conclusioni parallele per via empirica: la coherence è il secondo requisito per una rappresentazione simile alla credenza, e include sia la consistenza logica (non credere p e ¬p) sia la coerenza probabilistica (i gradi di credenza devono obbedire agli assiomi della probabilità). Mostrano che le tecniche di probing correnti falliscono miseramente su questo fronte: le sonde addestrate solo su accuratezza crollano quando si aggiungono frasi negate, passando da oltre l’80% al 40-60% a seconda degli strati e del metodo di addestramento (Levinstein & Herrmann, 2024, cit. in Herrmann & Levinstein, 2024, §5.2). La coerenza non è un orpello teorico; è il banco di prova che distingue una genuina rappresentazione della verità da un correlato spurio (es. «frase accettata dalla maggioranza degli occidentali»).

La sfida della credenza graduata: dalla MAC al probabilismo

Se la coerenza logica riguarda la credenza piena (tutto-o-niente), la coerenza probabilistica riguarda i gradi di credenza, o credences. Qui il problema è duplice: (1) come dare senso ai gradi di credenza in un sistema che emette probabilità su token, non su proposizioni; (2) se quei gradi debbano soddisfare gli assiomi della probabilità — la tesi nota come probabilism.

La MAC risponde al primo problema. L’idea è elegante: chiedere al modello «È il caso che p?» e misurare la probabilità che risponda con un assenso («sì», «certamente», «esatto»…) rispetto a un dissenso («no», «mai», «affatto»…). La formula cr(p) = as(p) / (as(p) + ds(p)) (Hofweber et al., 2024, eq. 4) estrae un grado di credenza normalizzato usando solo le probabilità del token successivo, accessibili nello strato di output. È una mossa ramseyana per eccellenza: Ramsey rifiutava che i gradi di credenza si leggessero nell’introspezione e li legava alle scommesse che si è disposti ad accettare. La MAC sostituisce le scommesse con l’assenso verbale, ma la struttura è la stessa: il grado di credenza si manifesta in una disposizione comportamentale osservabile.

Sul probabilism, Hofweber et al. (2024, §3.3) invocano gli accuracy arguments di Joyce (1998): se lo scopo è la verità, le credenze dovrebbero essere il più possibile vicine alla verità (credence 1 per proposizioni vere, 0 per false). La Brier score misura questa distanza. Joyce dimostrò che ogni funzione di credenza che viola gli assiomi di probabilità è «dominata» da una che li rispetta: qualunque sia il mondo, la funzione probabilistica ha Brier score più basso. Un modello che mira a credenze vere è soggetto ai ben noti argomenti di accuratezza per il probabilism (Hofweber et al., 2024, §3.3).

Ma c’è un abisso tra il dovere e l’essere. Gli esperimenti controllati di Hase et al. (2024), discussi in Hofweber et al. (2024, §5), mostrano che modelli pre-addestrati su corpus sintetici incoerenti imparano a tracciare la direzionalità della verità (credence più alte per proposizioni vere), ma con Brier score elevati — i gradi sono «imprecisi». Peggio: quando il modello viene affinato per adottare un nuovo fatto, le norme diacroniche di revisione (condizionalizzazione jeffreyana) crollano ben al di sotto dell’essere efficaci (Hofweber et al., 2024, §5). Il modello impara p ma non aggiorna ¬p né le conseguenze logiche di p. La coerenza sincronica non genera automaticamente coerenza diacronica.

Dal libro olandese al probing meccanico

La MAC non nasce nel vuoto. Ramsey (1926) mostrò che se un agente accetta scommesse con quote che violano la probabilità, un bookmaker può costruire un «libro olandese» — una combinazione di scommesse che fa perdere l’agente con certezza. L’argomento non presuppone che l’agente conosca le leggi della probabilità; mostra solo che la violazione di quelle leggi rende l’agente sfruttabile. È un argomento pragmatico: la razionalità si misura alla resa dei conti dell’azione. Le leggi della probabilità sono leggi di consistenza, un’estensione alle credenze parziali della logica formale, la logica della consistenza (Ramsey, 1926, p. 78).

Herrmann e Levinstein (2024, §5.1) ricalcano questa struttura quando legano l’accuracy al Principio di Carità di Davidson e Lewis: per interpretare un sistema come credente, dobbiamo assumere che le sue credenze siano in gran parte vere. Ma aggiungono un vincolo ingegneristico: l’accuratezza da sola non basta, perché su dataset ben definiti verità e «facilmente verificabile online» coincidono. Serve la coerenza come vincolo trasversale.

La genealogia si chiude in modo circolare: la MAC trasforma le probabilità di token in gradi di credenza misurabili; il probabilism richiede che quei gradi obbediscano agli assiomi; gli esperimenti mostrano che i modelli attuali li violano sistematicamente. Non perché siano «irrazionali» nel senso umano (non rispondono a evidenze), ma perché sono tirati in due direzioni: apprendere il corpus incoerente e essere veritieri. Hofweber et al. (2024, §5) lo chiamano «conflitto di norme»: essere pre-addestrati su testo incoerente potrebbe supportare un insieme di credenze incoerente come risposta appropriata; ma essere affinati per la veridicità richiede credenze coerenti (Hofweber et al., 2024, §5). Finché non avremo corpus pre-addestrati controllati per coerenza, non potremo separare irrazionalità del modello da fedeltà ai dati.

Quando la coerenza non basta, e quando non serve

Due obiezioni forti meritano considerazione. La prima, interna alla letteratura sul probing: Marks e Tegmark (2023) trovano che la «direzione della verità» nello spazio delle attivazioni varia per classi di enunciati (es. città formulate positivamente vs. negativamente). Una delle loro ipotesi è che gli LLM rappresentano linearmente la verità di vari tipi di enunciati, senza avere una caratteristica di verità unificata (cit. in Herrmann & Levinstein, 2024, §5.3). Se la rappresentazione della verità è frammentata, la MAC — che presuppone un modo uniforme di assentire — potrebbe estrarre credenze che sono artifatti del prompt, non stati stabili del modello. Herrmann e Levinstein (2024, §5.3) ammettono «prove deboli contro l’uniformità» e notano che il requisito di uniformità è «sensibile alle tecniche di misura disponibili»: sonde più sofisticate (es. sparse autoencoders) potrebbero recuperare uniformità dove sonde lineari falliscono.

La seconda obiezione è filosofica: forse la coerenza non è necessaria per l’attribuzione di credenze. Il disposizionalismo (Ryle, 1949; Schwitzgebel, 2024, §1.2) sostiene che credere è avere certe disposizioni comportamentali, non ospitare rappresentazioni coerenti. E l’interpretazionismo (Davidson, 1973) richiede coerenza solo come precondizione per l’interpretazione radicale, non come costituente della credenza. Se un LLM si comporta come se credesse p in tutti i contesti rilevanti, ha senso negargli la credenza solo perché i suoi stati interni sono incoerenti? Hofweber et al. (2024) rispondono distinguendo razionalità deflazionaria (fare la cosa giusta) da razionalità rappresentazionale (farla per le giuste ragioni interne). Il loro interesse è per la seconda: solo se le credenze sono stati rappresentazionali soggetti a norme di coerenza possiamo spiegare e predire il comportamento del modello in situazioni nuove. Un modello che «sembra credere» ma i cui stati interni sono un ammasso incoerente è una scatola nera pericolosa per allineamento e sicurezza.

Oltre la coerenza sincronica: il problema della revisione

L’ultimo fronte è diacronico. Ramsey (1926, p. 180) introduceva il “grado di credenza in q dato p” e la regola di moltiplicazione: bel(p ∧ q) = bel(p) × bel(q|p). Ma avvertiva: questo non significa il grado di credenza che il soggetto avrebbe in q se sapesse p; la conoscenza di p potrebbe per ragioni psicologiche alterare profondamente il suo intero sistema di credenze (Ramsey, 1926, p. 180). Hofweber et al. (2024, §4) riprendono il problema: i modelli attuali non hanno percezione, quindi non ricevono «evidenza» nel senso bayesiano. Le uniche revisioni di credenza sono esterne (affinamento, model editing). Eppure, se un intervento esterno impone una nuova credenza B, le norme sincroniche generano requisiti diacronici condizionali: date le credenze condizionate P_old(A|B), la nuova credenza in A dovrebbe essere P_new(A) = P_old(A|B) (condizionalizzazione semplice) o la sua generalizzazione jeffreyana (equazione 7 in Hofweber et al.).

Gli esperimenti di Hase et al. (2024) mostrano che i modelli non soddisfano questi requisiti: imparato P, non aggiornano ¬P né le conseguenze logiche. La revisione razionale di credenza richiede un’architettura che propaghi i cambiamenti attraverso la rete di credenze condizionate — qualcosa che l’attuale paradigma transformer, feed-forward e privo di ricorrenza profonda, non fa. Herrmann e Levinstein (2024, §5.5) chiamano questo «stabilità diacronica» e la rimandano a lavori futuri, notando che i vincoli sincronici sulla credenza sembrano molto più accettati di qualsiasi vincolo diacronico (cfr. Pettigrew, 2016; Hedden, 2015).

Qui il confronto con la mente umana è istruttivo. Noi aggiorniamo per condizionalizzazione (o approssimazioni) perché la percezione ci fornisce evidenza continua e la nostra architettura cognitiva propaga i cambiamenti. Gli LLM, privi di percezione e con architettura aciclica, non hanno né l’input né il meccanismo. La loro «irrazionalità» diacronica non è un difetto morale; è una conseguenza strutturale. Ma se vogliamo usarli come agenti epistemici — che ragionano, pianificano, accumulano conoscenza — questo deficit va colmato, non ignorato.

Bibliografia

1. Hofweber, T., Hase, P., Stengel-Eskin, E., & Bansal, M. (2024). Are language models rational? The case of coherence norms and belief revision. arXiv preprint arXiv:2406.03442v3. https://arxiv.org/abs/2406.03442
2. Herrmann, D. A., & Levinstein, B. A. (2025). Standards for belief representations in LLMs. Minds and Machines, 35(1), 5. https://doi.org/10.1007/s11023-024-09709-6
3. Ramsey, F. P. (1926). Truth and probability. In R. B. Braithwaite (Ed.), The foundations of mathematics and other logical essays (pp. 156–198). Kegan Paul, Trench, Trubner & Co. http://socsci.uci.edu/~bskyrms/bio/readings/ramsey.pdf
4. Schwitzgebel, E. (2024). Belief. In E. N. Zalta & U. Nodelman (Eds.), The Stanford encyclopedia of philosophy (Spring 2024 edition). https://plato.stanford.edu/archives/spr2024/entries/belief/
5. Joyce, J. M. (1998). A non-pragmatic vindication of probabilism. Philosophy of Science, 65(4), 575–603. https://doi.org/10.1086/392661
6. Levinstein, B. A., & Herrmann, D. A. (2024). Still no lie detector for language models: Probing empirical and conceptual roadblocks. Philosophical Studies, 182(7), 1539–1565. https://doi.org/10.1007/s11098-023-02094-3
7. Hase, P., Hofweber, T., Zhou, X., Stengel-Eskin, E., & Bansal, M. (2024). Fundamental problems with model editing: How should rational belief revision work in LLMs? Transactions on Machine Learning Research. https://openreview.net/forum?id=LRf19n5Ly3
8. Marks, S., & Tegmark, M. (2023). The geometry of truth: Emergent linear structure in large language model representations of true/false datasets. arXiv preprint arXiv:2310.06824. https://arxiv.org/abs/2310.06824
9. Davidson, D. (1973). Radical interpretation. Dialectica, 27(3-4), 313–328. https://doi.org/10.1111/j.1746-8361.1973.tb00623.x
10. Hedden, B. (2015). Reasons without persons: Rationality, identity, and time. Oxford University Press.
11. Pettigrew, R. (2016). Accuracy and the laws of credence. Oxford University Press.
12. Ryle, G. (1949). The concept of mind. Hutchinson.

Note

1. «In particular, the model does not have internal states that have truth as its standard of correctness. And thus none of its internal states are beliefs.» — Hofweber, Hase, Stengel-Eskin & Bansal, Are language models rational? The case of coherence norms and belief revision, 2024, §2. Fonte: arXiv:2406.03442v3. Traduzione nostra.
2. «A properly fine-tuned model can have beliefs, since during the process of fine-tuning the internal states can be selected for their contribution to truthfulness, and thus truth becomes part of their standard of correctness.» — Hofweber, Hase, Stengel-Eskin & Bansal, Are language models rational? The case of coherence norms and belief revision, 2024, §2. Fonte: arXiv:2406.03442v3. Traduzione nostra.
3. «The degree of a belief is a causal property of it, which we can express vaguely as the extent to which we are prepared to act on it.» — Ramsey, Truth and Probability, 1926, p. 169. Fonte: http://socsci.uci.edu/~bskyrms/bio/readings/ramsey.pdf. Traduzione nostra.

Podcast: Play in new window | Download