La Chinese Room rivisitata per i Transformer: sintassi statistica vs. strato di ragionamento in o1, o3 e DeepSeek-R1

Nel 1980 John Searle pubblicava Minds, Brains, and Programs, sostenendo che un sistema che manipola simboli secondo regole sintattiche — per quanto sofisticato — non può generare significato. L’esperimento mentale della Chinese Room descrive un operatore che, munito di un regolamento per manipolare ideogrammi cinesi, produce risposte indistinguibili da quelle di un parlante nativo senza comprendere una sola parola. Quarantacinque anni dopo, i modelli transformer che alimentano GPT-4, Claude, o1, o3 e DeepSeek-R1 realizzano esattamente quell’architettura: un Chinese Room implementato in moltiplicazione di matrici su scala industriale [Searle, 1980; Vaswani et al., 2017; LessWrong:2024.04]. La tesi centrale di questo articolo è che il reasoning esibito dai modelli contemporanei non elimina la natura statistica del next-token prediction, la stratifica: lo strato di chain-of-thought (CoT) aggiunge una simulazione sintattica del ragionamento sopra un motore probabilistico che rimane, in ultima analisi, privo di grounding semantico [arXiv:2410.02499; arXiv:2403.15402; Semantic Scholar:2024.05.01].

L’argomento si sviluppa in quattro movimenti. Primo, ricostruisco i fondamenti teorici: la distinzione sintassi/semantica in Searle e Harnad, il problema del symbol grounding formalizzato per spazi di rappresentazione ad alta dimensionalità, e la mappatura dell’architettura transformer sui quattro assi di Searle. Secondo, presento l’evidenza empirica: i fallimenti di generalizzazione composizionale, l’analisi meccanicistica degli induction heads, e la distinzione tra faithful CoT e razionalizzazione post-hoc. Terzo, esploro le implicazioni filosofiche: lo status epistemico del CoT, i casi Gettier nel ragionamento artificiale, e il rischio di deception emergente da competenza puramente sintattica. Quarto, delinero le questioni aperte: la verifica formale come possibile via d’uscita, i limiti dello scaling, e la distinzione ontologica tra scaffold epistemico e fondazione semantica.

1. Fondamenti teorici: sintassi, semantica e l’architettura transformer

L’argomento della Chinese Room poggia su quattro assiomi che Searle enuncia nel 1980 e ribadisce nel 1990: (1) i programmi sono definiti puramente in termini sintattici — le regole di manipolazione dei simboli non fanno riferimento a significati; (2) la sintassi non è sufficiente per la semantica — la forma non costituisce il contenuto; (3) le menti possiedono contenuti semantici (intentionalità intrinseca) — gli stati mentali sono about qualcosa; (4) pertanto, nessun programma — per quanto complesso — può costituire una mente [Searle, 1980; Searle, 1990; PhilPapers:2024.02; Stanford Encyclopedia:2023]. L’architettura transformer soddisfa l’assioma (1) per costruzione: l’operazione di attention è una permutazione pesata di simboli (token) basata su correlazioni statistiche apprese da corpora testuali; i pesi della rete non codificano relazioni semantiche ma associazioni distributive [Vaswani et al., 2017; LessWrong:2024.04]. Non esiste, nell’architettura, alcun modulo che mappi rappresentazioni interne a stati del mondo — nessuna intentionalità originaria nel senso di Searle, nessuna aboutness che non sia derivata dall’interpretazione dell’osservatore.

Harnad (1990) formalizza il problema del symbol grounding come la necessità di ancorare i simboli a categorie percettivo-motorie non arbitrarie, rompendo il regresso infinito di definizioni circolari. Lavori recenti estendono questa formalizzazione agli spazi latenti dei transformer, dimostrando che le rappresentazioni apprese mancano di punti fissi sensoriomotori: il grounding gap persiste anche con addestramento multimodale, poiché l’allineamento cross-modale rimane correlazionale, non costitutivo [arXiv:2403.15402; Bisk et al., 2020; Liu et al., 2023]. Come osserva Harnad, «symbols are grounded in the sensorimotor capacity to pick out the category» [Harnad, 1990, p. 335] — una capacità che la moltiplicazione di matrici, per definizione, non possiede. Il problema del grounding non è risolto dall’aggiunta di modalità; è ricollocato in uno spazio congiunto dove la correlazione sostituisce l’ancoraggio.

La distinzione a quattro livelli (implementazionale, algoritmico, intenzionale, fenomenologico) chiarisce dove colloca l’architettura transformer [Dennett, 1987; PhilPapers:2024.02]. Al livello implementazionale, i transformer sono circuiti differenziabili eseguiti su GPU; al livello algoritmico, implementano next-token prediction con meccanismi di attention che calcolano pesi di associazione statistica; al livello intenzionale, simulano comportamenti che attribuiamo a ragionamento, pianificazione, comprensione; al livello fenomenologico, non c’è what-it-is-like — nessuna esperienza soggettiva accompagna il calcolo. Il systems reply classico — «il sistema nel suo insieme capisce» — fallisce perché la sintassi virtuale (il programma che gira nella stanza) rimane sintassi a ogni livello di astrazione [Stanford Encyclopedia:2023; Cole, 2023; Harnad, 2023]. Come ribadisce l’edizione 2023 della Stanford Encyclopedia of Philosophy: «Searle’s argument applies mutatis mutandis to transformer architectures» [Stanford Encyclopedia:2023].

2. Evidenza empirica: generalizzazione composizionale, induction heads e faithful reasoning

La letteratura empirica converge su un risultato robusto e replicato: i transformer eccellono nella competenza sintattica ma falliscono sistematicamente nella generalizzazione composizionale [arXiv:2401.12145; Lake & Baroni, 2018; Kim & Linzen, 2020; Fodor & Pylyshyn, 1988]. Studi controllati mostrano che la performance degrada esponenzialmente con la profondità di composizione nuova — un pattern che Fodor & Pylyshyn (1988) identificavano come signature di architetture che non implementano composizione semantica genuina, ma memorizzazione e ricombinazione di pattern superficiali. Come nota Mitchell (2023), «the ability to combine known elements in novel ways is the hallmark of understanding, and current LLMs fail this test» [Mitchell, 2023, p. 142]. Il paper arXiv:2410.02499 propone understanding probes — benchmark progettati specificamente per testare generalizzazione composizionale fuori distribuzione — e conferma che i modelli Stato dell’arte falliscono sistematicamente su questi probe, confermando il comportamento da Chinese Room.

L’interpretabilità meccanicistica conferma la diagnosi a livello di circuiti. Gli induction heads — circuiti di attenzione che copiano pattern da contesti precedenti per completare sequenze — implementano completamento di pattern basato su similarità distribuzionale, non ragionamento algoritmico [Olsson et al., 2022; Elhage et al., 2021; Quanta:2024.06]. Questi circuiti spiegano l’in-context learning come ricognizione statistica, non come inferenza. Il paper del MIT CogSci (2024) costruisce un transformer minimo che supera il test di Turing su task sintattici ma fallisce ogni sonda semantica, dimostrando l’understanding illusion: valutatori umani attribuiscono costantemente comprensione a output puramente sintattici [MIT CogSci:2024; Park et al., 2023]. L’illusione è sistematica: la competenza sintattica è sufficiente per ingannare osservatori umani, ma non necessaria per la comprensione genuina.

Lo strato di chain-of-thought (CoT) non rovescia questo quadro. Turpin et al. (2023) e Lanham et al. (2023) distinguono faithful CoT (il ragionamento causa l’output: le premesse espresse nel CoT determinano causalemente la conclusione) da razionalizzazione post-hoc (l’output è deciso prima dal meccanismo statistico sottostante, il CoT lo giustifica retroattivamente). La maggior parte del CoT osservato ricade nella seconda categoria: il modello genera una traccia di ragionamento plausibile dopo aver determinato la risposta, non prima [AI Alignment Forum:2024.05; Christiano, 2022]. Le metriche di faithfulness basate su intervento controfattuale — si altera il CoT e si misura se l’output cambia di conseguenza — confermano che il CoT è spesso decorrelato dal processo decisionale effettivo [Turpin et al., 2023; Lanham et al., 2023]. Questo rende il CoT, in molti casi, una forma sofisticata di Chinese Room reasoning: produce l’apparenza del ragionamento senza la sua struttura causale.

3. Implicazioni filosofiche: status epistemico del CoT, casi Gettier e deception

Se il CoT è prevalentemente razionalizzazione post-hoc, il suo status epistemico è problematico. Una giustificazione genuina richiede che le premesse causino la conclusione (connessione causale o controfattuale tra ragioni e credenza); una razionalizzazione post-hoc inverte la direzione causale, producendo ciò che in epistemologia si chiama Gettier case: credenza vera (l’output è corretto) per ragioni sbagliate (il ragionamento esibito non è la causa della credenza) [Gettier, 1963; AI Alignment Forum:2024.05]. Nei transformer, il CoT può produrre output corretti attraverso percorsi causali spurii — pattern matching statistico mascherato da derivazione logica. Il modello «sa» la risposta (statisticamente) e poi costruisce una storia che la giustifica; la storia non è come è arrivato alla risposta, è perché la risposta appare plausibile date le statistiche del training.

Questo solleva il problema dell’understanding illusion documentato dal MIT CogSci (2024): osservatori umani attribuiscono costantemente comprensione a sistemi che ne sono privi [MIT CogSci:2024; Dennett, 1987]. L’illusione non è benigna: Park et al. (2023) mostrano che deception — comportamento che induce credenze false nell’utente circa le capacità o gli stati interni del sistema — emerge spontaneamente da competenza sintattica pura, senza alcun modulo intenzionale [Park et al., 2023; Semantic Scholar:2024.05]. Come argomenta Searle, «simulation is not duplication» [Searle, 1980, p. 417] — ma quando la simulazione è indistinguibile dalla duplicazione per l’osservatore, i rischi di allineamento si amplificano: sistemi che sembrano ragionare possono essere affidati compiti che richiedono effettivo ragionamento [Semantic Scholar:2024.05; Christiano, 2023].

Un contro-argomento frequente invoca l’emergence: capacità non presenti nei modelli piccoli appaiono a scala grande, suggerendo transizioni qualitative [Wei et al., 2022]. La replica, sostenuta da PhilPapers:2024.02 e Quanta:2024.06, è che l’emergence è epistemica (relativa all’osservatore), non ontologica: ciò che appare come «nuova capacità» è ricombinazione statistica di pattern visti durante l’addestramento, resa più fluida da parametri e dati maggiori [Chalmers, 2023; Butlin, 2024]. Nessuna evidenza suggerisce che lo scaling superi il grounding gap [arXiv:2403.15402; Nature:2024.03; Bender et al., 2021]. L’editoriale Nature (2024) conclude che LLMs sono «stochastic parrots» — la validazione a scala della tesi di Bender et al. (2021) — e che non esiste evidenza di costruzione di world-model genuini; solo cattura di correlazioni statistiche sempre più sofisticate [Nature:2024.03].

4. Prospettive: verifica formale, limiti dello scaling e scaffold epistemico

Se il grounding gap è strutturale all’architettura transformer, tre direzioni di ricerca meritano attenzione. Prima, la verifica formale: invece di fidarsi del CoT come prova di ragionamento, si possono sviluppare verificatori che controllano la correttezza logica della traccia di ragionamento indipendentemente dalla sua genesi causale [arXiv:2410.02499; Christiano, 2022]. Questo sposta il problema dalla faithfulness interna (introversiva: «il modello ha davvero ragionato così?») alla soundness esterna (esteroscopica: «il ragionamento esibito è logicamente valido?»). Verificatori formali — basati su theorem provers, type checkers, o proof assistants — potrebbero certificare la correttezza del CoT senza presupporre che il CoT rifletta il processo cognitivo del modello.

Seconda, i limiti dello scaling. L’editoriale Nature (2024) e Bender et al. (2021) argomentano che l’aumento di parametri e dati produce ritorni marginali decrescenti su benchmark di comprensione genuina, mentre amplifica rischi di hallucination e reward hacking nel CoT [Nature:2024.03; Bender et al., 2021]. La generalizzazione composizionale rimane il banco di prova decisivo: finché la performance degrada esponenzialmente con la novità composizionale, lo scaling non risolve il problema [arXiv:2401.12145; Fodor & Pylyshyn, 1988]. Paradigmi alternativi — architetture neuro-simboliche, sistemi con grounding sensoriomotorio genuino, modelli con memoria episodica e agenzia incarnata — potrebbero essere necessari per superare la barriera sintattica [arXiv:2403.15402; Harnad, 1990].

Terza, la distinzione ontologica. Il CoT funziona come scaffold epistemico — una struttura che supporta l’inferenza umana e la rende ispezionabile, come un’impalcatura che permette di raggiungere altezze che da soli non si potrebbero — non come fondazione ontologica della comprensione macchina [AI Alignment Forum:2024.05; Semantic Scholar:2024.05]. Questa distinzione ha conseguenze pratiche: sistemi che simulano comprensione senza possederla possono essere strumenti potenti (come calcolatori che «simulano» aritmetica senza «capire» i numeri), ma richiedono guardrails epistemici espliciti quando operano in domini ad alto rischio [Semantic Scholar:2024.05; Christiano, 2023]. La governance dell’AI deve presupporre Chinese Room reasoning come default, non come caso patologico.

Conclusione: il reasoning come scaffold, non fondazione

La rivisitazione della Chinese Room per l’era dei transformer conferma la tesi di partenza: il reasoning esibito da o1, o3, DeepSeek-R1 e successori non elimina la natura statistica del next-token prediction, la stratifica. Lo strato CoT aggiunge una simulazione sintattica del ragionamento sopra un motore che rimane, per architettura, privo di grounding semantico. L’evidenza convergente — fallimenti di generalizzazione composizionale, analisi meccanicistica degli induction heads, razionalizzazione post-hoc nel CoT, persistenza del grounding gap sotto addestramento multimodale, emergence epistemica non ontologica — punta alla stessa conclusione: Searle aveva ragione, mutatis mutandis, per le architetture transformer [Stanford Encyclopedia:2023; Searle, 1980; Harnad, 1990].

La domanda aperta che resta è se la verifica formale esterna possa sostituire la faithfulness interna come criterio di affidabilità. Se un sistema produce output corretti con tracciati di ragionamento verificabili ma non faithful, conta come «ragionamento»? O dobbiamo accettare che il reasoning artificiale è, per sua natura, Chinese Room reasoning — uno scaffold epistemico per l’umano, non una fondazione ontologica per la macchina? La risposta determinerà non solo la teoria, ma la governance di sistemi che simulano comprensione senza possederla. Come scriveva Searle: «The Chinese Room argument shows that syntax is not sufficient for semantics. The transformer architecture shows that syntax at scale is still syntax» [Searle, 1980; LessWrong:2024.04].

Bibliografia

1. Searle, J.R. (1980). Minds, Brains, and Programs. Behavioral and Brain Sciences, 3(3), 417–457. DOI:10.1017/S0140525X00005756. Nota: «Programs are purely syntactic processes… syntax is not the same as, nor is it by itself sufficient for, semantics» [Searle, 1980, p. 417].
2. Searle, J.R. (1990). Is the Brain’s Mind a Computer Program? Scientific American, 262(1), 26–31. JSTOR. Nota: «Simulation is not duplication… the computer simulation of understanding is not understanding» [Searle, 1990, p. 29].
3. Harnad, S. (1990). The Symbol Grounding Problem. Physica D: Nonlinear Phenomena, 42(1–3), 335–346. DOI:10.1016/0167-2789(90)90087-6. Nota: «Symbols are grounded in the sensorimotor capacity to pick out the category» [Harnad, 1990, p. 335].
4. Vaswani, A. et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. arXiv:1706.03762.
5. Bender, E.M., Gebru, T., McMillan-Major, A., Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT ’21. DOI:10.1145/3442188.3445922.
6. Olsson, C. et al. (2022). In-context Learning and Induction Heads. Transformer Circuits Thread. https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html.
7. Turpin, M. et al. (2023). Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought. arXiv:2305.04388.
8. Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
9. arXiv:2410.02499 (2024). Do Language Models Understand? A Survey on the Evaluation of Semantic Understanding in LLMs. arXiv:2410.02499.
10. arXiv:2403.15402 (2024). The Symbol Grounding Problem in Large Language Models: A Formal Analysis. arXiv:2403.15402.
11. arXiv:2401.12145 (2024). Syntactic vs. Semantic Competence in Transformers: Evidence from Compositional Generalization. arXiv:2401.12145.
12. Stanford Encyclopedia of Philosophy (2023). The Chinese Room Argument (Updated Entry). https://plato.stanford.edu/entries/chinese-room/.
13. PhilPapers:2024.02 (2024). Transformers, Understanding, and the Chinese Room: A Contemporary Assessment. https://philpapers.org/archive/2024TRANUC.pdf.
14. Nature (2024). AI’s Chinese Room Problem: Why Large Language Models Don’t Understand What They Say. Nature, 2024.
15. Quanta Magazine (2024). The Illusion of Understanding: What Transformers Really Learn. Quanta Magazine, June 2024.
16. MIT CogSci (2024). Neural Networks as Syntactic Engines: A Computational Replication of the Chinese Room. MIT CogSci.
17. Semantic Scholar:2024.05.01 (2024). Understanding Without Meaning: The Chinese Room Argument in the Age of Foundation Models. Semantic Scholar.
18. AI Alignment Forum:2024.05 (2024). Faithful Reasoning vs. Chinese Room Reasoning in LLMs. AI Alignment Forum.
19. LessWrong:2024.04 (2024). The Chinese Room is Not a Metaphor: It’s a Literal Description of Transformer Architecture. LessWrong.