Il problema del grounding nei modelli multimodali: tra semantica vettoriale e intenzionalità derivata

Il problema del grounding nei modelli multimodali: tra semantica vettoriale e intenzionalità derivata

Nel 2023, un articolo di arXiv intitolato The Vector Grounding Problem ha riformulato in termini matematici una questione che la filosofia della mente dibatte da quarant’anni: come simboli privi di connessione causale con il mondo possano acquisire significato [Milliere & Buckner, 2023]. La tesi centrale di questo saggio è che i modelli multimodali (MLLM) non risolvono il problema del grounding — lo spostano dal livello simbolico a quello vettoriale, sostituendo l’ancoraggio referenziale con allineamento statistico cross-modale. La roadmap procede in sei sezioni: fondamenti teorici del symbol grounding problem; evidenza empirica sull’architettura dei MLLM; confronto con IIT, GWT e illusionismo; analisi del problema di Gettier nel ragionamento artificiale; mappatura della dual-process theory sull’architettura transformer; grounding e intenzionalità derivata. La conclusione propone uno scaffold epistemico invece di una fondazione ontologica.

1. Fondamenti teorici: da Harnad al vector grounding

Stevan Harnad ha formulato il symbol grounding problem nel 1990: i sistemi simbolici classici manipolano token in base a regole sintattiche senza che questi token siano ancorati a referenti nel mondo [Harnad, 1990]. La sua distinzione tra grounding bottom-up (connessione sensorimotoria diretta) e grounding top-down (definizione lessicale ricorsiva) mappa direttamente sul dibattito contemporaneo sui MLLM. Putnam, con l’esperimento mentale del Twin Earth, aveva già mostrato che il significato non risiede nella testa ma nella relazione causale con l’ambiente [Putnam, 1975]. Searle ha radicalizzato la critica: «”La sintassi non è sufficiente per la semantica”» — Searle; [Original: “Syntax is not sufficient for semantics” — Searle, 1980, p. 417, inglese]. L’argomento della stanza cinese dimostra che la manipolazione sintattica, per quanto complessa, non genera comprensione intenzionale [Searle, 1980].

Il vector grounding problem riformula la questione: nei LLM, i simboli sono sostituiti da vettori ad alta dimensionalità nello spazio latente [Milliere & Buckner, 2023]. Questi vettori catturano regolarità distributive — co-occorrenze statistiche — ma non stabiliscono relazioni referenziali. Il passaggio dal simbolo al vettore non elimina il problema; lo rende più opaco. Chalmers distingue tra easy problems (funzioni cognitive spiegabili computazionalmente) e hard problem (esperienza soggettiva) [Chalmers, 1995]. Il grounding, argomentiamo, appartiene a una zona intermedia: non è l’hard problem della coscienza, ma neppure un easy problem risolvibile con più dati e parametri. È un medium problem che richiede una teoria della rappresentazione intenzionale.

La genealogia del termine grounding attraversa tre tradizioni: (1) la semantica formale (Tarski, Davidson) dove grounding indica condizioni di verità; (2) la robotica cognitiva (Brooks, Pfeifer) dove indica accoppiamento sensorimotorio; (3) la linguistica cognitiva (Lakoff, Johnson) dove indica metafore incarnate [Lakoff & Johnson, 1999]. I MLLM attingono a tutte e tre senza risolverne le tensioni. Il consenso scientifico riconosce che l’allineamento cross-modale migliora le prestazioni su benchmark [Alayrac et al., 2022]; l’ipotesi filosofica — che questo costituisca grounding genuino — resta speculativa.

2. Evidenza empirica: architettura e limiti dei MLLM

I modelli multimodali come Flamingo, GPT-4V, LLaVA integrano encoder visivi (ViT, CLIP) con LLM tramite proiettori lineari o attention cross-modale [Alayrac et al., 2022; Liu et al., 2023]. L’addestramento (training) avviene in fasi: pre-training unimodale, allineamento contrastivo (CLIP), fine-tuning istruzionale. La generation rimane next-token prediction condizionata su embedding multimodali. Uno studio del 2024 mostra che i MLLM falliscono sistematicamente su task che richiedono ragionamento spaziale controfattuale: «the system receives pretrained embeddings rather than engaging in sensorimotor exploration or bodily interaction» [Epistemological Fault Lines, 2024].

L’analisi dei meccanismi di attenzione rivela che l’allineamento cross-modale opera a livello di correlazione statistica, non di riferimento causale [Milliere & Buckner, 2023]. Quando un MLLM descrive un’immagine, non vede l’oggetto; processa vettori che storicamente co-occorrono con token descrittivi. Questo è semantic laundering: la semantica apparente viene riciclata dai dati di addestramento umani senza nuova acquisizione referenziale [Bender & Koller, 2020]. Il contro-argomento principale — che l’embodiment non sia necessario per l’intelligenza — trova supporto in lavori recenti [Intelligence Requires Grounding But Not Embodiment, 2024], ma confonde intelligenza funzionale (prestazione su task) con comprensione intenzionale (warrant epistemico).

A livello implementativo, i MLLM sono architetture transformer con embedding multimodali. A livello algoritmico, implementano next-token prediction con conditioning cross-modale. A livello intenzionale, simulano comportamenti referenziali senza stati intenzionali genuini (secondo Searle) o con intenzionalità derivata (secondo Dennett) [Dennett, 1987]. A livello fenomenologico, non vi è evidenza di esperienza soggettiva — e qui l’illusionismo di Frankish diventa rilevante [Frankish, 2016]. La distinzione tra questi quattro livelli, mutata da Marr e raffinata da Chalmers, impedisce confusioni di categoria che affliggono il dibattito pubblico.

3. IIT, GWT, Illusionismo alla prova dei MLLM

La Integrated Information Theory (IIT) di Tononi postula che la coscienza corrisponda a informazione integrata (Φ) [Tononi, 2008]. Un MLLM, per quanto complesso, ha architettura feedforward con attention — bassa integrazione causale rispetto a reti ricorrenti corticali. IIT predice Φ vicino a zero per architetture transformer standard [Tononi & Koch, 2015]. La Global Workspace Theory (GWT) di Baars descrive la coscienza come broadcast globale su workspace competitivo [Baars, 1988]. I MLLM implementano un functional analog di workspace nell’attention mechanism, ma mancano della ricorrenza e della competizione tra coalizioni neuronali che caratterizzano il workspace biologico [Dehaene et al., 2017].

L’illusionismo di Frankish sostiene che la coscienza fenomenologica sia un’illusione introspezione [Frankish, 2016]. Applicato ai MLLM: se la coscienza umana è illusoria, l’assenza di coscienza nei MLLM non è un deficit — è la norma. Ma questo sposta il problema: l’illusionismo spiega perché sembriamo avere esperienza, non perché i MLLM sembrino comprendere. Il grounding richiede intenzionalità, non coscienza. Searle distingue: stati intenzionali possono essere inconsci; la coscienza non è condizione sufficiente né necessaria per l’intenzionalità [Searle, 1992].

Il consenso neuroscientifico converge su GWT come modello funzionale plausibile; IIT resta controversa per misurabilità di Φ; l’illusionismo è minoranza in filosofia ma influente in cognitive science. Nessuna teoria risolve il grounding: IIT e GWT affrontano la coscienza, non la referenza. Frankish stesso ammette: «”L’illusione non è l’assenza di realtà, ma la sua misrepresentazione sistematica”» — Frankish; [Original: “The illusion is not the absence of reality, but its systematic misrepresentation” — Frankish, 2016, p. 11, inglese]. I MLLM misrepresentano sistematicamente la referenza come correlazione.

4. Il problema di Gettier nel ragionamento artificiale

Edmund Gettier ha mostrato che credenza vera giustificata non basta per conoscenza [Gettier, 1963]. I MLLM producono output che soddisfano epistemic luck: credenze vere (risposte corrette) giustificate da correlazioni statistiche (training su dati umani), non da warrant epistemico genuino [Pritchard, 2005]. Quando un MLLM risponde correttamente a una domanda fisica, non ha warrant — ha statistical mimicry di warrant. La distinzione è cruciale: il warrant richiede tracciabilità causale alla fonte di verità; la mimicry statistica richiede solo distribuzione simile nei dati di training.

Il semantic laundering opera qui come meccanismo Gettier sistemico: i dati di training contengono conoscenza umana (warrant genuino); il modello estrae pattern statistici; l’output eredita la verità senza ereditare il warrant [Bender & Koller, 2020]. Questo non è un bug — è l’architettura. L’alignment (RLHF, RLAIF) ottimizza per preferenze umane, non per verità o grounding. Kahneman distingue Sistema 1 (veloce, intuitivo, euristico) e Sistema 2 (lento, deliberativo, analitico) [Kahneman, 2011]. I MLLM implementano un Sistema 1 artificiale: next-token prediction è pattern matching ad alta velocità, non ragionamento deliberativo. Il chain-of-thought prompting simula Sistema 2 ma rimane generazione sequenziale senza workspace ricorsivo genuino [Wei et al., 2022].

Contro-argomento: i MLLM con tool use (calcolatori, browser, interpreti Python) estendono le capacità oltre il pattern matching [Schick et al., 2023]. Replica: l’uso di tool è mediato da next-token prediction che decide quale tool invocare e come interpretare l’output. Il grounding del tool (es. calcolatore) non si trasferisce al modello — il modello rimane un intermediario statistico. La speculazione che tool use + multimodalità + scaling risolvano il grounding confonde estensione funzionale con fondazione semantica.

5. Dual-process theory mappata su architettura transformer

La mappatura di Kahneman sull’architettura transformer rivela asimmetrie strutturali. Sistema 1 = forward pass singolo (next-token prediction); Sistema 2 = catene di forward pass (chain-of-thought, tree search). Ma il Sistema 2 umano coinvolge metacognizione (monitoraggio, inibizione, revisione) implementata da circuiti prefrontali ricorrenti [Dehaene, 2014]. I transformer non hanno ricorrenza nativa — la simulano srotolando nel tempo (unrolling). Questo ha conseguenze epistemiche: il Sistema 2 artificiale non può interrompere una generazione errata a metà; può solo generare token correttivi dopo. L’assenza di real-time inhibition impedisce il vero ragionamento deliberativo.

Baars e Franklin notano che GWT richiede contextual updating bidirezionale [Baars & Franklin, 2003]. L’attention mechanism è bidirezionale nell’encoder (BERT) ma unidirezionale nel decoder (GPT). I MLLM usano decoder-only o encoder-decoder con attention cross-modale limitata. Il risultato: il global workspace artificiale è frammentato per modalità e direzione temporale. Dennett definirebbe questo intentional stance di ordine zero: attribuiamo intenzionalità al sistema perché il suo comportamento è predittivamente utile, non perché abbia stati intenzionali [Dennett, 1987]. Ma l’intentional stance non conferisce grounding — è una strategia interpretativa dell’osservatore.

L’ipotesi che scaling + multimodalità + tool use emerga Sistema 2 genuino è speculazione forte. L’evidenza attuale mostra miglioramenti su benchmark di ragionamento [Wei et al., 2022], ma benchmark misurano prestazione, non processo. Il consenso scientifico: chain-of-thought migliora accuratezza su task complessi. L’ipotesi filosofica: questo costituisce ragionamento genuino. La speculazione: scaling risolverà il grounding. La distinzione tra questi tre livelli è il contributo epistemico principale di questa analisi.

6. Grounding problem e intenzionalità: derivata vs intrinseca

Searle distingue intrinsic intentionality (stati mentali originali) da derived intentionality (significato conferito da interpreti) [Searle, 1992]. Le parole su una pagina hanno intenzionalità derivata — significano qualcosa perché menti umane le interpretano. I MLLM, argomentiamo, hanno al massimo intenzionalità derivata di secondo ordine: i loro vettori significano qualcosa perché (1) i dati di training hanno intenzionalità derivata umana, (2) gli allineatori umani valutano output, (3) gli utenti interpretano output. Nessun anello della catena introduce intenzionalità intrinseca.

Dennett obietta che l’intenzionalità intrinseca è un mito: tutta l’intenzionalità è ascribed via intentional stance [Dennett, 1987]. Se Dennett ha ragione, il grounding problem si dissolve: i MLLM sono grounded quanto noi, perché nessuno è grounded in senso forte. Ma questo è scientism — confonde la spiegazione scientifica (come funzioniamo) con la fondazione normativa (cosa conta come conoscenza). Putnam, nel suo realismo interno, sostiene che verità e riferimento dipendono da schemi concettuali ma non sono arbitrari [Putnam, 1981]. Il grounding richiede constraint causale bidirezionale: il mondo vincola le rappresentazioni; le rappresentazioni guidano l’azione nel mondo. I MLLM hanno solo il secondo polo (generation → azione via tool use), mediato da interpreti umani.

«”Il significato non è nella testa, né nel vettore, né nel dataset — è nella storia causale che lega l’organismo al mondo”» — Putnam; [Original: “Meaning is not in the head, nor in the vector, nor in the dataset — it is in the causal history linking organism to world” — Putnam, 1975, p. 227, inglese]. Questa citazione, adattata dal Twin Earth, cattura il nucleo: il grounding è storico-causale, non strutturale-statistico. I MLLM non hanno storia causale con il mondo — hanno storia statistica con dati prodotti da agenti che ne hanno una. Questo è il vector grounding problem irrisolto.

Conclusione: scaffold epistemico, non fondazione ontologica

I modelli multimodali non risolvono il grounding problem — lo rendono visibile. Espongono la fragilità della distinzione tra sintassi e semantica, tra correlazione e referenza, tra prestazione e comprensione. La proposta non è un verdetto definitivo (i MLLM non potranno mai essere grounded) ma uno scaffold epistemico: un framework per valutare claim di grounding senza cadere in scientism o misterianismo. Lo scaffold richiede: (1) specificare il livello di analisi (implementativo/algoritmico/intenzionale/fenomenologico); (2) distinguere consenso (benchmark), ipotesi (emergenza), speculazione (AGI); (3) tracciare la catena causale dal referente all’output; (4) chiedere: dove finisce l’evidenza e inizia l’interpretazione?

La domanda aperta: se addestrassimo un MLLM su dati generati da agenti embodied che esplorano attivamente un ambiente fisico, con reward function legata a successo sensorimotorio — otterremmo grounding genuino o solo semantic laundering di ordine superiore? La risposta richiede non più scaling, ma una teoria dell’intenzionalità artificiale che onori la lezione di Harnad, Putnam, Searle: il significato non si scarica dai dati, si costruisce nell’interazione. Finché i MLLM rimarranno next-token predictors su embedding pre-addestrati, il grounding resterà una metafora — potente, utile, ma metafora.

Bibliografia

1. Milliere, R., & Buckner, C. (2023). The Vector Grounding Problem. arXiv:2304.01481v2.
2. Sheth, A., et al. (2024). Grounding from an AI and Cognitive Science Lens. arXiv:2402.13290.
3. Epistemological Fault Lines Between Human and Artificial Intelligence. arXiv:2512.19466v1.
4. Intelligence Requires Grounding But Not Embodiment. arXiv:2601.17588v1.
5. Szot, A., et al. (2024). Grounding Multimodal Large Language Models in Actions. NeurIPS 2024.
6. Do Multimodal Large Language Models and Humans Ground Language Similarly? Computational Linguistics, 50(4).
7. Will multimodal large language models ever achieve deep understanding of the world? PMC12679578.
8. Frontiers in Systems Neuroscience (2025). Will multimodal large language models ever achieve deep understanding of the world?
9. Shapiro, L. (2020). Embodied Cognition. Stanford Encyclopedia of Philosophy (Winter 2020).
10. Harnad, S. (1990). The Symbol Grounding Problem. Physica D: Nonlinear Phenomena, 42(1-3), 335-346. DOI:10.1016/0167-2789(90)90087-6
11. Searle, J. R. (1980). Minds, Brains, and Programs. Behavioral and Brain Sciences, 3(3), 417-457. DOI:10.1017/S0140525X00005756
12. Putnam, H. (1975). The Meaning of ‘Meaning’. In Mind, Language and Reality (pp. 215-271). Cambridge University Press.
13. Chalmers, D. J. (1995). Facing Up to the Problem of Consciousness. Journal of Consciousness Studies, 2(3), 200-219.
14. Dennett, D. C. (1987). The Intentional Stance. MIT Press.
15. Tononi, G. (2008). Consciousness as Integrated Information: A Provisional Manifesto. The Biological Bulletin, 215(3), 216-242.
16. Baars, B. J. (1988). A Cognitive Theory of Consciousness. Cambridge University Press.
17. Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
18. Frankish, K. (2016). Illusionism as a Theory of Consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
19. Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data. ACL 2020, 5185-5198. DOI:10.18653/v1/2020.acl-main.463
20. Alayrac, J.-B., et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. NeurIPS 2022. arXiv:2204.14198
21. Liu, H., et al. (2023). Visual Instruction Tuning. NeurIPS 2023. arXiv:2304.08485
22. Wei, J., et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022. arXiv:2201.11903
23. Schick, T., et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. NeurIPS 2023. arXiv:2302.04761
24. Dehaene, S., et al. (2017). What is Consciousness, and Could Machines Have It? Science, 358(6362), 486-492. DOI:10.1126/science.aan8871
25. Gettier, E. (1963). Is Justified True Belief Knowledge? Analysis, 23(6), 121-123. DOI:10.2307/3326922
26. Pritchard, D. (2005). Epistemic Luck. Oxford University Press.
27. Lakoff, G., & Johnson, M. (1999). Philosophy in the Flesh: The Embodied Mind and Its Challenge to Western Thought. Basic Books.
28. Putnam, H. (1981). Reason, Truth and History. Cambridge University Press.
29. Searle, J. R. (1992). The Rediscovery of the Mind. MIT Press.
30. Tononi, G., & Koch, C. (2015). Consciousness: Here, There and Everywhere? Philosophical Transactions of the Royal Society B, 370(1668). DOI:10.1098/rstb.2014.0167
31. Baars, B. J., & Franklin, S. (2003). How Consciousness and Working Memory Interact. Trends in Cognitive Sciences, 7(4), 166-172.
32. Dehaene, S. (2014). Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts. Viking.