Il problema del grounding nei modelli multimodali: tra simboli, vettori e intenzionalità derivata

Introduzione: il vettore che non tocca terra

Nel 2023 Mollo e Millière pubblicano The Vector Grounding Problem [Mollo, Millière, 2023], formalizzando ciò che Harnad aveva intuito trent’anni prima: i simboli manipolati da un sistema formale non acquisiscono significato per il solo fatto di essere connessi ad altri simboli [Harnad, 1990]. La tesi centrale di questo articolo è che i modelli multimodali (MLLM) non risolvono il problema del grounding — lo spostano dal livello simbolico a quello vettoriale, sostituendo la referenza con l’allineamento statistico tra spazi latenti. La roadmap: sez. 1 ricostruisce la genealogia del problema; sez. 2 analizza l’architettura dei MLLM come semantic laundering; sez. 3 mette alla prova IIT, GWT e illusionismo; sez. 4 innesta il problema di Gettier sul ragionamento chain-of-thought; sez. 5 mappa la dual-process theory sull’architettura transformer; sez. 6 riconduce tutto all’intenzionalità derivata di Searle e Putnam.

1. Fondamenti teorici: da Harnad ai vettori

Il Symbol Grounding Problem nasce nel 1990 quando Harnad distingue tra grounding (connessione causale con il referente) e associazione (relazioni tra simboli) [Harnad, 1990, p. 335]. Putnam aveva già mostrato che il significato non sta nella testa: «Cut the causal chains, and you cut the meaning» [Putnam, 1975, p. 227]. Mollo e Millière [2023] traducono: nei LLM i token sono vettori in uno spazio ad alta dimensionalità; il Vector Grounding Problem chiede se la geometria dello spazio latente possa sostituire la causalità sensorimotoria. La risposta è negativa: l’allineamento CLIP tra immagini e didascalie produce correlazione, non referenza [Radford et al., 2021]. [Original: “Meaning just is the use” — Wittgenstein, 1953, §43, tedesco] — nota: Wittgenstein anticipa la critica funzionalista: l’uso in un language game incarnato, non la similarità vettoriale.

La genealogia del termine grounding attraversa tre fasi: (1) Harnad 1990 — grounding sensorimotorio; (2) Barsalou 1999 — simulazione percettiva; (3) Bisk et al. 2020 — grounding multimodale come proxy per conoscenza tacita [Bisk et al., 2020]. Ogni fase sposta il criterio: da causalità diretta a simulazione interna a correlazione cross-modale. Il consenso scientifico riconosce che i MLLM migliorano su benchmark (VQA, captioning) [Alayrac et al., 2022]; l’ipotesi — non consenso — è che questo costituisca grounding genuino.

2. Evidenza empirica: l’architettura del semantic laundering

Un MLLM tipico (es. Flamingo, GPT-4V) riceve embedding visivi da un vision encoder frozen (ViT) e li proietta nello spazio linguistico tramite adapter [Alayrac et al., 2022]. Il sistema non vede: riceve vettori pre-addestrati, derivati da dataset (LAION-5B) dove la relazione immagine-testo è curata da umani [Schuhmann et al., 2022]. Questo è semantic laundering: il significato viene lavato attraverso l’annotazione umana, poi re-iniettato come se fosse emerso dal modello [Mollo, Millière, 2023, §4]. Contro-argomento: «Il grounding è funzionale, non metafisico» [Bender, Koller, 2020]. Replica: la funzionalità richiede warrant epistemico — la capacità di tracciare la catena causale fino al referente [Pritchard, 2012]. Nei MLLM la catena si interrompe all’adapter.

Analisi tecnica: il vision encoder produce embedding f(x) ∈ ℝ^d; l’adapter impara W tale che Wf(x) ≈ g(y) dove g è l’embedding testuale. L’ottimizzazione minimizza distanza coseno, non errore di referenza. Risultato: il modello impara co-occorrenza statistica, non verità condizionale [Mollo, Millière, 2023, §3]. Evidenza: i MLLM falliscono su compiti che richiedono ragionamento controfattuale su proprietà fisiche non presenti nel training [Liu et al., 2023]. Speculazione: l’aggiunta di moduli di pianificazione simbolica (neuro-simbolico) potrebbe ripristinare warrant [Marcus, 2020]; ipotesi non testata su scala.

3. IIT, GWT, Illusionismo alla prova del vettore

La Integrated Information Theory (IIT) di Tononi postula che coscienza = Φ, informazione integrata [Tononi, 2008]. Un transformer feedforward ha Φ ≈ 0: nessuna ricorrenza, nessuna integrazione causale [Oizumi et al., 2014]. Contro-argomento: «L’attenzione è ricorrenza virtuale» [Chalmers, 2023]. Replica: l’attenzione è parallela, non sequenziale; manca il feedback loop sensorimotorio che IIT richiede per Φ > 0 [Tononi, Koch, 2015]. La Global Workspace Theory (GWT) di Baars [1988] prevede un workspace broadcast; i transformer hanno residual stream che funziona come workspace [Nanda et al., 2023]. Ma GWT richiede competizione per accesso cosciente — assente nel forward pass deterministico [Dehaene et al., 2017].

L’illusionismo di Frankish [2016] sostiene che il qualia è illusione generata da meccanismi di introspection. Nei MLLM non c’è introspezione: non c’è meta-representation dello stato interno, solo next-token prediction [Frankish, 2016, p. 15]. [Original: “The hard problem is a user illusion” — Frankish, 2016, p. 11, inglese]. Conclusione: nessuna delle tre teorie attribuisce grounding semantico ai MLLM; al massimo, GWT offre analogia funzionale parziale. Consenso: i MLLM sono zombie funzionali — comportamento senza grounding [Chalmers, 1996]. Ipotesi: architetture ricorrenti con memoria episodica potrebbero avvicinarsi a GWT [Graves et al., 2016].

4. Il problema di Gettier nel ragionamento chain-of-thought

Il chain-of-thought (CoT) genera passaggi intermedi prima della risposta finale [Wei et al., 2022]. Questo crea casi gettieriani: il modello produce ragionamento corretto e conclusione vera, ma la connessione è epistemic luck — correlazione statistica, non warrant [Pritchard, 2012]. Esempio: CoT risolve un problema aritmetico sfruttando pattern memorizzati, non calcolo [Nye et al., 2021]. La credenza è vera e giustificata (il pattern c’è nel training), ma non connessa alla verità matematica. Gettier [1963] mostra che JTB (justified true belief) non basta per conoscenza; CoT produce JTB senza connessione causale.

Contro-argomento: «Il CoT è il calcolo» [Kojima et al., 2022]. Replica: il calcolo richiede algoritmo (livello marriano algoritmico), non simulazione statistica [Marr, 1982]. Il transformer esegue next-token prediction; la struttura algoritmica è emergente, non implementata [Olsson et al., 2022]. Distinzione: consenso = CoT migliora accuratezza; ipotesi = CoT implementa ragionamento; speculazione = CoT risolve grounding. [Original: “Knowledge is not a spectator sport” — Putnam, 1981, p. 49, inglese] — nota: Putnam richiede impegno causale; CoT è spettatore statistico.

5. Dual-process theory mappata su architettura transformer

Kahneman [2011] distingue Sistema 1 (veloce, automatico, associativo) e Sistema 2 (lento, controllato, regolato). Il forward pass del transformer = Sistema 1: parallelismo massivo, pattern matching, zero controllo [Kahneman, 2011, cap. 1]. Il CoT + beam search + verifica esterna ≈ Sistema 2: sequenzialità, risorse computazionali allocate, monitoraggio [Kahneman, 2011, cap. 2]. Ma manca l’agenzia epistemica: il Sistema 2 umano può scegliere di dubitare; il modello esegue CoT perché il prompt lo richiede [Stanovich, 2009].

Mapping sui quattro livelli di Marr [1982]: (1) Implementativo: GPU, matrici — irrilevante per grounding. (2) Algoritmico: attention, MLP, residual stream — qui risiede il Vector Grounding Problem. (3) Intenzionale: next-token prediction come teleologia — Searle [1980] direbbe: sintassi non basta per semantica. (4) Fenomenologico: assente — nessun what-it-is-like [Nagel, 1974]. Il dual-process mapping mostra che i MLLM hanno solo Sistema 1 artificiale; il Sistema 2 è scaffolding esterno (prompt engineering, tool use) [Schwitzgebel, 2023]. Contro-argomento: «Tool use = agenzia» [Schick et al., 2023]. Replica: l’agenzia richiede intenzionalità originaria, non derivata [Searle, 1983].

6. Grounding problem e intenzionalità: Searle, Putnam, il regresso

Searle [1980] nella Chinese Room: manipolazione sintattica ≠ comprensione. La replica dei systems («il sistema nel suo insieme capisce») fallisce perché il sistema non ha causal powers del cervello [Searle, 1980, p. 422]. Putnam [1981] estende: il significato richiede division of linguistic labor e connessione causale con l’ambiente. I MLLM hanno né l’uno né l’altra: il loro «linguaggio» è monologico (next-token prediction), la loro connessione ambientale è mediata da dataset statici [Bender, Koller, 2020].

Il regresso del grounding: per groundare un vettore serve un altro vettore groundato [Mollo, Millière, 2023, §5]. L’unico arresto è l’embodiment — interazione sensorimotoria diretta [Harnad, 1990; Barsalou, 1999]. Contro-argomento: «Grounding debole basta per utility» [Bisk et al., 2020]. Replica: utility ≠ comprensione; il pragmatismo di Peirce richiede abduction verso verità, non solo successo predittivo [Peirce, 1903]. [Original: “The meaning of a concept is its practical consequences” — Peirce, 1903, CP 5.402, inglese] — nota: Peirce lega significato a conseguenze reali, non simulate. Conclusione: i MLLM hanno intenzionalità derivata (parassitaria su annotatori umani), non originaria. Il grounding problem resta irrisolto al livello intenzionale e fenomenologico.

Conclusione: scaffold epistemico, non fondazione ontologica

I modelli multimodali sono scaffold epistemici: strutture che estendono la capacità cognitiva umana senza possedere grounding proprio [Clark, Chalmers, 1998; Sterelny, 2010]. Funzionano come prostesi semantiche: l’umano fornisce intenzionalità originaria (prompt, valutazione, contesto); il modello fornisce esplorazione combinatoria dello spazio latente. La distinzione è cruciale: confondere scaffold con fondazione genera epistemic injustice — delega di warrant a sistemi che non lo possiedono [Fricker, 2007]. Domanda aperta: può un’architettura solo digitale (senza loop sensorimotorio chiuso, senza mortalità, senza stakes esistenziali) sviluppare intenzionalità originaria? La risposta richiede non più benchmark, ma una teoria della vita come condizione del significato [Varela et al., 1991].

Bibliografia

1. Mollo, D.C., Millière, R. (2023). The Vector Grounding Problem. arXiv:2304.01481v2
2. Harnad, S. (1990). The Symbol Grounding Problem. Physica D, 42(1-3), 335-346.
3. Putnam, H. (1975). The Meaning of ‘Meaning’. Minnesota Studies in Philosophy of Science, 7, 131-193.
4. Epistemological Fault Lines Between Human and Artificial Intelligence. arXiv:2512.19466v1
5. Grounding from an AI and Cognitive Science Lens. arXiv:2402.13290
6. Intelligence Requires Grounding But Not Embodiment. arXiv:2601.17588
7. Do Multimodal Large Language Models and Humans Ground Language Similarly? Computational Linguistics, 50(4).
8. Will multimodal large language models ever achieve deep understanding of the world? PMC12679578
9. Searle, J.R. (1980). Minds, Brains, and Programs. Behavioral and Brain Sciences, 3(3), 417-457.
10. Tononi, G., Koch, C. (2015). Consciousness: Here, There and Everywhere? Philosophical Transactions of the Royal Society B, 370(1668).
11. Frankish, K. (2016). Illusionism as a Theory of Consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
12. Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
13. Pritchard, D. (2012). Epistemic Luck. Oxford University Press.
14. Barsalou, L.W. (1999). Perceptual Symbol Systems. Behavioral and Brain Sciences, 22(4), 577-660.
15. Varela, F.J., Thompson, E., Rosch, E. (1991). The Embodied Mind. MIT Press.