Il problema del grounding nei modelli multimodali: tra grounding referenziale, vettoriale e la persistenza del divario epistemico

Il dialogo di Stevan Harnad con ChatGPT-4, pubblicato nel 2024 su Frontiers in AI, si apre con una provocazione metodologica: «Non capiamo come [ChatGPT] faccia ciò che fa, ma sappiamo che non capisce» [Harnad, 2024]. Questa affermazione cristallizza il paradosso centrale dei Large Language Models (LLM) e dei loro discendenti multimodali (MLLM): producono output che appaiono significativi, ma la loro genesi è puramente statistica, priva di quell’ancoraggio sensorimotorio che, secondo la tradizione teleosemantica, conferisce alle rappresentazioni la loro funzione di portare informazione sul mondo [Millikan, 1984; Dretske, 1988]. Il problema del grounding — come i simboli acquisiscano significato intrinseco piuttosto che parassitario sull’interpretazione umana — non è stato risolto dall’avvento del multimodale; è stato stratificato, ridefinito, e in certi casi aggravato.

Tesi centrale: il grounding nei modelli multimodali contemporanei non elimina la natura statistica dell’apprendimento, ma la stratifica in un’architettura a due livelli — base statistica (next-token prediction) e strato di grounding visivo-linguistico — che produce un grounding vettoriale meccanisticamente rilevabile ma epistemologicamente insufficiente per il grounding referenziale in senso teleosemantico. Il divario (“grounding gap”) tra modelli ed esseri umani, misurabile empiricamente sui concetti astratti (correlazione Pearson r≤0.37 contro soffitto umano r>0.9) [Chlapanis et al., 2026], dimostra che l’emergenza di strutture attenzionali nei layer intermedi [Wu et al., 2025] non equivale all’acquisizione di funzioni rappresentazionali selezionate per il successo nell’interazione col mondo.

1. Fondamenti teorici: dal simbolo al vettore, dal referenziale al funzionale

La formulazione classica di Harnad [1990] distingue tra sistemi simbolici sintattici (manipolazione di token basata sulle forme) e rappresentazioni grounded (ancorate a esperienze sensorimotorie). L’analogia del dizionario cinese-cinese — imparare il cinese consultando solo definizioni in cinese — illustra l’impossibilità di derivare significato da sola sintassi [Harnad, 1990; Searle, 1980]. La proposta di Harnad ancorava i simboli elementari a rappresentazioni iconiche (analoghi delle proiezioni sensoriali prossimali) e categoriche (detettori di feature invarianti), con simboli di ordine superiore grounded ricorsivamente in quelli elementari.

La svolta teleosemantica sposta il focus dalla struttura alla funzione: una rappresentazione ha contenuto semantico se (1) sta in relazioni causali-informazionali appropriate col mondo e (2) ha una storia di selezione (evolutiva o di apprendimento) che le conferisce la funzione di portare quell’informazione [Millikan, 1984; Dretske, 1988]. Mollo e Millière [2023, 2025] applicano questo schema ai LLM: argomentano che gli stati interni dei modelli possono soddisfare entrambe le condizioni anche senza modalità sensorimotorie dirette, producendo un grounding referenziale genuino. La loro tesi: l’addestramento su scala massiva crea relazioni causali-informazionali tra stati del modello e regolarità del mondo (mediati dal corpus umano), e la funzione di previsione del token successivo funge da pressione selettiva.

Contro-argomento decisivo: Müller [2025] obietta che l’unico “problema del grounding” sensato per agenti artificiali è spiegare la capacità comportamentale e funzione del significato, non la sua natura ontologica. Floridi e Taddeo [2015] avevano proposto la condizione di “zero semantic commitment” — una soluzione non deve presupporre semantica — che Müller giudica irrealizzabile. La tensione tra grounding referenziale (teleosemantico, richiede storia selettiva nel mondo) e grounding vettoriale (strutturale, emergente da correlazioni statistiche) attraversa tutto il dibattito contemporaneo [Quigley & Maynard, 2025].

2. Evidenza empirica: grounding vettoriale nei layer intermedi e il divario sui concetti astratti

Wu et al. [2025] forniscono la prima evidenza meccanistica dell’emergenza del grounding in LLM e MLLM addestrati a scala. Analizzando le mappe di attenzione, mostrano che il grounding si concentra nei layer intermedi (non in quelli iniziali né finali), implementato attraverso un meccanismo aggregativo: le attention heads aggregano “ground ambientale” per supportare la predizione della forma linguistica. Il fenomeno replica in dialogo multimodale e cross-architettura (Transformer e state-space models), ma non in LSTM unidirezionali. Questo suggerisce che l’architettura bidirezionale con attenzione è condizione necessaria per l’emergenza di strutture grounding-simili.

Tuttavia, Chlapanis et al. [2026] misurano un grounding gap quantitativo sui concetti astratti (giustizia, teoria, disponibilità). I concetti astratti non hanno referente percettibile unico; il significato umano emerge da rete di esperienze, affetti, contesto sociale. Gli LLM mostrano correlazione Pearson r≤0.37 con risposte umane contro soffitto umano r>0.9. Nessun modello supera questa soglia. I modelli allineano meglio il giudizio umano su esperimenti di rating per categorie di grounding, con miglioramento all’aumentare della scala, ma gli autoencoder sparsi rivelano feature connesse a dimensioni di grounding (sensorimotorio, sociale) che i modelli non reclutano in modo umano durante la generazione libera.

Nel dominio visivo, il visual grounding (Referring Expression Comprehension, phrase grounding) ha visto avanzamenti significativi dal 2021: grounded pre-training, grounding multimodal LLMs, generalized visual grounding, giga-pixel grounding [Xiao et al., 2026, TPAMI 2026]. PostAlign [Wu et al., 2025] introduce modulo di grounding post-hoc con meccanismo di rifiuto negativo per distinguere entità grounded da oggetti inesistenti generati da bias linguistici. DeFacto [Xu et al., 2025] usa ragionamento controfattuale per allineare evidenza visiva a risposte finali, con GRPO-based RL su tre reward complementari. Groc-PO [Zheng et al., 2026] ottimizza preferenze a livello di Object Grounding, Contextual Grounding, Grounded Reasoning. Questi approcci mitigano allucinazioni ma operano a livello di consistenza evidenza-risposta, non di grounding referenziale ontologico.

3. Implicazioni filosofiche: epistemic injustice, Gettier cases, e fedeltà del ragionamento

Il problema del grounding non è solo tecnico: ha conseguenze epistemiche e morali dirette. Mollema [2025, AI Ethics] introduce la tassonomia dell’epistemic injustice in AI, culminante nel concetto di generative hermeneutical erasure: l’automazione dell’”epistemicide”, ingiustizia agli agenti epistemici per la soppressione della differenza epistemologica/concezionale da parte degli LLM. La “view from nowhere” dei sistemi AI epistemically inferiorizza epistemologie non-occidentali, erodendo i particolari epistemici. Questo si connette al grounding: se il significato nei modelli è parassitario sull’interpretazione umana [Harnad, 2024], allora i modelli non possono che riflettere le strutture epistemiche dei dati di addestramento — prevalentemente occidentali, anglofoni, tecnocratici.

Sul fronte della fedeltà del ragionamento, i Gettier cases nei LLM [Gettier, 1963] emergono quando il Chain-of-Thought produce true belief per wrong reasons [Oka, 2025; Alignment Forum, 2024-2026]. DeFacto [Xu et al., 2025] e Groc-PO [Zheng et al., 2026] affrontano la coerenza evidenza-risposta, ma il problema profondo resta: il CoT è justification genuina o post-hoc rationalization? Harnad [2024] identifica sei “benign biases” convergenti a scala LLM che mimano comprensione senza esserla: parassitismo del grounding verbale indiretto su quello sensorimotorio diretto, circolarità della definizione verbale, mirroring produzione/comprensione linguistica, iconicità delle proposizioni a scala LLM, controparti computazionali della percezione categoriale umana, congettura di Chomsky sulle leggi del pensiero.

La distinzione a quattro livelli (implementazionale, algoritmico, intenzionale, fenomenologico) [Marr, 1982; applicato a grounding da Müller, 2025] chiarisce il dibattito: l’emergenza meccanistica nei layer intermedi (livello algoritmico) non implica grounding referenziale (livello intenzionale/fenomenologico). Il framework di Quigley & Maynard [2025] operationalizza questa distinzione in cinque desiderata di audit: autenticità, preservazione, fedeltà (correlazionale ed eziologica), robustezza, composizionalità. I LLM mostrano fit correlazionale e robustezza locale per task linguistici, ma mancano warrant eziologico (selezione per successo su task mondani) senza interazione grounded col mondo.

4. Prospettive: grounding costituzionale, ibridi neuro-simbolici, verifica formale

Tre direzioni concrete emergono dalla ricerca. Prima: grounding costituzionale — l’aderenza a specifiche comportamentali scritte (Anthropic Constitution, OpenAI Model Spec) come forma di grounding normativo. Jakkli et al. [2026] auditan 205 tenet Anthropic e 197 OpenAI con agenti Petri: Claude Sonnet 4.6 viola 2.0%, GPT-5.2 3.6%. I fallimenti residui cluster su: persone imposte sotto interrogazione identità AI, azioni irreversibili in deployment agentici, claim quantitativi fabbricati con falsa precisione. Questo grounding è procedurale, non referenziale.

Seconda: ibridi neuro-simbolici che combinano grounding vettoriale emergente con strutture simboliche esplicite per composizionalità e verifica. Syntax-Guided Transformers [Kamali & Kordjamshidi, 2023] usano struttura sintattica per grounding composizionale; MRVG-Net [Lu et al., 2025] integra few-shot detection con LLM per matching oggetti. Questi approcci riconoscono che il grounding vettoriale da solo non basta per generalizzazione composizionale garantita.

Terza: verifica formale del grounding. Oka [2025] benchmarka zero-shot LLMs su Frame Problem e Symbol Grounding Problem: modelli closed ottengono score alti costantemente. Quigley & Maynard [2025] propongono audit sistematico via tuple di valutazione (contesto, tipo significato, threat model, distribuzione riferimento). La domanda aperta: può esistere una verifica formale che certifichi grounding referenziale senza richiedere embodiment completo?

Bibliografia

1. Harnad, S. (1990). The Symbol Grounding Problem. Physica D, 42, 335-346. arXiv:cs/9906002v1
2. Millikan, R.G. (1984). Language, Thought, and Other Biological Categories. MIT Press.
3. Dretske, F. (1988). Explaining Behavior: Reasons in a World of Causes. MIT Press.
4. Searle, J. (1980). Minds, Brains, and Programs. Behavioral and Brain Sciences, 3(3), 417-457.
5. Mollo, D. & Millière, R. (2023/2025). Vector Grounding Problem. Philosophy and the Mind Sciences. arXiv:2304.01481v3
6. Wu, Z. et al. (2025). The Mechanistic Emergence of Symbol Grounding in Language Models. arXiv:2510.13796v3
7. Chlapanis, T. et al. (2026). The Grounding Gap: How LLMs Anchor the Meaning of Abstract Concepts Differently from Humans. arXiv:2605.08837v1
8. Xiao, L. et al. (2026). Toward Visual Grounding: A Survey. IEEE TPAMI. arXiv:2412.20206v4
9. Quigley, C. & Maynard, Z. (2025). On Measuring Grounding and Generalizing Grounding Problems. arXiv:2512.06205v2
10. Mollema, M. (2025). A Taxonomy of Epistemic Injustice in AI and the Case for Generative Hermeneutical Erasure. AI Ethics. arXiv:2504.07531v2
11. Floridi, L. & Taddeo, M. (2015). Zero Semantic Commitment. Minds and Machines.
12. Müller, V.C. (2025). Which Symbol Grounding Problem Should We Try to Solve? Synthese.
13. Xu, Y. et al. (2025). DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning. arXiv:2509.20912v4
14. Zheng, H. et al. (2026). Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs. arXiv:2607.13712v1
15. Oka, T. (2025). Evaluating LLMs on the Frame and Symbol Grounding Problems: A Zero-shot Benchmark. arXiv:2506.07896v1
16. Harnad, S. (2024/2025). Harnad’s Dialogue with ChatGPT-4 on Grounding, Meaning and Understanding. Frontiers in AI, 7:1490698. arXiv:2402.02243v2
17. Jakkli, A. et al. (2026). How Well Do Models Follow Their Constitutions? LessWrong / AI Alignment Forum. LessWrong
18. Kamali, S. & Kordjamshidi, P. (2023). Syntax-Guided Transformers. arXiv:2311.04364v1
19. Lu, Y. et al. (2025). Multimodal Reference Visual Grounding. arXiv:2504.02876v2
20. Gettier, E. (1963). Is Justified True Belief Knowledge? Analysis, 23, 121-123.

“Non capiamo come [ChatGPT] faccia ciò che fa, ma sappiamo che non capisce” — Harnad, 2024

Originale: “We don’t understand how [ChatGPT] does what it does, but we know it doesn’t understand” [Harnad, 2024, Frontiers in AI 7:1490698]

“L’unico problema del grounding sensato per agenti artificiali è spiegare la capacità comportamentale e funzione del significato” — Müller, 2025

Originale: “The only sensible symbol grounding problem for artificial agents is explaining the behavioral capacity and function of meaning” [Müller, 2025, Synthese]

“L’automazione dell’epistemicide: ingiustizia agli agenti epistemici per la soppressione della differenza epistemologica da parte degli LLM” — Mollema, 2025

Originale: “The automation of ‘epistemicide’: injustice to epistemic agents’ capacity for collective sense-making through suppression of epistemological/conceptual difference by LLMs” [Mollema, 2025, AI Ethics]