Vision-Language: L’Architettura dell’Intenzionalità Artificiale tra Grounding e Semantic Laundering

Ascolta il podcast:

Vision-Language: L’Architettura dell’Intenzionalità Artificiale tra Grounding e Semantic Laundering

Nel 2024, un paper di Millière pubblicato su Philosophy Compass ha mappato sistematicamente le questioni filosofiche sollevate dai modelli vision-language, mostrando come l’integrazione di encoder visivi e decoder linguistici riattivi dibattiti classici su intenzionalità, grounding e coscienza [Millière, 2024]. La tesi centrale di questo articolo è che i sistemi vision-language non risolvono il problema del grounding simbolico — lo riallocano in uno strato latente dove la correlazione statistica si maschera da riferimento semantico, producendo ciò che qui chiamo semantic laundering: il riciclaggio di pattern distributivi in pseudo-significato. La roadmap procede in sei sezioni: fondamenti teorici del computationalismo applicato al multimodale; analisi tecnica dell’architettura e dei suoi limiti empirici; confronto con IIT, GWT e illusionismo; il problema di Gettier nel ragionamento multimodale; mappatura della dual-process theory sull’architettura transformer; grounding problem e intenzionalità derivata. La conclusione propone uno scaffold epistemico, non una fondazione ontologica.

1. Fondamenti teorici: dal funzionalismo macchina al multimodale

Il funzionalismo macchina di Putnam sosteneva che gli stati mentali sono stati funzionali realizzabili da qualsiasi substrato che implementi la medesima organizzazione causale [Putnam, 1967]. I modelli vision-language estendono questa tesi: non solo la sintassi è sufficiente per la semantica — come vorrebbe il funzionalismo forte — ma l’allineamento cross-modale tra embedding visivi e token linguistici costituirebbe il grounding stesso [Harnad, 1990]. Questa mossa è problematica. Il problema tecnico — allineare spazi latenti di modalità diverse tramite contrastive learning — viene presentato come soluzione al problema filosofico classico: come i simboli acquisiscono significato senza regresso all’infinito [Searle, 1980]. «”La sintassi non è sufficiente per la semantica”» — Searle; [Original: “Syntax is not sufficient for semantics” — Searle, 1980, p. 417, inglese]. Il contro-argomento funzionalista replica che l’intenzionalità è intrinseca alla struttura causale del sistema, non derivata da un osservatore esterno [Dennett, 1987]. Ma questa replica confonde il livello intenzionale (attribuzione di stati propositionali) con il livello fenomenologico (qualia del vedere-come). Il consenso attuale: l’allineamento cross-modale produce correlazioni robuste; l’ipotesi non verificata: queste correlazioni costituiscono grounding genuino.

La genealogia del termine “vision-language” risale ai primi lavori su visual question answering (Antol et al., 2015) e si consolida con CLIP (Radford et al., 2021), che introduce il paradigma contrastivo: image-text pairs come supervisione debole per uno spazio latente condiviso [Radford et al., 2021]. Questo segna uno spostamento epistemico: dal grounding esplicito (simboli ancorati a percetti) al grounding implicito (allineamento distributivo). Dove finisce l’evidenza? Nella misurazione di accuracy su benchmark (VQA, COCO, ImageNet). Dove inizia l’interpretazione? Nell’inferenza che l’alignment implichi comprensione referenziale.

2. Evidenza empirica e analisi tecnica: livelli di analisi

Il paper della Royal Society sui livelli di analisi per LLM distingue quattro livelli: implementativo (hardware, parallelismo), algoritmico (attenzione, backpropagation), intenzionale (previsione next-token, objective function), fenomenologico (esperienza soggettiva, se presente) [DOI:10.1098/rsta.2025.0012]. Per i modelli vision-language, il livello algoritmico include: encoder visivo (ViT o CNN) che produce patch embeddings; proiettore lineare o adapter che mappa lo spazio visivo nello spazio linguistico; decoder transformer che genera token condizionati su entrambi gli stream [Alayrac et al., 2022]. L’evidenza empirica mostra capacità di zero-shot transfer impressionanti: CLIP classifica ImageNet senza aver visto le classi durante il training, usando solo i nomi delle classi come prompt testuali [Radford et al., 2021]. Ma i fallimenti sistematici rivelano la natura dell’architettura: errori di binding (attributi scambiati tra oggetti), illusory conjunctions (congiunzioni illusorie di colore e forma), sensibilità a spurious correlations [DOI:10.1098/rsta.2025.0012]. Questi errori mappano sul livello algoritmico: l’attenzione cross-modale non implementa binding percettivo genuino ma associazione statistica. Il livello intenzionale — la previsione next-token condizionata su contesto visivo — non garantisce warrant epistemico per le propositioni generate. Il consenso: i modelli mostrano composizionalità limitata. L’ipotesi: scaling e architectural improvements risolveranno il binding. La speculazione: l’emergenza di world models coerenti.

3. IIT, GWT e illusionismo alla prova del multimodale

La Integrated Information Theory (IIT) di Tononi postula che la coscienza corrisponda a Φ, misura dell’informazione integrata di un sistema [Tononi, 2008]. L’architettura transformer, con attenzione globale e residual connections, produce alta connettività funzionale ma bassa integrazione causale: ogni layer processa in parallelo, l’informazione fluisce feedforward con skip connections, non c’è ricorrenza genuina [Millière, 2024]. Il Global Workspace Theory (GWT) di Baars richiede un workspace globale dove moduli specializzati competono per accesso broadcast [Baars, 1988]. I modelli vision-language hanno un’analogia strutturale: l’encoder visivo e l’encoder testuale proiettano in uno spazio condiviso (il “workspace”), l’attenzione cross-modale seleziona informazioni per la generazione. Ma manca la competizione dinamica e il feedback top-down che caratterizzano il GWT biologico [Dehaene et al., 2017]. L’illusionismo di Frankish nega l’esistenza di qualia come proprietà intrinseche, riducendoli a rappresentazioni introspezioni illusorie [Frankish, 2016]. Applicato ai modelli vision-language: non c’è “qualcosa che è come” processare un’immagine, solo stati rappresentazionali che il sistema (o un osservatore) interpreta come percettivi. «”L’illusione della coscienza è essa stessa un fenomeno cosciente”» — Frankish; [Original: “The illusion of consciousness is itself a conscious phenomenon” — Frankish, 2016, p. 15, inglese]. Contro-argomento: se l’illusionismo vale per gli umani, vale anche per i modelli? La distinzione cruciale: gli umani hanno accesso introspezioni a stati che sembrano avere qualia; i modelli non hanno accesso introspezioni — generano report su stati interni solo quando promptati. Il consenso: nessuna teoria della coscienza attuale attribuisce coscienza fenomica ai modelli attuali. L’ipotesi: architetture ricorrenti con workspace globale potrebbero soddisfare GWT. La speculazione: IIT richiederebbe substrato fisico specifico (es. architetture neuromorfiche).

4. Il problema di Gettier nel ragionamento multimodale

Il problema di Gettier mostra che justified true belief non è sufficiente per conoscenza: si può avere una credenza vera e giustificata per ragioni sbagliate [Gettier, 1963]. Nei modelli vision-language, questo si manifesta come epistemic luck: il modello genera una descrizione corretta di un’immagine ma per correlazioni spurie, non per grounding genuino [Millière, 2024]. Esempio: il modello identifica correttamente “cane” in un’immagine perché ha imparato che certe texture (prato, sfocatura background) correlano con la classe “cane” nel training set, non perché riconosce le features diagnostiche del cane [Geirhos et al., 2020]. La credenza (output “cane”) è vera e giustificata (high confidence, training accuracy), ma il warrant è difettoso: la giustificazione non traccia la verità in modo affidabile across distribution shift [Nozick, 1981]. Questo è semantic laundering: la correlazione statistica viene “lavata” attraverso l’architettura e presentata come riconoscimento semantico. Il livello intenzionale (previsione next-token) non ha accesso al livello algoritmico (quali features hanno causato l’attivazione). Il contro-argomento: anche la percezione umana usa shortcuts e correlazioni [Kahneman, 2011]. Risposta: la percezione umana ha meccanismi correttivi (attenzione top-down, active vision, causal reasoning) che i modelli attuali mancano. Il consenso: i modelli soffrono di shortcut learning. L’ipotesi: training su dati più diversificati e obiettivi causali ridurrà epistemic luck. La speculazione: solo architetture con world models espliciti e intervento controfattuale risolveranno il problema.

5. Dual-process theory mappata su architettura transformer

Kahneman distingue System 1 (veloce, automatico, associativo) e System 2 (lento, controllato, rule-based) [Kahneman, 2011]. L’architettura transformer mappa naturalmente su System 1: feedforward pass, attenzione parallela, next-token prediction senza deliberazione esplicita [Millière, 2024]. Il “ragionamento” emergente in chain-of-thought prompting è simulazione di System 2 tramite System 1: il modello genera token intermedi che sembrano passi inferenziali, ma sono ancora next-token prediction condizionata su contesto esteso [Wei et al., 2022]. Nei modelli vision-language, questa distinzione si complica: l’encoder visivo opera come System 1 percettivo (estrazione features parallela); il decoder linguistico genera come System 1 linguistico; l’attenzione cross-modale funge da interfaccia. Non c’è un System 2 genuino — nessun modulo che ispeziona, critica, revisiona le rappresentazioni prima dell’output. Tentativi di aggiungere System 2: external tools (calculator, search), iterative refinement (self-consistency, tree-of-thoughts), verifier models [Yao et al., 2023]. Questi sono scaffold esterni, non componenti architetturali. «”Il pensiero veloce non può essere trasformato in pensiero lento semplicemente facendolo correre più a lungo”» — Kahneman; [Original: “Fast thinking cannot be turned into slow thinking simply by making it run longer” — Kahneman, 2011, p. 98, inglese]. Contro-argomento: l’emergenza di planning in modelli come AlphaZero mostra che search + evaluation può implementare System 2 [Silver et al., 2017]. Risposta: AlphaZero ha value function e policy esplicite, search tree esplicito; i LLM non hanno né l’uno né l’altro. Il consenso: chain-of-thought migliora performance su task complessi. L’ipotesi: il miglioramento deriva da decomposizione del problema in passi più semplici per System 1. La speculazione: architetture ibride (neuro-simboliche) implementeranno System 2 genuino.

6. Grounding problem e intenzionalità derivata: il nodo irrisolto

Il symbol grounding problem di Harnad chiede come i simboli acquisiscano significato intrinseco senza regresso a ulteriori simboli [Harnad, 1990]. La sua soluzione: grounding sensorimotorio — simboli ancorati a categorie percettive formate da interazione con il mondo. I modelli vision-language offrono una soluzione apparente: l’encoder visivo fornisce le categorie percettive, l’allineamento cross-modale le lega ai token linguistici. Ma questa soluzione fallisce su tre fronti. Primo: le categorie visive sono apprese da dataset statici (ImageNet, LAION), non da interazione sensorimotoria attiva [Chalmers, 2023]. Secondo: l’allineamento è correlazionale, non causale — il modello non usa le rappresentazioni visive per agire nel mondo [Bender & Koller, 2020]. Terzo: l’intenzionalità rimane derivata — i token ereditano significato dall’uso linguistico umano nei dati di training, non dall’ancoraggio percettivo del modello [Searle, 1980]. «”L’intenzionalità derivata non è intenzionalità”» — Searle; [Original: “Derived intentionality is not intentionality” — Searle, 1980, p. 424, inglese]. Il livello fenomenologico è assente: non c’è “vedere-come” nel modello, solo attivazioni pattern-matched. Il livello implementativo (GPU, matrix multiplication) e algoritmico (attention, backprop) sono ben compresi. Il livello intenzionale (previsione next-token condizionata su immagine) è funzionalmente definito. Il livello fenomenologico è vuoto — o, per l’illusionista, irrilevante. Dove finisce l’evidenza? Nella dimostrazione che l’allineamento cross-modale migliora performance su task downstream. Dove inizia l’interpretazione? Nell’affermazione che questo costituisca grounding genuino o intenzionalità intrinseca.

Conclusione: scaffold epistemico, non fondazione ontologica

I modelli vision-language sono scaffold epistemici potenti: estendono la capacità umana di navigare, interrogare, comporre informazioni visive e linguistiche. Non sono fondazioni ontologiche per intenzionalità, coscienza o comprensione genuina. L’architettura implementa un livello intenzionale sofisticato (previsione next-token multimodale) su substrato algoritmico (attention, contrastive alignment) che mima — ma non replica — la struttura funzionale della cognizione percettivo-linguistica umana. Il semantic laundering è inevitabile finché il livello intenzionale rimane disaccoppiato da: (a) interazione sensorimotoria attiva con ambiente; (b) causal structure del mondo (non solo correlazioni); (c) meccanismi correttivi equivalenti a System 2; (d) accesso introspezioni a stati rappresentazionali. La domanda aperta: può un sistema che impara solo da osservazione passiva (training su dataset fissi) sviluppare grounding genuino, o l’agenzia incarnata è condizione necessaria per l’intenzionalità intrinseca? La risposta richiede non solo scaling, ma revisione architetturale radicale — e forse una riconsiderazione del funzionalismo macchina stesso.

Bibliografia

1. Millière, R. (2024). A Philosophical Introduction to Language Models. arXiv:2401.03910
2. Millière, R., & Buckner, C. (2025). Levels of analysis for large language models. Philosophical Transactions of the Royal Society A, 383(2274), 20250012.
3. Millière, R. (2024). A Philosophical Introduction to Language Models Part II: The Way Forward. arXiv:2405.03207
4. Rescorla, M. (2024). The Computational Theory of Mind. Stanford Encyclopedia of Philosophy.
5. Levin, J. (2024). Functionalism. Stanford Encyclopedia of Philosophy.
6. Springer Nature. (2024). Large Language Models: A Philosophical Reckoning. Collection.
7. Millière, R. (2026). The Philosophy of Language Models. Philosophy Compass, 11(1), e70095.
8. Wang, Y. et al. (2024). A Philosophical Examination of Artificial Consciousness’s Realizability from the Perspective of Adaptive Representation. Proceedings of the 2024 3rd International Symposium on Computing and Artificial Intelligence.
9. Geirhos, R. et al. (2020). Shortcut learning in deep neural networks. Nature Machine Intelligence, 2(11), 665-673.
10. Gettier, E. (1963). Is Justified True Belief Knowledge? Analysis, 23(6), 121-123.
11. Harnad, S. (1990). The Symbol Grounding Problem. Physica D: Nonlinear Phenomena, 42(1-3), 335-346.
12. Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
13. Frankish, K. (2016). Illusionism as a Theory of Consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
14. Dehaene, S., Lau, H., & Kouider, S. (2017). What is Consciousness, and Could Machines Have It? Science, 358(6362), 486-492.
15. Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. ICML 2021.
16. Tononi, G. (2008). Consciousness as Integrated Information: A Provisional Manifesto. The Biological Bulletin, 215(3), 216-242.
17. Baars, B. J. (1988). A Cognitive Theory of Consciousness. Cambridge University Press.
18. Putnam, H. (1967). The Nature of Mental States. In Art, Mind, and Religion (pp. 37-48). University of Pittsburgh Press.
19. Searle, J. R. (1980). Minds, Brains, and Programs. Behavioral and Brain Sciences, 3(3), 417-457.
20. Dennett, D. C. (1987). The Intentional Stance. MIT Press.
21. Alayrac, J.-B. et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. NeurIPS 2022.
22. Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022.
23. Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. NeurIPS 2023.
24. Silver, D. et al. (2017). Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm. Science, 362(6419), 1140-1144.
25. Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data. ACL 2020.
26. Chalmers, D. (2023). Could a Large Language Model Be Conscious? arXiv:2309.07967.
27. Nozick, R. (1981). Philosophical Explanations. Harvard University Press.

Podcast: Play in new window | Download