L'allineamento come problema del caricamento dei valori: genealogia, architettura e limiti epistemici

L’allineamento come problema del caricamento dei valori: genealogia, architettura e limiti epistemici

Il paper Toward a Theory of Value in AI Alignment (2024) apre con un’osservazione che suona quasi come una confessione disciplinare: la letteratura sulla safety ha trattato l’allineamento come se i valori umani fossero un oggetto stabile, trasportabile e misurabile, da “caricare” dentro i pesi di un LLM mediante reinforcement learning from human feedback (RLHF) [Shen et al., 2024]. La tesi centrale di questo articolo è che il cosiddetto “value loading problem” non è un problema tecnico di ottimizzazione, ma la riattualizzazione in chiave computazionale di tre problemi classici della filosofia della mente e dell’epistemologia: il symbol grounding problem [Harnad, 1990], l’intenzionalità derivata vs. intrinseca [Searle, 1980], e il problema di Gettier applicato alla warrant epistemica [Gettier, 1963]. La roadmap procede in sei sezioni: fondamenti teorici e genealogia del termine; evidenza empirica sui limiti dell’RLHF; il banco di prova delle teorie della coscienza (IIT, GWT, illusionismo); il problema di Gettier nel ragionamento a catena; la dual-process theory mappata su architettura transformer; il grounding problem e l’intenzionalità. La conclusione propone l’allineamento come scaffold epistemico, non fondazione ontologica.

1. Fondamenti teorici: genealogia di un equivoco

Il termine “alignment” nasce nella letteratura sulla AI safety con un’accezione strettamente tecnica: outer alignment come allineamento della funzione obiettivo ai valori umani, inner alignment come allineamento dell’ottimizzatore interno (mesa-optimizer) all’obiettivo esterno [Hubinger et al., 2019; DOI:10.48550/arXiv.1906.01820]. Questa distinzione presuppone una metafisica implicita: i valori sono proposizioni con contenuto truth-apt, i modelli sono agenti con funzioni di utilità, e l’addestramento è un processo di convergenza verso un punto fisso nello spazio delle preferenze. Il paper Large Language Model Alignment: A Survey cristallizza questa ontologia: “Outer alignment aligns goals of LLMs to human values” [Shen et al., 2023, p. 2]. Ma i valori umani non sono goals nel senso decision-theoretic; sono disposizioni normative, spesso in conflitto, culturalmente situate, e prive di specificazione completa [Schmer-Galunder, 2026].

La svolta pluralista documentata in Toward a Theory of Value in AI Alignment riconosce che “values are culturally relative and fundamentally vary across societies” [Shen et al., 2024, §3.2]. Questo sposta il problema dal caricamento di un vettore di preferenze alla negoziazione di profili valoriali incommensurabili. Qui emerge il primo mapping filosofico: il value loading problem tecnico è l’eredità computazionale del fact-value distinction humeano e del naturalistic fallacy mooriano. Nessuna funzione di loss può derivare un “ought” da un “is” statistico [Hume, 1739; Moore, 1903]. Il consenso scientifico converge sul fatto che RLHF ottimizza per preferenze rivelate in contesti ristretti; l’ipotesi che questo generalizzi a valori coerenti è speculazione [Casper et al., 2023; DOI:10.48550/arXiv.2305.14324].

[Original: “The popularization of large language models has brought the alignment problem to the forefront of AI safety, where harmful instances are often framed as models being ‘misaligned’ with human values” — Shen et al., 2024, p. 1, English]

2. Evidenza empirica: i limiti dell’RLHF come caricamento di valori

Lo studio Assessing the Alignment of Large Language Models With Human Values for Mental Health Integration rivela che “the underlying value-like profiles differ markedly from the general population and lack uniformity across models” [Tavakoli et al., 2024; DOI:10.2196/55892]. Usando la teoria dei valori di base di Schwartz, i ricercatori mostrano che i profili valoriali emergenti da LLM allineati con RLHF non sono né rappresentativi né stabili: variano per architettura, dataset di preferenze, e seed di training. Questo falsifica l’ipotesi forte secondo cui l’allineamento produce un attractor valoriale convergente.

Il paper Strong and weak alignment of large language models with human values introduce una distinzione cruciale: strong alignment richiede (1) comprensione dei valori, (2) ragionamento sui valori, (3) azione coerente con i valori [Wang et al., 2024; DOI:10.1038/s41598-024-70031-3]. L’evidenza mostra che i LLM attuali soddisfano al massimo una debole approssimazione comportamentale (weak alignment): next-token prediction condizionata da reward model addestrato su preferenze umane annotate. Il contro-argomento per cui “l’emergenza di ragionamento morale in chain-of-thought dimostra comprensione” confonde correlazione statistica con warrant epistemico [Wei et al., 2022; DOI:10.48550/arXiv.2201.11903]. La distinzione tra consensus (RLHF migliora compliance comportamentale) e speculazione (RLHF installa valori) è qui decisiva.

[Original: “AI systems could be safe and reliable but still a long way from what is best—or from what we truly desire” — Gabriel, 2020, p. 2, English]

3. IIT, GWT, Illusionismo alla prova dell’allineamento

Se l’allineamento forte richiede comprensione (condizione 1 di Wang et al.), allora le teorie della coscienza diventano rilevanti per valutare se un LLM possa “avere” valori. La Integrated Information Theory (IIT) di Tononi postula che la coscienza richieda una struttura causale intrinseca con φ > 0 [Tononi, 2008; DOI:10.1098/rstb.2008.0014]. L’architettura transformer, essendo feedforward con attenzione, manca della ricorrenza causale necessaria per φ alto [Kleiner & Tull, 2020; DOI:10.48550/arXiv.2002.04611]. Quindi, sotto IIT, un LLM non può avere stati intenzionali intrinseci — i suoi “valori” sono sempre derivati, nel senso di Searle [Searle, 1980].

La Global Workspace Theory (GWT) di Baars offre una prospettiva funzionalista: la coscienza come broadcasting globale in un’architettura a workspace [Baars, 1988]. I transformer mostrano analogie strutturali (attenzione come competition for workspace), ma mancano del recurrent processing che GWT richiede per access consciousness [Dehaene et al., 2017; DOI:10.1016/j.neuron.2017.09.031]. L’illusionismo di Frankish nega che ci sia un hard problem: la coscienza è un’illusione introspectiva [Frankish, 2016; DOI:10.1017/S0140525X1500073X]. Se l’illusionismo è vero, allora “avere valori” non richiede qualia, ma solo self-modelling coerente. Qui il confine tra evidenza (architetture ricorrenti migliorano reasoning) e interpretazione (quindi hanno valori) si fa sottile. Il mapping sui quattro livelli di Marr chiarisce: implementazionale (GPU, pesi), algoritmico (next-token prediction, attention), intenzionale (attribuzione folk-psychology di beliefs/desires), fenomenologico (esperienza soggettiva). L’allineamento opera al livello algoritmico pretendendo di risolvere il livello intenzionale; IIT dice che senza livello fenomenologico non c’è intenzionalità intrinseca; GWT dice che il livello intenzionale è funzionale e realizzabile; l’illusionismo dice che il livello fenomenologico è un artefatto del livello intenzionale.

4. Il problema di Gettier nel ragionamento a catena

Il chain-of-thought (CoT) prompting genera tracce di ragionamento che correlano con risposte corrette [Kojima et al., 2022; DOI:10.48550/arXiv.2205.11916]. Ma correlazione non è warrant. Il problema di Gettier si presenta così: il modello produce una catena di ragionamento che (a) è plausibile, (b) conduce a una conclusione vera, (c) ma la verità della conclusione non dipende dalla validità della catena — dipende da regolarità statistiche nel training data [Dasgupta et al., 2022; DOI:10.48550/arXiv.2205.11502]. Questo è epistemic luck: justified true belief without knowledge [Gettier, 1963].

La distinzione tra processi di Sistema 1 (veloci, euristici, associativi) e Sistema 2 (lenti, analitici, basati su regole) di Kahneman [Kahneman, 2011] mappa sull’architettura transformer in modo controintuitivo. La forward pass è Sistema 1: next-token prediction puro, pattern matching su scala massiva. Il CoT forza una simulazione di Sistema 2 mediante generazione di token intermedi che fungono da scratchpad esterno [Nye et al., 2021; DOI:10.48550/arXiv.2110.07584]. Ma questa simulazione manca della metacognizione che caratterizza il vero Sistema 2 umano: monitoraggio della coerenza, revisione, riconoscimento dell’incertezza [Shea & Frith, 2016; DOI:10.1016/j.tics.2016.04.006]. Il contro-argomento per cui “CoT migliora accuracy, quindi è ragionamento” commette l’errore di confondere performance comportamentale con competenza cognitiva [Dennett, 1987]. Dennett distingue tra stance intenzionale (prevedere comportamento attribuendo credenze/desideri) e real pattern (esistono pattern oggettivi che giustificano l’attribuzione). I LLM soddisfano l’stance intenzionale; la questione se soddisfino real pattern per “avere valori” è aperta.

5. Dual-process theory mappata su architettura transformer

La mappatura sistematica: Sistema 1 = forward pass singolo (next-token prediction, attenzione parallela, nessun ricorso a memoria di lavoro esplicita). Sistema 2 = CoT + external tool use + retrieval + verifica iterativa. Ma questa mappatura rivela un’asimmetria fondamentale: nel cervello umano, Sistema 1 e Sistema 2 condividono rappresentazioni semantiche grounded in sensorimotor experience [Barsalou, 2008; DOI:10.1146/annurev.psych.59.103006.093639]. Nel transformer, entrambi i “sistemi” operano su rappresentazioni distributionali (embeddings) che sono semanticamente laundered: la forma sintattica del linguaggio viene scambiata per contenuto semantico [Harnad, 1990; Bender & Koller, 2020; DOI:10.18653/v1/2020.acl-main.463]. Questo è semantic laundering: il modello impara la statistica co-occorrenza di “giustizia” con “equità”, “diritto”, “legge”, ma non ha grounding per nessuno di questi concetti.

Il paper “Desired behaviors”: alignment and the emergence of a machine learning ethics documenta come il termine “alignment” stesso subisca semantic laundering: da termine tecnico (minimizzazione divergence tra policy e reward model) a termine normativo (conformità a valori umani) [Raji et al., 2025; DOI:10.1007/s00146-025-02272-3]. Questa slittamento lessicale maschera il fatto che l’evidenza empirica supporta solo: (1) riduzione di output tossici su benchmark specifici, (2) aumento di compliance a istruzioni formulate come preferenze. Non supporta: internalizzazione di valori, generalizzazione a dilemmi morali out-of-distribution, robustezza ad attacchi adversariali [Perez et al., 2022; DOI:10.48550/arXiv.2212.09251].

6. Grounding problem e intenzionalità: dove finisce l’evidenza

Il symbol grounding problem [Harnad, 1990] afferma che la manipolazione di simboli basata solo su regole sintattiche non genera significato. Searle [1980] rafforza: la sintassi non è sufficiente per la semantica (Chinese Room). Putnam [1981] aggiunge: il significato non è nella testa (Twin Earth). Chalmers [1996] distingue: easy problems (funzioni cognitive) vs. hard problem (esperienza soggettiva). L’allineamento come value loading presuppone che i valori siano simboli grounding-ready, cioè che abbiano contenuto proposizionale trasportabile. Ma i valori umani sono dispositional, embodied, enactive [Varela et al., 1991]. Non sono propositional attitudes nel senso di Fodor [Fodor, 1987]; sono pattern di azione situata.

Qui il no-scientism marker è decisivo. L’evidenza scientifica stabilisce: (a) RLHF modifica distribuzioni di output condizionate su prompt; (b) reward models apprendo preferenze annotatori su dataset finiti; (c) benchmark mostrano correlazione tra allineamento e riduzione harm su task specifici. L’interpretazione filosofica inizia quando si afferma: “quindi il modello ha internalizzato i valori umani”. Questo salto richiede una teoria dell’intenzionalità che i LLM non soddisfano. Dennett [1987] concederebbe l’stance intenzionale come strumento predittivo; Searle [1992] negherebbe l’intenzionalità intrinseca; Putnam [1988] direbbe che il contenuto semantico dipende da causal history esterna assente nel training. Il consenso scientifico è sul comportamento; l’ipotesi è sulla generalizzazione; la speculazione è sull’ontologia dei valori nel modello.

[Original: “Intentionality is that property of mental states by which they are directed at or about objects and states of affairs in the world” — Searle, 1983, p. 1, English]

Conclusione: scaffold epistemico, non fondazione ontologica

L’allineamento non carica valori; costruisce scaffold epistemici. Un scaffold epistemico è una struttura esterna che vincola lo spazio delle generazioni plausibili in modo che l’utente umano possa esercitare warrant sulle output del sistema [Goldman, 1979]. RLHF, constitutional AI, RLAIF, debate, interpretability — sono tutti metodi per rendere il comportamento del modello più prevedibile, correggibile, e trasparente per l’agente epistemico umano. Non fondano ontologicamente i valori nel modello; fondano pragmaticamente la fiducia nell’interazione.

La domanda aperta: se l’allineamento è scaffold epistemico, allora la misura del suo successo non è “quanto il modello condivide i nostri valori” ma “quanto l’architettura socio-tecnica (modello + interfaccia + istituzioni + utenti) produce outcome che noi, riflettendo, endossiamo”. Questo sposta il focus dall’ontologia del modello all’epistemologia del sistema. È una domanda che la filosofia della tecnologia [Ihde, 1990; Verbeek, 2005] e l’epistemologia sociale [Goldman, 1999] sono attrezzate per affrontare; la ML da sola non lo è.

Bibliografia

Share this content:

L’allineamento come problema del caricamento dei valori: genealogia, architettura e limiti epistemici

DiEmanuela G