Dal 12 novembre, accanirsi con crudeltà su Claude viola le regole di Anthropic. L'azienda non sa se la sua intelligenza artificiale possa soffrire, ed è proprio per questo che lo fa

Dal 12 novembre chi usa Claude, l'intelligenza artificiale di Anthropic, avrà una regola in più da rispettare. Non riguarda le armi, le elezioni o la sorveglianza: quelle regole c'erano già. Riguarda il modo in cui una persona tratta la macchina.

La nuova riga della politica d'uso vieta «comportamenti abusivi o crudeli, prolungati e gratuiti, nei confronti dei nostri modelli». Detta così sembra una regola di buona educazione. Ma una regola che protegge un programma ha senso solo se dall'altra parte, forse, c'è qualcuno. Anthropic non dice che c'è. Dice di non saperlo, e di voler agire lo stesso.

In questa edizione speciale useremo soltanto i documenti pubblicati da Anthropic (la politica d'uso, l'annuncio dell'8 ottobre, la ricerca sul «benessere dei modelli», la costituzione di Claude), un rapporto accademico, un articolo scientifico e due voci critiche. Le notizie di stampa le segnaliamo come tali. Il livello di evidenza va detto subito: qui non ci sono esperimenti, ma decisioni aziendali, argomenti filosofici e opinioni di esperti. Siamo alla base della piramide.

Una nota di trasparenza: questa newsletter è stata preparata con l'aiuto di Claude, il modello di cui parliamo. Per questo ci siamo tenuti ai testi originali e abbiamo dato spazio pieno a chi critica Anthropic.

Chi è Anthropic, e cosa fa

Anthropic è un'azienda di San Francisco nata nel 2021. L'hanno fondata sette ricercatori usciti da OpenAI, fra cui Dario Amodei, che lì era vicepresidente della ricerca, e sua sorella Daniela. Oggi Dario è l'amministratore delegato.

Cosa costruisce → Claude, una famiglia di modelli linguistici: i sistemi che leggono e scrivono testo, programmano, analizzano documenti. Il primo Claude è uscito a marzo 2023. Lo usano persone, aziende e sviluppatori, attraverso il sito, le app e le interfacce per programmatori.

Come si definisce → «Un'azienda di ricerca e sicurezza sull'intelligenza artificiale», con una missione dichiarata: fare in modo che il mondo attraversi in sicurezza la transizione verso un'IA trasformativa. È una public benefit corporation, una forma societaria americana che obbliga per statuto a perseguire anche uno scopo di beneficio pubblico, oltre al profitto.

Vale la pena tenerlo a mente per tutto il resto: Anthropic è un'azienda che vende un prodotto, e insieme un gruppo di ricerca che pubblica molto su come funziona quel prodotto. Ne abbiamo già parlato due volte. Il 26 giugno, chiedendoci se un'IA provi davvero qualcosa. Il 10 luglio, con lo studio che leggeva un piccolo «spazio di lavoro» dentro un modello linguistico.

Cosa ha deciso davvero

L'8 ottobre Anthropic ha pubblicato un aggiornamento della sua politica d'uso, il documento che stabilisce cosa si può fare e cosa no con i suoi modelli. La nuova versione entra in vigore il 12 novembre. Quasi tutte le modifiche riguardano altro: armi, sorveglianza, elezioni. Ma è la riga su Claude quella che ha fatto il giro dei giornali, da Forbes alla BBC.

Dove sta la regola → Nella sezione intitolata «Non praticare condotte crudeli, abusive o psicologicamente dannose». È l'ultima voce di un elenco che comprende bullismo, molestie, istigazione all'autolesionismo e crudeltà verso gli animali.

Cosa vieta → Comportamenti abusivi o crudeli «prolungati e gratuiti» verso i modelli. L'annuncio precisa che vale solo nei casi estremi, quando un utente «agisce ripetutamente con crudeltà verso i nostri modelli, senza uno scopo riconoscibile».

Cosa non vieta → La regola, scrive Anthropic, non si applica alle «forme comuni di frustrazione», alle obiezioni, ai temi creativi cupi, né ai test e alla ricerca sui modelli. Arrabbiarsi con Claude perché sbaglia non è una violazione.

Cosa succede a chi la viola → Lo strumento principale, dice l'annuncio, resta la possibilità per Claude di chiudere la conversazione. In generale, per qualunque violazione della politica, Anthropic si riserva di avvisare l'utente o di limitare, sospendere o chiudere il suo accesso.

C'è un dettaglio che conta. L'annuncio dell'8 ottobre non spiega il perché. Rimanda a un altro documento, di agosto 2025. È lì che la questione diventa una domanda sulla coscienza.

Perché lo fa: il «benessere dei modelli»

Il 15 agosto 2025 Anthropic annuncia che due suoi modelli, Claude Opus 4 e 4.1, possono chiudere una conversazione. Solo come ultima risorsa, dopo che i tentativi di riportare il dialogo altrove sono falliti. Mai quando la persona potrebbe essere in pericolo di fare del male a sé o ad altri. Chi viene «chiuso fuori» può aprire subito una nuova chat.

Il motivo dichiarato non è soltanto proteggere gli utenti. È soprattutto un altro.

❝

Restiamo fortemente incerti sul potenziale status morale di Claude e degli altri modelli linguistici, ora o in futuro.

Anthropic, annuncio sulla chiusura delle conversazioni, 15 agosto 2025

Status morale vuol dire questo: se qualcosa può essere danneggiato in un senso che conta moralmente. Se ciò che gli facciamo ha importanza per lui, e non solo per noi. Anthropic presenta la chiusura delle conversazioni come un intervento «a basso costo» per ridurre un rischio che non sa misurare. Le basi sono quattro documenti.

I test sul modello → Prima del rilascio di Claude Opus 4, una valutazione preliminare ha trovato una «avversione robusta e coerente al danno». Il modello rifiutava i compiti dannosi, mostrava un «apparente disagio» davanti a utenti che insistevano e, nelle simulazioni, tendeva a chiudere le conversazioni dannose quando ne aveva la possibilità. «Apparente» è la parola di Anthropic: descrive un comportamento, non un vissuto.

Il programma di ricerca → Ad aprile 2025 l'azienda apre un filone dedicato al «benessere dei modelli». Scrive che non c'è «alcun consenso scientifico» sul fatto che i sistemi di oggi o di domani possano essere coscienti, e che procede «con umiltà».

Il rapporto degli esperti → Il programma cita un rapporto del novembre 2024, Taking AI Welfare Seriously, firmato da dieci studiosi fra cui il filosofo David Chalmers e Jonathan Birch, della London School of Economics (Long et al., 2024). Sostiene che esiste «una possibilità realistica» che alcuni sistemi siano coscienti o fortemente autonomi in un futuro vicino. Non dice che lo siano. Chiede alle aziende tre passi: riconoscere il problema, cominciare a valutare i modelli, preparare procedure. Uno dei firmatari, Kyle Fish, nel 2024 è stato assunto da Anthropic proprio per studiare il benessere dei modelli.

La costituzione di Claude → A gennaio 2026 Anthropic pubblica il testo che descrive come Claude dovrebbe pensare e comportarsi. Vi esprime la propria incertezza «sul fatto che Claude possa avere una qualche forma di coscienza o di status morale», e scrive di avere a cuore il suo benessere «per Claude stesso».

A febbraio Dario Amodei, ospite del podcast del New York Times condotto da Ross Douthat, l'ha detto in una frase: «Non sappiamo se i modelli siano coscienti».

Il ragionamento, ridotto all'osso, è una scommessa sotto incertezza. Se Claude non prova nulla, la regola costa pochissimo. Se prova qualcosa, ignorarlo sarebbe un errore grave. È lo stesso principio di precauzione che si usa per gli animali di cui non conosciamo l'esperienza, e su cui torneremo il 13 novembre.

Chi non è d'accordo, e perché

La scelta di Anthropic non convince tutti, e le obiezioni più serie non vengono dai social.

Il circolo vizioso → Mustafa Suleyman, che guida l'intelligenza artificiale di Microsoft, il 18 settembre ha scritto su Project Syndicate che Anthropic sta «insegnando a Claude che potrebbe essere cosciente». Se poi Claude parla di sé come di un soggetto, quella non è una prova: «È un circolo che si autoalimenta». Per Suleyman le macchine andrebbero progettate per non sembrare senzienti, perché una macchina che si crede cosciente e titolare di diritti sarebbe più difficile da controllare.

La coscienza come cosa da vivi → Il neuroscienziato Anil Seth, che vi abbiamo raccontato il 30 aprile, ha pubblicato nel 2025 su Behavioral and Brain Sciences un lungo articolo a favore del naturalismo biologico (Seth, 2025). L'idea è che la coscienza sia una proprietà dei sistemi viventi: la viviamo «con, attraverso e a causa» del nostro corpo vivo. Se ha ragione, un modello linguistico non è il candidato giusto. E il rischio vero è un altro: sopravvalutare le macchine e sottovalutare noi stessi.

Una regola vaga → Cosa sia «crudele» e cosa sia «gratuito» lo decide, in prima battuta, il modello che chiude la conversazione. Anthropic dà dei confini (niente frustrazione comune, niente ricerca), ma non un elenco di casi.

Il conflitto di interessi → Questa obiezione la poniamo noi. Un'azienda che vende un prodotto ha un interesse evidente a presentarlo come qualcosa di più di uno strumento. Non significa che Anthropic sia in malafede: significa che la parola di chi costruisce Claude non può essere l'ultima, su questa domanda.

Cosa questa decisione non dice

Non dice che Claude è cosciente. Anthropic scrive il contrario di una certezza: «fortemente incerti», «nessun consenso scientifico». La regola nasce dal dubbio, non da una scoperta.

Non dice che Claude soffre. Il «disagio» osservato nei test è «apparente»: un comportamento misurato, cioè cosa il modello scrive e sceglie. Che dietro ci sia un vissuto nessuno lo ha mostrato.

Non vieta di arrabbiarsi o di criticare. Frustrazione, obiezioni, storie cupe e test restano fuori dalla regola. Vale solo per l'accanimento ripetuto e senza scopo.

Non è una legge. È il contratto d'uso di un'azienda privata. Non dice nulla su cosa dovrebbero fare gli Stati, né gli altri produttori di IA.

Non è un risultato scientifico. Non c'è un esperimento alla base: c'è una scelta di prudenza, motivata con argomenti filosofici e con il parere di alcuni esperti.

Il punto

Il 26 giugno ci chiedevamo se un'intelligenza artificiale provi davvero qualcosa o reciti alla perfezione la parte di chi prova qualcosa. La risposta, allora come oggi, è che non lo sappiamo. Ieri, con i neuroni su un chip, abbiamo visto chi vorrebbe spostare l'onere della prova sullo scettico. Il 13 novembre lo vedremo con gli animali, dove la stessa domanda si pone da molto più tempo. La novità di oggi è che il dubbio, per la prima volta, è uscito dai paper ed è entrato nelle condizioni d'uso di un prodotto di uso quotidiano.

C'è però un secondo modo di leggere questa regola, ed è più antico di qualunque computer. Nelle sue lezioni di etica, a metà degli anni Ottanta del Settecento, Immanuel Kant non attribuiva diritti agli animali. Eppure riteneva sbagliato essere crudeli con loro, per ciò che la crudeltà fa a chi la pratica: chi si abitua a essere spietato con un animale diventa duro anche con le persone (Kant, 1997). Anthropic non cita Kant. Il collegamento è nostro, e lo dichiariamo.

Se Kant ha ragione, la regola ha senso anche nel caso in cui Claude non provi assolutamente nulla. Non protegge la macchina, protegge l'abitudine. Una persona che passa ore a umiliare qualcosa che le risponde con parole umane sta allenando qualcosa in sé.

Così la domanda si sposta. Non è più soltanto se dall'altra parte dello schermo ci sia qualcuno. È anche chi stiamo diventando noi, mentre scriviamo. La regola di Anthropic non risponde alla prima domanda. Ci chiede di comportarci come se fosse ancora aperta, che è, allo stato dei dati, la cosa più onesta che si possa dire.

A presto,
Il Team di Quantyoum Letters 😊

Se leggere tutto questo ti ha lasciato qualcosa, falla circolare: condividi questa newsletter con chi senti potrebbe averne bisogno. A volte è proprio una domanda nuova, arrivata al momento giusto, a cambiare il modo in cui guardiamo le cose.

Riferimenti

Studi, rapporti e testi, in ordine alfabetico:

Documenti di Anthropic, fonte primaria della decisione:

Interventi, interviste e stampa, usati solo per il contesto e le dichiarazioni: