La Commissione Europea è chiamata a valutare una proposta per la riduzione degli abusi su minori attraverso meccanismi di controllo del materiale presente sui dispositivi degli utenti. Questa iniziativa ha sollevato una serie di polemiche e di osservazioni che meritano attenzione.
Prima di esaminare la questione si ritiene importante fare alcune precisazioni: lo scopo del presente articolo non è dichiarare cosa sia giusto o sbagliato, questa tematica raggiunge un livello di complessità giuridica impressionante. È per lo più una problematica giuridica più che tecnica. Infine si raccomanda di approcciare tale tematica con neutralità mentale: le opinioni dovrebbero venire dopo un attento esame, critico ed imparziale, del testo della proposta.
Contesto di riferimento
La “Chat Control” / “Child Sexual Abuse Regulation” (CSAR) è una proposta della Commissione Europea con riferimento COM(2022)209. La proposta mira a stabilire regole vincolanti per prevenire, combattere e rimuovere il materiale relativo allo sfruttamento sessuale dei minori online (CSAM = Child Sexual Abuse Material). La base giuridica della proposta è l’articolo 114 del Trattato sul Funzionamento dell’Unione Europea (TFEU), che si usa per regolare aspetti del mercato interno. Introducendo l’obbligo per i prestatori di rilevare, segnalare, bloccare e rimuovere materiale pedopornografico dai loro servizi, la proposta consente un accertamento, un’indagine e un perseguimento migliori dei reati ai sensi della direttiva sulla lotta contro l’abuso sessuale dei minori. La legislazione integra la nuova strategia europea per un internet migliore per i ragazzi, che mira a creare esperienze digitali sicure per i minori e a promuovere il conferimento di maggiore autonomia e responsabilità digitali.
La proposta prevede, essenzialmente, che le autorità nazionali possano ordinare ai provider di servizi di comunicazione (es. app di messaggistica) di scansionare contenuti che circolano sulla loro piattaforma alla ricerca di materiale CSAM. Ciò comprende immagini, video, URL, testo. Tale scansione prevede un confronto del materiale sospetto con quello delle autorità tra cui quello alimentato e gestito dal NCMEC (National Center for Missing & Exploited Children) dell’Office of Juvenile Justice and Delinquency Prevention, Office of Justice Programs, U.S. Department of Justice. Sono impattati dalla norma i cosiddetti “servizi della società dell’informazione interessati” (art.2), ossia:
- servizio di hosting;
- servizio di comunicazione interpersonale;
- negozio di applicazioni software;
- servizio di accesso a internet;
Funzionamento tecnico
Alla base del meccanismo vi è un confronto del codice hash (hash matching) tra l’originale in possesso della CNMEC e quello individuato nei servizi usati dagli utenti. Il meccanismo di confronto del codice hash (hash matching) non è nuovo, si pensi che Google ha sviluppato delle tecniche efficaci di hash matching, anche in collaborazione con la stessa CNMEC.
Il sistema, quindi, non prevede la circolazione delle immagini incriminate tra autorità e fornitori di servizi ma opera un confronto tra l’impronta dell’immagine originariamente caricata sul sito illecito e le copie scaricate sui propri dispositivi/servizi cloud dagli utenti malintenzionati o diffuse mediante sistemi di messaggistica. Il problema che viene contestato a questa soluzione è la pervasività che il sistema potrebbe avere: potrebbe essere sviluppato a livello di singola applicazione o di intero sistema operativo.
Se si ragionasse solo a livello applicativo, i produttori di smartphone dovrebbero rimuovere tutte quelle app che si rifiutano di implementare tale motore di scansione e confronto. Se si ragionasse a livello di intero sistema operativo, la pervasività sarebbe massima: l’intero smartphone (e non solo la singola applicazione) potrebbe essere assoggettato a scansione. Da qui la principale critica alla proposta: questo meccanismo, che oggi potrebbe essere innescato per ragioni legate agli abusi su minori, domani potrebbe essere impiegato per programmi di sorveglianza di massa. La preoccupazione è quindi strettamente legata alla privacy e alla libertà degli utenti, unitamente alla trasparenza di utilizzo di un meccanismo che, di per sé non espone il materiale contenuto nello smartphone degli utenti ma solo le relative impronte. È un problema molto delicato di libertà e principi giuridici, di compressione dei diritti e di proporzionalità attuale e futura. Insomma è una problematica notevole. Dal punto di vista tecnico è plausibile che la capacità di scansione venga introdotta a livello di sistema operativo per ragioni ovvie: bisogna pensare che uno smartphone, al momento della sua vendita, possiede già applicazioni per la memorizzazione di immagini, video, testi e file audio. Nonché strumenti per la loro generazione: applicazioni di composizione testi, registrazione video, audio e cattura fotografica. Di conseguenza, concettualmente, il livello di scansione dell’intero sistema operativo avrebbe maggior senso logico ma produrrebbe una totale pervasività del sistema.
Meccanismi di confronto
Dal punto di vista tecnico in molti hanno contestato l’affidabilità della tecnica suggerita in proposta: di base basterebbe cambiare formato, ritagliare leggermente la foto, per ingannare un sistema basilare di hash matching. In effetti le foto non sarebbero uguali e un confronto produrrebbe risultati differenti. Tuttavia il sistema adottato non sarebbe basilare, esistono tecniche di analisi parziale, anche basate su modelli di intelligenza artificiale, in grado di fare una sorta di “confronto concettuale” dell’immagine.
Un esempio famoso è quello di PhotoDNA sviluppata da Microsoft nel 2019. Tale applicazione non effettua un “banale confronto” tra hash ma analizza l’immagine effettuando un confronto di più parti dell’immagine alla ricerca di una possibile corrispondenza.
Questo significa che il confronto sarebbe possibile anche in presenza di ritagli e modifiche non distruttive. La composizione dei pixel di un’immagine, infatti, è di per sé una mappa di potenziale confronto anche in presenza di piccole “anomalie”. Isolando una porzione dell’immagine (ad esempio il volto) e operando un confronto tra l’originale e la copia, sarebbe quindi possibile determinare uno o più punti di compatibilità. La NCMEC già adotta PhotoDNA in quanto Microsoft ha donato la sua tecnologia all’organizzazione.
Microsoft donated PhotoDNA to the National Center for Missing & Exploited Children (NCMEC).
Esistono meccanismi anche più complessi che, attraverso l’impiego di modelli di intelligenza artificiale, effettuano analisi di analogie più complesse: pose, illuminazione, parziale occlusione. Bisogna infatti considerare alcuni assunti di base: per quanto un malintenzionato possa ritagliare una foto, correggerne i colori, alterarne i pixel, i contenuti di principale interesse rimarranno sempre visibili in foto e su quelli l’algoritmo potrà lavorare.
Il punto di vista dei cloud service provider
La proposta motiva un aspetto rilevante che riguarda i fornitori di servizi interessati.
La presente proposta mira a eliminare gli ostacoli esistenti alla prestazione dei servizi interessati all’interno del mercato unico digitale e a prevenire l’insorgenza di ulteriori ostacoli, permettendo anche una lotta efficace contro l’abuso sessuale su minori online nel pieno rispetto dei diritti fondamentali sanciti dal diritto dell’Unione di tutti i portatori di interessi. Per conseguire questo obiettivo, la proposta introduce obblighi di valutazione e attenuazione del rischio strettamente mirati e uniformi, integrati ove necessario da ordini di rilevazione, segnalazione e rimozione di contenuti di abuso sessuale su minori. Tali obblighi si applicano ai prestatori che offrono servizi nel mercato unico digitale indipendentemente dal luogo in cui hanno lo stabilimento principale.
Ospitare materiale illecito sul proprio cloud è un illecito a tutti gli effetti e dal punto di vista dei cloud service provider rappresenta un problema di difficile gestione. Sarebbe assurdo aspettarsi un controllo manuale e individuale dei materiali memorizzati da milioni di utenti nel mondo. Assurdo sarebbe anche tollerare una totale mancanza di controllo. È chiaro quindi che sistemi come PhotoDNA possano essere d’interesse per coloro che offrono servizi cloud. Automatizzano il processo, lo rendono molto più veloce e con un indice di affidabilità ragguardevole. Nel caso di Microsoft l’integrazione con Azure permette di mantenere una maggiore sicurezza da parte di compagnie che realizzano e usano sistemi cloud poggiati su tale infrastruttura.
In 2015, Microsoft made PhotoDNA available as a service on Azure. The PhotoDNA Cloud Service enables smaller companies and other organizations that want to give users the freedom to upload content while ensuring the integrity of their platforms.
Tuttavia è bene chiarire subito un concetto: tecnicamente questi sistemi non sono infallibili. Per quanto sofisticati essi siano potrebbero fallire, soprattutto in presenza di ritaglio aggressivo, sovrapposizione significativa, modifiche geometriche, filtri pesanti, o perturbazioni mirate (adversarial noise) che possono ridurre la similarità sotto la soglia di rilevamento. Inoltre possono generare falsi positivi su immagini simili ma innocue. Questo, in particolare, sarebbe un grave problema perché sottoporrebbe un utente non illecito ad un’azione ispettiva o di controllo assolutamente senza alcun motivo.
La proposta include un paragrafo molto interessante:
Allo stesso tempo le misure contenute nella proposta ledono anzitutto l’esercizio dei diritti fondamentali degli utenti dei servizi in questione. Tali diritti comprendono in particolare i diritti fondamentali al rispetto della vita privata (compresa la riservatezza delle comunicazioni, nell’ambito del più ampio diritto al rispetto della vita privata e della vita familiare), alla protezione dei dati di carattere personale e alla libertà di espressione e d’informazione. Sebbene di grande importanza, nessuno di tali diritti è assoluto, ma va considerato alla luce della sua funzione sociale.
La Commissione Europea si rende quindi conto della caratteristica di violazione della privacy a cui la proposta si espone ma contrappone a tale rischio un razionale basato sull’interesse generale.
La proposta tende quindi a conseguire l’obiettivo di interesse generale di cui sopra e a proteggere detti diritti fondamentali dei minori, garantendo nel contempo la proporzionalità e trovando un giusto equilibrio tra i diritti fondamentali di tutte le parti coinvolte. A tal fine contiene una serie di limitazioni e garanzie, differenziate a seconda della natura e del livello della limitazione imposta all’esercizio dei diritti fondamentali in questione.
Da una parte c’è la tecnica che si propone di offrire strumenti di relativo impatto per la scansione e l’individuazione di materiale potenzialmente illecito. Dall’altra c’è il diritto che si trova davanti ad una sfida di contemperanza di non poco conto. Infine vi è il problema dei falsi positivi che indubbiamente sarebbero uno degli aspetti più difficili da gestire. Immaginando che lo strumento di analisi fallisca (perché non esistono strumenti infallibili) cosa accadrebbe alla persona ingiustamente segnalata dal sistema? Avrebbe senso introdurre sistemi di scansione che potrebbero avere un livello di precisione non adeguato? Inoltre, bisogna tenere in considerazione la consapevolezza del malintenzionato. Chi, normalmente, effettua questo tipo di azioni illecite evita di avere il materiale con sé all’interno di dispositivi e supporti “comuni”. Evita, in sostanza, di esporre tali file a sistemi di controllo e sorveglianza, attraverso l’adozione di mezzi artigianali di detenzione e di trasferimento (attraverso canali diversi rispetto a Whatsapp, Telegram o similari). I meno consapevoli sono quelli, invece, che tradiscono i meccanismi di sicurezza adottando questi strumenti e per i quali sistemi come quelli in proposta sono fin troppo eccessivi proprio perché poco accorti e inclini agli errori. Al di là degli aspetti più tecnici la proposta solleva una questione rilevante.
La valutazione d’impatto mostra che la sola disposizione di azioni volontarie contro l’abuso sessuale su minori online è insufficiente, in quanto ad aderirvi è solo un numero limitato di prestatori e le sfide incontrate nella cooperazione pubblico-privato sono notevoli non meno delle difficoltà degli Stati membri nel prevenire il fenomeno e garantire un livello adeguato di assistenza alle vittime.
Ecco quindi che, da quanto si apprende, la prevenzione oltre che il contrasto sarebbero insufficienti senza un’azione collettiva e organizzata.
Come avviene la rilevazione
Stando a quanto riportato nella proposta all’articolo 7 comma 3, qualora vi fosse comprovata l’esistenza di un rischio significativo che il servizio sia usato a fini di abuso sessuale su minori online, l’autorità coordinatrice:
- redige un progetto di richiesta di emissione di un ordine di rilevazione, in cui specifica gli elementi principali del contenuto dell’ordine che intende chiedere e i motivi della richiesta;
- presenta il progetto di richiesta al prestatore e al Centro dell’UE;
- dà al prestatore la possibilità di presentare osservazioni sul progetto di richiesta entro un termine ragionevole da quella stessa fissato;
- invita il Centro dell’UE a formulare un parere sul progetto di richiesta entro quattro settimane dalla data del suo ricevimento.
L’azione quindi si baserebbe su un comprovato rischio analizzato in un processo ipotizzato per non escludere “l’automatismo” esecutivo. Sarebbe, in sostanza, una forma di garanzia contro un principio di abuso del meccanismo d’indagine. Tuttavia è bene precisare che i successivi commi dell’articolo 7 (in particolare il comma 7) impongono controlli a prescindere dalle misure adottare dal service provider.
Con riguardo agli ordini di rilevazione per adescamento di minori, il rischio significativo di cui al paragrafo 4, primo comma, lettera a), si considera sussistere se ricorrono le condizioni seguenti:
a) il prestatore è un prestatore di servizi di comunicazione interpersonale;
b) è probabile che, nonostante le misure di attenuazione che il prestatore può aver disposto o disporrà, il servizio sia usato in misura sensibile per adescamento di minori;
c) è comprovato che il servizio, o altro servizio comparabile se quello non è ancora offerto nell’Unione alla data della richiesta di emissione di un ordine di rilevazione, è stato usato negli ultimi 12 mesi e in misura sensibile per adescamento di minori.
Conclusioni
La situazione è assolutamente complessa e delicata ed il rischio di scivolare nella polemica sterile è molto elevato; il suggerimento a valle di questo articolo è di prendersi del tempo per leggere gli 89 articoli della norma e riflettere sull’enorme sfida giuridica alla base del problema.
