Google ha rifiutato di reintegrare un uomo dopo aver confuso le foto mediche che ha scattato alla nonna di suo figlio come materiale pedopornografico (CSAM), New York Times prima menzionato. Gli esperti affermano che è un dilemma inevitabile cercare di implementare una soluzione tecnologica a un problema sociale.

Gli esperti hanno da tempo avvertito dei limiti dei sistemi di rilevamento delle immagini di abusi sessuali su minori, soprattutto perché le aziende devono far fronte a pressioni normative e pubbliche per aiutare ad affrontare la presenza di materiale di abusi sessuali.

Queste aziende hanno accesso a un’enorme quantità di dati invasivi sulla vita delle persone. “E ancora non hanno davvero il contesto della vita delle persone”, ha affermato Daniel Kahn Gilmore, capo tecnico del personale presso l’ACLU. “Ci sono tutti i tipi di cose in cui la verità della tua vita non è così ovvia per questi giganti dell’informazione.” Ha aggiunto che l’uso di questi sistemi da parte di società tecnologiche che “agiscono come agenti” delle forze dell’ordine mette le persone a rischio di essere “sopraffatte” dal “potere statale”.

L’uomo, identificato solo dal New York Times come Mark, ha scattato delle foto all’inguine del figlio da inviare al medico dopo aver realizzato che era infiammato. Il dottore ha usato quella foto per diagnosticare il figlio di Mark e prescrivere antibiotici. Quando le immagini sono state caricate automaticamente sul cloud, il sistema di Google le ha identificate come CSAM. Due giorni dopo, Mark’s Gmail e altri Il Google Gli account, incluso Google Fi, che fornisce il suo servizio telefonico, sono stati disabilitati a causa di “contenuti dannosi” che erano “una flagrante violazione delle politiche aziendali e potenzialmente illegali”, ha riferito il Times, citando un messaggio sul suo telefono. In seguito ha scoperto che Google aveva segnalato un altro video che aveva sul suo telefono e che il dipartimento di polizia di San Francisco aveva aperto un’indagine.

Mark è stato scagionato da qualsiasi illecito penale, ma Google ha affermato che si atterrà alla sua decisione.

“Rispettiamo la legge statunitense nell’identificazione dei componenti CSAM e utilizziamo una combinazione di tecnologia di abbinamento hash e intelligenza artificiale per identificarli e rimuoverli dalle nostre piattaforme”, ha affermato Krista Muldoon, portavoce di Google.

Muldoon ha aggiunto che i googler che esaminano CSAM sono stati addestrati da esperti medici a cercare eruzioni cutanee o altri problemi. Ha detto che, tuttavia, non erano esperti medici e nessun esperto medico è stato consultato durante la revisione di ciascun caso.

Questo è solo un modo in cui questi sistemi possono causare danni, secondo Gilmore. Per affrontare, ad esempio, eventuali limitazioni che gli algoritmi possono imporre nel distinguere tra immagini di aggressioni sessuali dannose e immagini mediche, le aziende spesso hanno un essere umano nel giro. Ma quegli stessi esseri umani sono intrinsecamente limitati nella loro esperienza e ottenere il giusto contesto per ogni caso richiede un maggiore accesso ai dati degli utenti. Era un processo più invasivo e potrebbe ancora essere un metodo inefficace per rilevare CSAM, ha detto Gilmore.

“Questi sistemi possono causare problemi reali alle persone”, ha affermato. “E non è solo che non penso che questi sistemi siano in grado di rilevare ogni caso di abuso di minori, ma hanno conseguenze davvero terribili in termini di falsi positivi per le persone. Le vite delle persone possono davvero essere sconvolte dalle macchine e dagli esseri umani nel circuito prendere una decisione. Cattivo semplicemente perché non hanno motivo di provare a risolverlo. “

Gilmore ha sostenuto che la tecnologia non era la risposta a questo problema. In effetti, ha affermato, potrebbe portare a molti nuovi problemi, inclusa la creazione di un potente sistema di sorveglianza che potrebbe danneggiare in modo sproporzionato coloro che sono ai margini.

“C’è il sogno di una sorta di soluzione tecnica, [where people say]”Oh, beh, sai, c’è un’app per me per trovare pranzi economici, perché non c’è un’app per trovare una soluzione a un problema sociale spinoso, come la pedofilia?” “Beh, sai, potrebbe non essere risolvibile con lo stesso tipo di tecnologia o set di abilità.”