Google ha marcado fotos de padres de niños enfermos como abuso sexual

Dos padres, uno en San Francisco y el otro en Houston , fueron investigados por separado por la policía bajo sospecha de abuso y explotación infantil después de que usaron teléfonos Android (propiedad de Google) para tomar fotos de los genitales de sus hijos con fines médicos. En ambos casos, aunque la policía descubrió que los padres no habían cometido ningún delito, según un informe del New York Times, Google no llegó a la misma conclusión: inhabilitó permanentemente sus cuentas en todas sus plataformas. Los incidentes muestran lo que puede salir mal con la tecnología automática de detección e informes fotográficos, y las áreas sensibles en las que las empresas tecnológicas se están metiendo cuando comienzan a confiar en ella. Sin contexto, puede ser casi imposible distinguir una imagen inocente de un abuso, incluso con la participación de evaluadores humanos. Google, como muchas empresas y plataformas en línea, utiliza PhotoDNA de Microsoft, una herramienta de detección algorítmica diseñada para identificar fotos de abuso. Según datos de la propia empresa, solo en los primeros seis meses de 2021 se identificaron 287.368 casos de presuntos abusos. Según Google, estos informes de incidentes provienen de múltiples fuentes, sin limitarse a la herramienta automatizada PhotoDNA. “Nuestros equipos en Google trabajan las 24 horas para identificar, eliminar y denunciar este contenido mediante una combinación de herramientas de detección automatizadas líderes en la industria y revisores especialmente capacitados. También recibimos informes de terceros y de nuestros usuarios, que complementan nuestro trabajo en curso», se lee en un comunicado en el sitio web de Google. Algunos defensores de la privacidad, como la fundación libertaria Electronic Frontier, han expresado su oposición a la difusión de tales tecnologías de detección. No obstante, el abuso y la explotación sexual de los niños es (con razón) un tema particularmente difícil donde la privacidad es una prioridad. Parece claro que ningún sistema de detección automatizado es perfecto, los informes falsos y la detección de abusos son inevitables y las empresas probablemente necesiten un mejor mecanismo para lidiar con ellos.

¿Qué sucedió?

Según el Times, en el caso de San Francisco, Mark (cuyo apellido se ocultó) tomó fotos de la ingle de su niño pequeño para documentar la hinchazón después de notar que su hijo estaba experimentando dolor en el área. Luego, su esposa programó una videoconsulta de emergencia con un médico para la mañana siguiente. Era febrero de 2021 y durante esta fase de la pandemia generalmente no era recomendable visitar personalmente el consultorio de un médico a menos que fuera absolutamente necesario. La enfermera pidió enviar fotos con anticipación para que el médico pudiera revisarlas con anticipación. La esposa de Mark se envió un mensaje de texto con las fotos desde el teléfono de su esposo y luego las subió desde su dispositivo al sistema de mensajería del proveedor médico. El médico le recetó antibióticos y la condición del niño mejoró. Sin embargo, dos días después de tomar las primeras fotos de su hijo, Mark recibió una notificación de que su cuenta había sido inhabilitada por «contenido dañino» que «viola gravemente las políticas de Google y puede ser ilegal», informó el Times. Apeló la decisión pero recibió una negativa. Al mismo tiempo, aunque Mark aún no lo sabía, Google también denunció las fotos a la CyberTipline del Centro Nacional para Niños Desaparecidos y Explotados, que elevó el informe a la policía. Diez meses después, Mark recibió noticias del Departamento de Policía de San Francisco de que lo estaban investigando en base a las fotos y un informe de Google. La policía había emitido órdenes de búsqueda en Google solicitando todo lo que había en la cuenta de Mark, incluidos mensajes, fotos y videos almacenados en la empresa, búsquedas web y datos de ubicación. Los investigadores concluyeron que no se había cometido ningún delito y se cerró cuando Mark se enteró de que había sucedido. Intentó usar el informe policial para apelar nuevamente a Google y recuperar su cuenta, pero su solicitud fue denegada nuevamente.

¿Cuáles fueron las consecuencias?

Si bien puede parecer un inconveniente menor en comparación con la posibilidad de abuso infantil, la pérdida de la cuenta de Google de Mark fue, según los informes, una gran molestia. Desde el momento:

No solo perdió correos electrónicos, información de contacto de amigos y antiguos colegas y documentación de los primeros años de su hijo, sino que su cuenta de Google Fi se cerró, lo que significa que tuvo que obtener un nuevo número de teléfono de otro proveedor. Sin acceso a su antiguo número de teléfono y dirección de correo electrónico, no pudo recuperar los códigos de seguridad que necesitaba para iniciar sesión en otras cuentas de Internet, lo que lo bloqueó de gran parte de su vida digital. «Cuantos más huevos tengas en una canasta, más probable es que la canasta se rompa», dijo.

En el caso muy similar en Houston, Texas, informado por el Times, un pediatra le pidió a otro padre que tomara fotos de las «áreas privadas» de su hijo para diagnosticar una infección. Estas imágenes se copiaron automáticamente en Google Photos (nota: el guardado automático en la nube no siempre es una buena idea) y el padre las envió a su esposa a través de Google Messenger. La pareja estaba en proceso de comprar una nueva casa en ese momento, y dado que las imágenes finalmente resultaron en la desactivación de la dirección de correo electrónico del padre, enfrentaron complicaciones adicionales». En un comunicado, un portavoz de Google le dijo a Gizmodo:

El material de abuso sexual infantil (CSAM, por sus siglas en inglés) es abominable y estamos comprometidos a evitar su difusión en nuestras plataformas. Seguimos la ley de EE. UU. al definir lo que constituye CSAM y usamos una combinación de tecnología de comparación de hash e inteligencia artificial para identificarlo y eliminarlo de nuestras plataformas. Además, nuestro equipo de expertos en seguridad infantil revisa el contenido marcado para verificar su precisión y consulta a los pediatras para garantizar que podamos identificar los casos en los que los usuarios pueden estar buscando asesoramiento médico. Los usuarios tienen la oportunidad de apelar cualquier decisión, nuestro equipo revisará cada apelación y recuperaremos una cuenta si se ha cometido un error.

Aunque en ambos casos parece que se cometieron errores y al parecer Google no ha recuperado las cuentas en cuestión. La compañía no respondió de inmediato a las preguntas de seguimiento de Gizmodo. Y el impacto probablemente podría haber sido peor que solo cuentas eliminadas. Es difícil «considerar cosas que son invisibles en una foto, como el comportamiento de las personas que comparten una imagen o las intenciones de la persona que la toma», Kate Klonick, abogada y profesora de derecho especializada en privacidad concentrada en St. John’s University, dijo el NYT. “Eso sería problemático si solo fuera moderación de contenido y censura”, agregó Klonick. “Pero eso es doblemente peligroso porque también da como resultado que alguien sea denunciado a las fuerzas del orden.” Y algunas empresas parecen ser muy conscientes de la complejidad y el peligro potencial que plantean las herramientas de detección automática. Apple anunció planes para su propio sistema de detección de CSAM en 2021. Sin embargo, después de la reacción violenta de los expertos en seguridad, la compañía retrasó sus planes antes de aparentemente descartarlos por completo.