Una característica de Google demostrado en su conferencia de E/S ayer, utilizando su tecnología de inteligencia artificial generativa para escanear llamadas de voz en tiempo real en busca de patrones de conversación asociados con estafas financieras, ha provocado un escalofrío colectivo en los expertos en privacidad y seguridad que advierten que la característica representa el extremo delgado de la cuña. Advierten que, una vez que el escaneo del lado del cliente se integre en la infraestructura móvil, podría marcar el comienzo de una era de censura centralizada.
La demostración de Google de la función de detección de llamadas fraudulentas, que según el gigante tecnológico se integraría en una versión futura de su sistema operativo Android (que se estima se ejecutará en unas tres cuartas partes de los teléfonos inteligentes del mundo) está impulsada por Géminis Nanoel más pequeño de su generación actual de modelos de IA destinado a ejecutarse completamente en el dispositivo.
Se trata esencialmente de un escaneo del lado del cliente: una tecnología incipiente que ha generado una gran controversia en los últimos años en relación con los esfuerzos para detectar material de abuso sexual infantil (CSAM, por sus siglas en inglés) o incluso actividades de acoso sexual en plataformas de mensajería.
Apple abandonó un plan para implementar escaneo del lado del cliente para CSAM en 2021 después de una gran reacción contra la privacidad. Sin embargo Las autoridades han seguido ejerciendo presión Depende de la industria tecnológica encontrar formas de detectar actividades ilegales que tienen lugar en sus plataformas. Por lo tanto, cualquier movimiento de la industria para construir una infraestructura de escaneo en el dispositivo podría allanar el camino para todo tipo de escaneo de contenido por defecto, ya sea dirigido por el gobierno o relacionado con una agenda comercial particular.
Respondiendo a la demostración de escaneo de llamadas de Google en un publicar en X, Meredith Whittaker, presidenta de la aplicación de mensajería cifrada Signal, con sede en Estados Unidos, advirtió: “Esto es increíblemente peligroso. Prepara el camino para el análisis centralizado del lado del cliente a nivel de dispositivo.
“De detectar ‘estafas’ hay un paso corto a ‘detectar patrones comúnmente asociados con[ith] buscando atención reproductiva” o “comúnmente asociado con w[ith] proporcionar recursos LGBTQ’ o ‘comúnmente asociado con la denuncia de irregularidades de los trabajadores tecnológicos’”.
El experto en criptografía Matthew Green, profesor de Johns Hopkins, también llevó a X para dar la alarma. “En el futuro, los modelos de IA realizarán inferencias en sus mensajes de texto y llamadas de voz para detectar e informar comportamientos ilícitos”, advirtió. “Para que sus datos pasen a través de proveedores de servicios, deberá adjuntar una prueba de conocimiento cero de que se realizó el escaneo. Esto bloqueará a los clientes abiertos”.
Green sugirió que este futuro distópico de censura por defecto está a sólo unos años de ser técnicamente posible. “Estamos un poco lejos de que esta tecnología sea lo suficientemente eficiente como para realizarla, pero sólo unos pocos años. Una década como máximo”, sugirió.
Los expertos europeos en privacidad y seguridad también se apresuraron a objetar.
Reaccionando a la demostración de Google en X, Lukasz Olejnik, investigador y consultor independiente con sede en Polonia sobre cuestiones de privacidad y seguridad, acogió con satisfacción la función antiestafa de la empresa, pero advirtió que la infraestructura podría reutilizarse para la vigilancia social. “[T]Esto también significa que ya se han desarrollado o se están desarrollando capacidades técnicas para monitorear llamadas, creación, redacción de textos o documentos, por ejemplo en busca de contenido ilegal, dañino, odioso o de otro modo indeseable o inicuo, con respecto a los estándares de alguien”. el escribio.
“Más aún, un modelo de este tipo podría, por ejemplo, mostrar una advertencia. O bloquear la posibilidad de continuar”, continuó con énfasis Olejnik. “O informarlo en alguna parte. Modulación tecnológica del comportamiento social, o similares. Se trata de una gran amenaza para la privacidad, pero también para una serie de valores y libertades básicos. Las capacidades ya están ahí”.
Para profundizar aún más sus preocupaciones, Olejnik dijo a TechCrunch: “No he visto los detalles técnicos, pero Google asegura que la detección se realizará en el dispositivo. Esto es excelente para la privacidad del usuario. Sin embargo, hay mucho más en juego que la privacidad. Esto pone de relieve cómo las IA/LLM integradas en el software y los sistemas operativos pueden utilizarse para detectar o controlar diversas formas de actividad humana.
Esto pone de relieve cómo las IA/LLM integradas en el software y los sistemas operativos pueden utilizarse para detectar o controlar diversas formas de actividad humana.
Lukasz Olejnik
“Por ahora, afortunadamente todo es para mejor. Pero, ¿qué nos espera si la capacidad técnica existe y está integrada? Características tan poderosas señalan posibles riesgos futuros relacionados con la capacidad de utilizar la IA para controlar el comportamiento de las sociedades a escala o de forma selectiva. Esta es probablemente una de las capacidades de tecnología de la información más peligrosas jamás desarrolladas. Y nos estamos acercando a ese punto. ¿Cómo gobernamos esto? ¿Vamos demasiado lejos?
Michael Veale, profesor asociado de derecho tecnológico en la UCL, también planteó el escalofriante espectro del funcionamiento lento que fluye de la IA de escaneo de conversaciones de Google: advertencia en una reacción. publicar en X que “establece una infraestructura para el escaneo del lado del cliente en el dispositivo para más propósitos que este, de los cuales los reguladores y legisladores desearán abusar”.
Los expertos en privacidad en Europa tienen motivos especiales de preocupación: la Unión Europea ha tenido sobre la mesa una controvertida propuesta legislativa sobre escaneo de mensajes. desde 2022que críticos – incluido el propio Supervisor de Protección de Datos del bloque — warn representa un punto de inflexión para los derechos democráticos en la región, ya que obligaría a las plataformas a escanear mensajes privados de forma predeterminada.
Si bien la propuesta legislativa actual afirma ser independiente de la tecnología, se espera ampliamente que dicha ley conduzca a que las plataformas implementen escaneo del lado del cliente para poder responder a la llamada “orden de detección” que exige que detecten tanto lo conocido como lo desconocido. CSAM y también recoge la actividad de aseo en tiempo real.
A principios de este mescientos de expertos en privacidad y seguridad escribieron una carta abierta advirtiendo que el plan podría generar millones de falsos positivos por día, ya que las tecnologías de escaneo del lado del cliente que probablemente implementarán las plataformas en respuesta a una orden legal no están probadas y son profundamente defectuosas. y vulnerable a los ataques.
Se contactó a Google para que respondiera a las preocupaciones de que su IA de escaneo de conversaciones pudiera erosionar la privacidad de las personas, pero al momento de esta publicación no había respondido.
