Tu fuente confiable para contextualizar las noticias. Suscríbete a nuestro boletín diario.
En marzo, la startup de tecnología sanitaria HeHealth Debutó Calmara AIuna aplicación que proclama ser “tu mejor amiga de la intimidad para tener sexo más seguro”. La aplicación estaba muy promocionada para las mujeres, a quienes se les decía que podían subir una foto del pene de su pareja para que Calmara la escaneara en busca de evidencia de una infección de transmisión sexual (ITS). Los usuarios obtendrían Un veredicto cargado de emojis que dice “¡Despejado!” o “¡Espera!” —con una advertencia que decía que el pene en cuestión no estaba necesariamente libre de todas las ETS.
La reacción de Ella Dawson, crítica de sexo y cultura, cuando vio por primera vez que Calmara AI afirmaba que proporcionaba “escáneres impulsados por IA (que) le brindan respuestas claras y respaldadas por la ciencia sobre el estado de salud sexual de su pareja” se puede resumir fácilmente: “¡Qué sorpresa!”. Ella dio la voz de alarma en las redes sociales, expresando sus preocupaciones sobre la privacidad y la precisión. La atención provocó un diluvio de prensa negativa y Una investigación del diario Los Angeles Times.
La Comisión Federal de Comercio también estaba preocupada. La agencia notificó a HeHealthla empresa matriz de Calmara AI, que estaba abriendo una investigación sobre posibles reclamos publicitarios fraudulentos y problemas de privacidad. En cuestión de días, HeHealth retiró sus aplicaciones del mercado.
El director ejecutivo de HeHealth, Yudara Kularathne, enfatizó que la FTC no encontró ninguna irregularidad y dijo que no se impusieron sanciones. “La aplicación para consumidores HeHealth estaba sufriendo pérdidas significativas, por lo que decidimos cerrarla para centrarnos en la rentabilidad como startup”, escribió por correo electrónico, diciendo que la empresa ahora está centrada en proyectos de empresa a empresa con gobiernos y ONG, principalmente fuera de los Estados Unidos.
Más y más Las aplicaciones de salud sexual basadas en inteligencia artificial han ido apareciendo y no parece que vayan a detenerse. Algunas de las nuevas aplicaciones orientadas al consumidor están dirigidas a mujeres y personas queer, que suelen tener dificultades para obtener una atención sensible a la cultura y con perspectiva de género. Los inversores de riesgo y los financiadores ven oportunidades en las poblaciones desatendidas, pero pueden priorizar el crecimiento por sobre la privacidad y la seguridad.
El 19 de junio, los educadores en salud sexual y los investigadores en ciencias de la computación hablaron sobre la mejor manera de evaluar las afirmaciones sobre la IA, especialmente cuando se trata de aplicaciones sanitarias sensibles. Señalaron tres áreas principales: marketing, afirmaciones médicas y políticas de privacidad.
La tecnología sanitaria ha experimentado un auge desde el inicio de la pandemia de COVID-19, cuando se relajaron las leyes de telesalud para permitir la atención remota. Algunas empresas aprovecharon esa oportunidad para innovar, dijo Dawson, pero algunas resultaron ser apropiaciones lucrativas que no priorizan las preocupaciones sobre la privacidad como lo hacen los médicos reales.
La salud sexual es un tema que pocas personas dominan y existe un gran estigma social en torno a las ETS. Las personas que buscan hacerse pruebas de ETS son “una población vulnerable y desatendida que a menudo se encuentra en un estado emocional y no puede tomar decisiones claras”, dijo Dawson.
Los servicios que sustituyen la interacción humana por el aprendizaje automático son atractivos porque permiten a las personas ocuparse de sus preocupaciones en la privacidad de sus propios hogares, dijo Dawson. Las personas, especialmente los jóvenes, pueden no querer hablar con alguien, incluso un médico, debido a la vergüenza de una posible exposición a una ETS. “Y esa es una dinámica muy peligrosa para las empresas emergentes que ven una oportunidad”, dijo.
Dylan Baker, ingeniero principal de investigación del Distributed AI Institute, aborda las afirmaciones sobre la “inteligencia artificial” (que en la mayoría de los casos se denomina con más precisión sistemas de aprendizaje automático) con escepticismo.
En el ámbito médico, los médicos y los investigadores han utilizado el aprendizaje automático durante mucho tiempo, afirmó Baker. Por ejemplo, un estudio de 2012 publicado en el American Journal of Roentgenology Demostró cómo los sistemas automatizados de detención de imágenes podrían ayudar a los radiólogos. Diagnosticar nódulos pulmonares de manera más eficiente. Pero esas aplicaciones funcionan porque el personal médico está capacitado en todos los matices de los modelos con los que trabaja y conoce los límites de la computación. Ese conocimiento no se extiende a los pacientes.
Una de las primeras cosas que hay que tener en cuenta es si una aplicación de inteligencia artificial puede realmente hacer lo que promete. Los expertos advierten que hay que tener cuidado con las tecnologías que simplifican demasiado el problema. Por ejemplo, muchas ETS son asintomáticas y solo se pueden confirmar mediante pruebas de laboratorio.
La salud sexual, en particular, requiere conocimientos especializados de los que carecen incluso muchos médicos, afirmó Emily L. Depasse, terapeuta sexual y educadora sexual. La IA suele promocionarse como más inteligente que los humanos, pero ese no es necesariamente el caso, afirmó Baker. Cualquier aplicación que prometa resultados claros es algo de lo que hay que sospechar.
Por eso es importante identificar con qué conocimiento se ha entrenado el modelo de aprendizaje automático que alimenta una aplicación. Muchas empresas tienen artículos de investigación disponibles en sus sitios web que detallan el modelo que están utilizando. “Debes asegurarte de que los datos con los que se entrena tu modelo coincidan con tu caso de uso de la manera más eficaz posible”, dijo Baker. Si los desarrolladores de aplicaciones no utilizan imágenes reales con una variedad de condiciones de iluminación, ángulos y tonos de piel para entrenar su modelo, esto puede generar resultados inexactos.
Los datos de entrenamiento son uno de los aspectos por los que se criticó a HeHealth. Además de entrenar su modelo con fotografías reales de penes con ETS, los ingenieros Lo entrené con imágenes fabricadas creado al superponer imágenes de infecciones sobre imágenes de penes sanos.
Las empresas que comercializan productos de IA deberían auditar sus modelos para detectar posibles sesgos, porque “la relación entre los datos de entrenamiento en sí y el sesgo en los resultados no siempre es completamente clara”, afirmó Baker. Lo ideal sería que esta información estuviera disponible en el sitio web de la empresa o en artículos de investigación vinculados, para que los clientes potenciales pudieran consultarla.
Los límites de una aplicación deben comunicarse claramente en sus instrucciones. La inclusión de género puede ser un problema en las aplicaciones de salud, dijo Maggie Delano, profesora de ingeniería en Swarthmore College. Por ejemplo, Delano ha realizado una investigación sobre una aplicación de seguimiento de peso que pide a los usuarios que elijan un género binario. Puede parecer una elección pequeña, pero esa información se utiliza para calcular el porcentaje de grasa corporal.
Si una aplicación tiene múltiples entradas, Delano recomienda que las personas trans prueben distintas opciones y elijan la que funcione mejor para su cuerpo. “Una de las cosas que me encantaría ver, y que nunca he visto, es un debate real sobre: ‘Oye, si eres trans, este es el valor que debes usar cuando ingresas datos en este algoritmo’”, dijo.
Delano también citó el adagio de que si no estás pagando por un producto, eso generalmente significa que eres el producto, en forma de datos personales en venta o que su atención se utilice para anuncios. Por eso también es importante analizar a fondo la política de privacidad de cualquier aplicación, ya que muchos modelos de IA se entrenan con la información del usuario. Debe haber información clara sobre cómo la empresa almacena y utiliza la información de salud personal después de interactuar con su producto.
Aplicaciones para la salud del consumidor No están necesariamente cubiertos por HIPAAla ley de privacidad de la salud más famosa que generalmente se aplica a las entidades de atención médica, pero existen Muchas regulaciones superpuestas que podrían aplicarse. La FTC recomienda Revisar qué información se recopilará y cómo la compartirá la aplicación..
Intente identificar en los términos de la aplicación qué recurso existe si la empresa rompe las promesas de privacidad, dijo Baker.
Las afirmaciones de marketing pueden ser fanfarronas y, en algunos casos, contrarias a la ley. La Administración de Alimentos y Medicamentos de Estados Unidos regula los dispositivos médicos, por lo que es importante comprobar si una determinada aplicación cuenta con la aprobación de la agencia. Dawson dijo que esta información suele estar al final de una página web y puede incluir una exención de responsabilidad sobre que el servicio no ofrece diagnóstico. Si es así, es importante ver si el marketing lo refleja. Muchos anuncios intentan antropomorfizar la IA, dijo Baker, haciendo que parezca que podría reemplazar a un médico capacitado cuando ese no es el caso.
La salud sexual es algo serio, afirmó Depasse, y ella personalmente desconfía de cualquier lenguaje infantilizador en los textos de marketing. El uso de eufemismos o lenguaje cursi (como “seggs” en lugar de “sex” para eludir los filtros de las redes sociales) refuerza el estigma y puede encubrir una falta de conocimientos sobre el tema.
Los fundadores de empresas tecnológicas deberían colaborar con profesionales de la salud sexual, obstetras y ginecólogos, educadores sexuales y personas que trabajan en el ámbito de la salud reproductiva, dijo Depasse. Dawson recomendó investigar los antecedentes de los fundadores: ¿acaban de salir de la escuela de negocios? ¿Se concentran en recaudar capital? ¿Su equipo carece de profesionales médicos? Si es así, son indicadores de que un equipo está más preocupado por las ventas que por crear un producto de salud seguro y preciso.
Los educadores e investigadores entrevistados por The 19th expresaron su decepción y enojo por cómo se comercializa la IA para personas con opciones limitadas de atención médica.
Como investigador en ética de la IA, ver aplicaciones “depredadoras” en el mercado también enfurece un poco a Baker.
“Porque sé que la gente está pasando apuros”, dijeron. “Puede ser difícil acceder a la atención médica y esto está tratando de llenar un vacío muy real”.
