Flo Crivello estaba monitoreando los resultados de los asistentes de inteligencia artificial de su empresa. Lindy hace cuando nota algo extraño. Un nuevo cliente le había pedido a su asistente de inteligencia artificial Lindy un video tutorial que la ayudara a entender mejor cómo usar la plataforma, y Lindy respondió de la misma manera. Fue entonces cuando Crivello supo que algo andaba mal. No hay videotutorial.
“Vimos esto y pensamos: ‘Bueno, ¿qué tipo de video envió?’ y luego pensamos: ‘Vaya, esto es un problema’”, dijo Crivello a TechCrunch.
El Vídeo que la IA envió al cliente Fue el video musical del éxito dance-pop de 1987 de Rick Astley, “Never Gonna Give You Up”. En términos más familiares: el cliente fue engañado por una IA.
Rickrolling es un meme de cebo y cambio que tiene más de 15 años. En un incidente que popularizó el meme, Rockstar Games lanzó el muy publicitado tráiler de “Grand Theft Auto IV” en su sitio web, pero el tráfico fue tan inmenso que el sitio colapsó. Algunas personas habían logrado descargar y publicar el video en otros sitios como YouTube, compartiendo los enlaces para que la gente pudiera ver el tráiler. Pero un usuario de 4chan decidió gastar una broma y compartir el enlace a “Never Gonna Give You Up” de Rick Astley. Diecisiete años después, la gente sigue bromeando con sus amigos compartiendo la canción de Astley en momentos inoportunos; ahora el video musical tiene más de 100 millones de seguidores. 1.5 mil millones de visitas en YouTube.
Esta broma de Internet es tan omnipresente que, inevitablemente, los grandes modelos de lenguaje como ChatGPT, que impulsa a Lindy, la detectaron.
“La forma en que funcionan estos modelos es que intentan predecir la secuencia de texto más probable que aparecerá a continuación”, dijo Crivello. “Comienza así: '¡Oh, te voy a enviar un video!'. ¿Y qué es lo más probable después de eso? YouTube.com. ¿Y qué es lo más probable después de eso?”
Crivello le dijo a TechCrunch que, de millones de respuestas, Lindy solo había enviado mensajes de error a los clientes dos veces. Aun así, era necesario corregir el error.
“Lo realmente destacable de esta nueva era de la IA es que, para parchearla, todo lo que tuve que hacer fue agregar una línea para lo que llamamos el mensaje del sistema, que es el mensaje que se incluye en cada Lindy, y es algo como, no hagan Rickroll, gente”, dijo.
El error de Lindy pone en tela de juicio qué parte de la cultura de Internet se incorporará a los modelos de IA, ya que estos modelos suelen entrenarse en grandes franjas de la web. El Rickroll accidental de Lindy es particularmente notable porque la IA reprodujo orgánicamente este comportamiento de usuario muy específico, que informó su alucinación. Pero los rastros del humor de Internet se filtran en la IA de otras maneras, algo que Google aprendió por las malas cuando Datos de Reddit con licencia Para entrenar a su IA. Como centro de contenido generado por el usuario (gran parte del cual es satírico), la IA de Google terminó diciéndole a un usuario que puede hacer que el queso se adhiera mejor a la masa de pizza agregando pegamento.
“En el caso de Google, no se trataba exactamente de inventar cosas”, dijo Crivello. “Se basaba en el contenido, simplemente el contenido era malo”.
Crivello cree que, a medida que los LLM mejoren rápidamente, no veremos tantos errores como este en el futuro. Además, Crivello dice que es más fácil que nunca solucionar estos problemas. En los primeros días de Lindy, si uno de sus asistentes de IA no podía completar la tarea que el usuario le pedía, la IA decía que estaba trabajando en ella, pero nunca entregaba el producto. (Por extraño que parezca, eso suena bastante humano).
“Nos resultó muy difícil solucionar ese problema”, dijo Crivello. “Pero cuando salió GPT-4, simplemente agregamos un mensaje que decía: 'Si el usuario te pide que hagas algo que no puedes hacer, simplemente dile que no puedes hacerlo'. Y eso lo solucionó”.
Por ahora, la buena noticia es que el cliente que fue víctima de Rickroll podría ni siquiera saberlo.
“Ni siquiera sé si el cliente lo vio”, dijo. “Le dijimos de inmediato: ‘Oye, este es el enlace correcto al video’, pero el cliente no dijo nada sobre el primer enlace”.
