Cuando la abuela de Jake Moffatt murió en 2022, reservó una vuelo a su funeral en Air Canada, con la esperanza de aprovechar sus descuentos en viajes por duelo.
El chatbot de atención al cliente de Air Canada le dijo a Moffatt que podía solicitar el descuento después del vuelo. Sin embargo, la compañía luego rechazó su solicitud de descuento porque le dijeron que debía presentarla antes del vuelo.
En febrero, el Tribunal de Resolución Civil de Canadá, una plataforma en línea para resolver disputas, dictaminó que el chatbot de Air Canada había engañado a Moffatt y ordenó a la aerolínea que lo compensara por el descuento.
El chatbot que engañó a Moffatt con información falsa es un ejemplo de “botshit”, que describe información incorrecta o inventada producida por robots conversacionales que los humanos usan para completar tareas.
Los investigadores Ian P. McCarthy, Timothy R. Hannigan y André Spicer acuñaron el término en un artículo publicado en enero y el 17 de julio. Artículo de Harvard Business Review.
Botshit es un ejemplo de cómo el uso de IA podría empeorar la situación de las empresas. Servicio al cliente. A medida que las empresas emplean IA generativaLos investigadores dijeron que los empleados deben ser más críticos en la gestión de las respuestas generadas por los chatbots.
La IA llegó para quedarse, pero los chatbots siguen arrojando basura
El uso de generativo IA en el lugar de trabajo El desempleo casi se ha duplicado en los últimos seis meses, según una encuesta a 31.000 trabajadores de todo el mundo realizada entre febrero y marzo por la firma de investigación Edelman Data and Intelligence. Los resultados fueron publicados el 8 de mayo por Microsoft y LinkedIn.
Es más, el 79% de los líderes empresariales afirmaron que sus empresas deben adoptar IA para seguir siendo competitivas.
Según el economista Dan Davies, las empresas emplear tecnología como la IA y los chatbots para agilizar la toma de decisiones y optimizar la eficiencia. Durante la última década, Los chatbots han proliferado como una función de servicio al cliente para las empresas.
Sin embargo, eso También puede conducir a situaciones en las que ningún empleado es responsable de un error en el algoritmo.
Por ejemplo, Investigadores En 2023, se descubrió que aproximadamente el 75 % de las respuestas de ChatGPT a preguntas relacionadas con medicamentos solían ser inexactas o incompletas. Además, cuando se le preguntaba, ChatGPT generaba citas falsas para respaldar algunas de sus respuestas inexactas.
En enero, una empresa de paquetería del Reino Unido remoto su nuevo chatbot de servicio al cliente con inteligencia artificial después de insultar a un cliente.
Y cuando Google Desplegado A principios de este año, su chatbot de inteligencia artificial Gemini produjo datos históricamente inexactos. imágenes de personas de colorLa empresa hizo una pausa y luego relanzó la herramienta de generación de imágenes del chatbot después de… reacción pública.
En febrero memorándum A los empleados, el director ejecutivo de Google, Sundar Pichai, les dijo que las respuestas del chatbot eran “inaceptables” y que la empresa “se había equivocado” al intentar utilizar la nueva IA.
McCarthy, Hannigan y Spicer escribieron en el artículo del 17 de julio que las empresas que utilizan descuidadamente la información generada por IA ponen en peligro la experiencia y la reputación de sus clientes, llegando incluso al riesgo de responsabilidad legal.
“Los gerentes y las organizaciones están comenzando a ver una gama cada vez mayor de nuevos riesgos basados en las expectativas y estándares profesionales en torno a la precisión de la información”, escribieron los investigadores.
Aún así, escribieron que creen que la IA ofrece oportunidades para aplicaciones útiles “siempre que los riesgos epistémicos relacionados también se comprendan y mitiguen”.
El black boxing y los riesgos del uso de la IA
El mayor desafío asociado con el uso de chatbots de IA para el servicio al cliente es la “caja negra”, en la que se vuelve difícil discernir por qué una tecnología de IA opera de una determinada manera, según los investigadores.
McCarthy, Hannigan y Spicer escribieron que los chatbots de servicio al cliente con inteligencia artificial se pueden mejorar a través de pautas, límites y restricciones más rigurosas y específicas en el rango disponible de vocabulario y temas de respuesta.
Sin embargo, los investigadores argumentaron que el servicio al cliente es el uso menos riesgoso de la IA para las empresas.
El uso de chatbots de IA para tareas como procedimientos de seguridad en la atención médica, presupuestos financieros complicados o juicios legales son casos en los que es más esencial que la IA sea precisa, pero es más difícil verificarla en tiempo real, según los investigadores.
En 2023, un bufete de abogados de Nueva York fue multado con $5,000 después de que los abogados presentaron un escrito judicial que contenía referencias falsas producido por ChatGPT.
Si bien los chatbots de IA generales como ChatGPT son más susceptibles a los bots, los chatbots específicos de la práctica que usan recuperación de generación aumentadauna tecnología que mejora la precisión de la IA, son más prometedoras, según los investigadores.
Los investigadores dijeron que una verificación y calibración rigurosa de los resultados de la IA a lo largo del tiempo, incluida la verificación experta de sus respuestas, puede mitigar los riesgos.
“Los chatbots y otras herramientas que se basan en la IA generativa tienen un gran potencial para mejorar significativamente muchos procesos de trabajo”, escribieron los investigadores. “Como cualquier nueva tecnología importante, también conllevan riesgos. Sin embargo, con una gestión cuidadosa, estos riesgos se pueden contener y, al mismo tiempo, aprovechar los beneficios”.
