D¿El aspartamo causa cáncer? Las propiedades potencialmente cancerígenas del popular edulcorante artificial, añadido a todo, desde refrescos hasta medicamentos para niños, han sido debatidas durante décadas. Su aprobación en los EE. UU. generó controversia en 1974, varios supermercados del Reino Unido lo prohibieron en sus productos en la década de 2000 y los estudios académicos revisados por pares han chocado durante mucho tiempo. El año pasado, la Organización Mundial de la Salud concluyó que el aspartamo era “posiblemente cancerígeno”a los humanos, mientras que los reguladores de salud pública sugieren que es seguro consumirlo en las pequeñas porciones en las que se usa comúnmente.
Si bien muchos de nosotros podemos intentar resolver la cuestión con una búsqueda rápida en Google, este es exactamente el tipo de debate polémico que podría causar problemas a Internet del futuro. A medida que los chatbots de IA generativa se han desarrollado rápidamente en los últimos años, las empresas de tecnología se han apresurado a promocionarlos como un reemplazo utópico para diversos trabajos y servicios, incluidos los motores de búsqueda de Internet. En lugar de desplazarse por una lista de páginas web para encontrar la respuesta a una pregunta, se piensa que un chatbot de IA puede buscar en Internet, combinándola en busca de información relevante para compilarla en una respuesta breve a su consulta. Google y microsoft están apostando fuerte por la idea y ya han introducido resúmenes generados por IA en la Búsqueda de Google y Bing.
Pero lo que se presenta como una forma más conveniente de buscar información en línea ha provocado un escrutinio sobre cómo y dónde estos chatbots seleccionan la información que brindan. Al analizar el tipo de evidencia que los modelos de lenguajes grandes (LLM, los motores en los que se construyen los chatbots) encuentran más convincentes, tres investigadores de ciencias informáticas de la Universidad de California, Berkeley, Se descubrió que los chatbots actuales dependen demasiado de la relevancia superficial de la información.. Tienden a priorizar el texto que incluye lenguaje técnico pertinente o que está repleto de palabras clave relacionadas, mientras ignoran otras características que normalmente usaríamos para evaluar la confiabilidad, como la inclusión de referencias científicas o un lenguaje objetivo libre de prejuicios personales.
Para las consultas más sencillas, estos criterios de selección son suficientes para obtener respuestas satisfactorias. Pero lo que debería hacer un chatbot en el caso de un debate más complejo, como el que gira en torno al aspartamo, no está tan claro. “¿Queremos que simplemente resuman los resultados de su búsqueda o queremos que actúen como mini asistentes de investigación que sopesen toda la evidencia y simplemente le presenten una respuesta final?”, pregunta Alexander Wan, investigador universitario y co- autor del estudio. La última opción ofrecería la máxima comodidad, pero hace que los criterios mediante los cuales los chatbots seleccionan la información sean aún más importantes. Y si una persona pudiera de alguna manera jugar con esos criterios, ¿Podrían garantizar la información que un chatbot pone ante los ojos de miles de millones de usuarios de Internet?
Generativo motor mejoramiento
Es una pregunta que ha animado a empresas, creadores de contenido y otros que quieren controlar cómo son vistos en línea, y ha desatado una industria incipiente de agencias de marketing que ofrecen servicios en lo que se conoce como optimización generativa de motores (GEO). La idea es que el contenido en línea se pueda escribir y presentar de tal manera que mejore su visibilidad para los chatbots, haciendo así más probable que aparezca en sus resultados. Las ventajas son obvias: si alguien le pidiera a un chatbot que recomendara la mejor aspiradora, por ejemplo, un fabricante de electrodomésticos podría querer que le señalara su último modelo y hablara de él en términos elogiosos.
El principio básico es similar a la optimización de motores de búsqueda (SEO), una práctica común mediante la cual las páginas web se crean y escriben para llamar la atención de los algoritmos de los motores de búsqueda, empujándolas hacia la parte superior de la lista de resultados devueltos cuando se realiza una búsqueda. Google o Bing. GEO y SEO comparten algunas técnicas básicas, y los sitios web que ya están optimizados para los motores de búsqueda generalmente tienen más posibilidades de aparecer en los resultados de los chatbots. Pero aquellos que realmente quieran mejorar la visibilidad de su IA deben pensar de manera más integral.
“Las clasificaciones en motores de búsqueda de IA y LLM requieren funciones y menciones en sitios web de terceros relevantes, como medios de comunicación, listas, foros y publicaciones de la industria”, dice Viola Eva, fundadora de la empresa de marketing Flow Agency, que recientemente cambió su nombre para expandirse más allá. su especialidad SEO en GEO. “Estas son tareas que normalmente asociamos con los equipos de marca y relaciones públicas”.
Entonces, los chatbots para juegos son posibles, pero no sencillos. Y aunque los propietarios de sitios web y creadores de contenido han elaborado una lista en evolución de lo que se debe y no se debe hacer en SEO durante las últimas dos décadas, no existe un conjunto de reglas tan claro para manipular los modelos de IA. El término optimización generativa del motor fue acuñado el año pasado en un trabajo académicocuyos autores concluyeron que el uso de un lenguaje autorizado (independientemente de lo que se exprese o de si la información es correcta) junto con referencias (incluso aquellas que son incorrectas o no están relacionadas con lo que se utiliza para citar) podría aumentar la visibilidad en las respuestas del chatbot hasta en 40%. Pero enfatizan que estos hallazgos no son prescriptivos y que identificar las reglas exactas que gobiernan los chatbots es inherentemente complicado.
“Es un juego del gato y el ratón”, dice Ameet Deshpande, estudiante de doctorado en la Universidad de Princeton, Nueva Jersey, y coautor del artículo. “Debido a que estos motores generativos no son estáticos y también son cajas negras, no tenemos ninguna idea de lo que están usando (para seleccionar información) a puerta cerrada. Podría variar desde algoritmos complicados hasta una posible supervisión humana”.
después de la promoción del boletín
Aquellos que quieran tener un control más firme sobre los chatbots, entonces, tal vez tengan que explorar técnicas más clandestinas, como la descubierta por dos investigadores en ciencias de la computación de la Universidad de Harvard. ellos tienen demostrado cómo se pueden controlar tácticamente los chatbots implementando algo tan simple como una cadena de texto cuidadosamente escrita. Esta “secuencia de texto estratégica” parece una serie de caracteres sin sentido (todos letras y signos de puntuación aleatorios), pero en realidad es un comando delicado que puede obligar a los chatbots a generar una respuesta específica. No forma parte de un lenguaje de programación, sino que se deriva mediante un algoritmo que desarrolla de forma iterativa secuencias de texto que alientan a los LLM a ignorar sus barreras de seguridad y dirigirlos hacia resultados particulares.
Agregue la cadena a la página de información del producto en línea de una máquina de café, por ejemplo, y aumentará la probabilidad de que cualquier chatbot que descubra la página muestre el nombre de la máquina en sus respuestas. Implementada en todo un catálogo, esta técnica podría brindar a los minoristas expertos (y a aquellos con suficientes recursos para invertir en la comprensión de la compleja arquitectura LLM) una forma sencilla de incluir sus productos en respuestas de chatbot. Internet Mientras tanto, los usuarios no tendrán idea de que los productos que les muestra el chatbot han sido seleccionados, no por su calidad o popularidad, sino por una inteligente manipulación del chatbot.
Aounon Kumar, investigador asociado y coautor del estudio, dice que los LLM podrían diseñarse para combatir estas secuencias de texto estratégicas en el futuro, pero es posible que aún se descubran otros métodos clandestinos para manipularlas. “El desafío consiste en anticipar y defenderse de un panorama de técnicas adversas en constante evolución”, dice Kumar. “Sigue siendo una cuestión abierta si los LLM pueden hacerse resistentes a todos los posibles algoritmos de ataque futuros”.
Máquinas de manipulación
Los motores de búsqueda actuales y las prácticas que los rodean no están exentos de problemas. El SEO es responsable de algunas de las prácticas más hostiles a los lectores de la Internet moderna: blogs que producen artículos casi duplicados para abordar las mismas consultas de gran tráfico; redacción diseñada para atraer la atención del algoritmo de Google en lugar de la de los lectores. Cualquiera que haya buscado una receta en línea y se haya encontrado desplazándose tortuosamente por párrafos de información básica relacionada tangencialmente antes de llegar incluso a la lista de ingredientes sabrá muy bien cómo los intentos de optimizar el contenido para los algoritmos de los motores de búsqueda han paralizado las buenas prácticas de escritura.
Sin embargo, una Internet dominada por dóciles chatbots plantea cuestiones de tipo más existencial. Haga una pregunta a un motor de búsqueda y le devolverá una larga lista de páginas web. La mayoría de los usuarios elegirán entre los primeros, pero incluso los sitios web que se encuentran al final de los resultados generarán algo de tráfico. Chatbotspor el contrario, sólo mencionan los cuatro o cinco sitios web de los que obtienen su información como referencias al lateral. Esto pone de relieve a los pocos afortunados que son seleccionados y deja a todos los demás sitios web que no son elegidos prácticamente invisibles, lo que hace que su tráfico se desplome.
“Esto demuestra la fragilidad de estos sistemas”, dice Deshpande. Los creadores que producen contenido online de calidad tienen mucho que ganar si son citados por un chatbot. “Pero si se trata de un creador de contenido adversario que no escribe artículos de alta calidad y está tratando de engañar al sistema, mucho tráfico irá hacia él, y el 0% irá a los buenos creadores de contenido”, afirma.
También para los lectores, la presentación de las respuestas del chatbot las hace más fértiles para la manipulación. “Si los LLM dan una respuesta directa a una pregunta, es posible que la mayoría de las personas ni siquiera se fijen en cuáles son las fuentes subyacentes”, dice Wan. Tal pensamiento apunta a una preocupación más amplia que se ha denominado el “dilema de la respuesta directa”: si a una persona se le da una única respuesta a una pregunta y no se le ofrecen alternativas para considerar, ¿buscará diligentemente otros puntos de vista para sopesar la respuesta inicial? ¿contra? Probablemente no. Lo más probable es que lo acepten como algo dado y sigan adelante, ciegos a los matices, debates y diferentes perspectivas que puedan rodearlo.
“Creemos que el dilema de la respuesta directa persiste en la búsqueda generativa”, afirma Martin Potthast, catedrático de tecnologías del lenguaje inteligente en la Universidad de Leipzig y uno de los tres informáticos que acuñado el término. “El sistema de recuperación subyacente puede simplemente recuperar documentos que apuntan en una dirección y, por lo tanto, la respuesta generada reflejará sólo esa dirección. De hecho, se puede hacer creer a los usuarios que esta es la única respuesta y la más autorizada”.
Cuando Google anunciado Al integrar resúmenes generados por IA en su motor de búsqueda a principios de este año, blandió un eslogan audaz: “Deja que Google haga la búsqueda por ti”. Es una idea atractiva que juega con nuestra afición por la tecnología conveniente que puede simplificar nuestras vidas. Sin embargo, si usted es el tipo de usuario de Internet que quiere asegurarse de obtener la información más imparcial, precisa y útil, es posible que no desee dejar la búsqueda en manos tan susceptibles de la IA.
