OpenAI ha creado una herramienta que podría potencialmente atrapar a los estudiantes que hacen trampa al pedirle a ChatGPT que escriba sus tareas, pero Según el Wall Street JournalLa compañía está debatiendo si realmente lanzarlo.
En una declaración proporcionada a TechCrunch, un portavoz de OpenAI confirmó que la compañía está investigando el método de marca de agua de texto descrito en la historia del Journal, pero dijo que está adoptando un “enfoque deliberado” debido a “las complejidades involucradas y su probable impacto en el ecosistema más amplio más allá de OpenAI”.
“El método de marca de agua de texto que estamos desarrollando es técnicamente prometedor, pero tiene riesgos importantes que estamos sopesando mientras investigamos alternativas, incluida la susceptibilidad a la evasión por parte de malos actores y el potencial de afectar desproporcionadamente a grupos como los que no hablan inglés”, dijo el portavoz.
Este sería un enfoque diferente de la mayoría de los esfuerzos anteriores para detectar texto generado por IA, que han sido en gran medida ineficacesIncluso el propio OpenAI apagó su detector de texto de IA anterior el año pasado debido a su “baja tasa de precisión”.
Con la marca de agua en el texto, OpenAI se centraría únicamente en detectar textos de ChatGPT, no de modelos de otras empresas. Lo haría haciendo pequeños cambios en la forma en que ChatGPT selecciona palabras, creando básicamente una marca de agua invisible en el texto que luego podría ser detectada por una herramienta independiente.
Tras la publicación del artículo de la revista, OpenAI también actualizó Una entrada de blog de mayo sobre su investigación en torno a la detección de contenido generado por IA. La actualización dice que las marcas de agua de texto han demostrado ser “muy precisas e incluso efectivas contra la manipulación localizada, como la paráfrasis”, pero han demostrado ser “menos robustas contra la manipulación globalizada; como el uso de sistemas de traducción, la reformulación con otro modelo generativo o pedirle al modelo que inserte un carácter especial entre cada palabra y luego elimine ese carácter”.
Como resultado, OpenAI escribe que este método es “trivial y difícil de eludir por parte de actores maliciosos”. La actualización de OpenAI también se hace eco del punto del portavoz sobre los hablantes no angloparlantes, escribiendo que las marcas de agua en el texto podrían “estigmatizar el uso de la IA como una herramienta de escritura útil para hablantes no angloparlantes nativos”.
