OpenAI ya ha creado y probado una herramienta para detectar si se ha creado algún contenido escrito utilizando ChatGPT. Sin embargo, Wall Street Journal informa que la compañía está reteniendo el lanzamiento público de la herramienta debido a varias preocupaciones.
La herramienta agrega un patrón a la forma en que el modelo de lenguaje grande (LLM) escribe su salida, lo que permite a OpenAI detectar si ChatGPT lo creó. Sin embargo, el patrón permanece imperceptible para los humanos, por lo que no afecta la calidad del LLM. La documentación interna dice que la herramienta tiene una eficacia del 99,9 % en la detección de la salida de ChatGPT, pero OpenAI aún no la ha publicado.
Si bien la marca de agua de texto es muy eficaz para detectar contenido escrito por ChatGPT, no puede funcionar con la salida de otros LLM como Gemini AI o Llama 3. Además, esta técnica se puede eludir fácilmente. Por ejemplo, puede insertar la salida de ChatGPT en Google Traducirlo, convertirlo a otro idioma y luego nuevamente al inglés, eliminando efectivamente la marca de agua.
Incluso podría ser tan simple como pedirle a la IA que inserte un carácter único, un emoji o incluso una frase corta entre palabras y luego eliminarlas más tarde (a través de Microsoft Por ejemplo, la función Buscar y reemplazar de Word) o pedirle a otro LLM que reformule todo el resultado es suficiente para romper la herramienta de detección.
Otro punto de discordia que tiene OpenAI sobre el lanzamiento de la herramienta es que dice que podría estar sesgada contra los escritores que no hablan inglés como lengua materna. La empresa ya había lanzado una herramienta de detección de texto con inteligencia artificial generativa el año pasado. Aun así, solo pasaron siete meses antes de que OpenAI desconectó el suministro En este caso, se lo critica por su baja tasa de detección y su tendencia a generar falsos positivos. Incluso ha llegado al punto de que un profesor reprobó una clase entera porque todos los trabajos entregados estaban marcados incorrectamente como generados por IA.
Además, OpenAI también tiene en cuenta su base de clientes: las encuestas a clientes muestran que el 69% de los usuarios de ChatGPT creen que la herramienta daría lugar a falsas acusaciones de engaño por parte de la IA. El 30% incluso dijo que probablemente cambiaría a un LLM rival si OpenAI implementara la herramienta. La empresa se enfrenta a otro problema con la amplia implementación del detector ChatGPT, ya que otros usuarios podrían aplicar ingeniería inversa a la técnica de marca de agua de OpenAI y lanzar un complemento o una aplicación para neutralizarla.
Sin embargo, OpenAI entiende el riesgo que supone para la sociedad el contenido generado por IA y ha estado buscando alternativas a la técnica de las marcas de agua en el texto. También existe una demanda de un detector de IA, y los datos internos muestran que el 80 % de las personas a las que se les preguntó en todo el mundo apoyan su existencia.
Todavía no se sabe si OpenAI lanzará su herramienta de marca de agua y detector de texto. Sin embargo, también entiende que, como una de las organizaciones líderes en el desarrollo de IA, también debe tomar medidas para garantizar el uso responsable de sus herramientas. Las fuentes dicen que OpenAI tiene hasta este otoño para influir en la opinión pública sobre la transparencia de la IA. No sabemos qué significa esto, pero hay una cosa de la que estamos seguros: debemos ser críticos con lo que leemos y asegurarnos de que estamos recibiendo la verdad.
