FDurante varias horas a la semana, escribo para una empresa tecnológica que vale miles de millones de dólares. Junto a mí hay novelistas publicados, académicos en ascenso y varios periodistas independientes más. La carga de trabajo es flexible, el salario es mejor de lo que estamos acostumbrados y los encargos nunca se acaban. Pero lo que escribimos nunca lo leerá nadie fuera de la empresa.
Esto se debe a que ni siquiera escribimos para personas, sino para una IA.
Modelos de lenguaje grandes (LLM) como ChatGPT Han hecho posible automatizar grandes áreas de la vida lingüística, desde resumir cualquier cantidad de texto hasta redactar correos electrónicos, ensayos e incluso novelas enteras. Estas herramientas parecen tan buenas para escribir que se han convertido en sinónimo de la idea misma de inteligencia artificial.
Pero antes de que corran el riesgo de dar lugar a una superinteligencia divina o a un desempleo masivo devastador, primero necesitan entrenamiento. En lugar de utilizar estos grandilocuentes chatbots para automatizar nuestras vidas, las empresas tecnológicas nos están contratando para que ayudemos a entrenar sus modelos.
La parte principal del trabajo consiste en escribir respuestas ficticias a preguntas hipotéticas del chatbot. Estos son los datos de entrenamiento que el modelo necesita recibir. La “IA” necesita un ejemplo de cómo se ve algo “bueno” antes de poder intentar producir un texto “bueno”.
Además de proporcionar a nuestro modelo este material de referencia, también lo ayudamos a evitar las alucinaciones (un término poético que designa la mentira). Lo hacemos proporcionándole ejemplos que utilizan un motor de búsqueda y citan fuentes. Sin ver textos que hagan esto, no puede aprender a hacerlo por sí solo.
Sin mejores datos sobre el lenguaje, estos modelos lingüísticos simplemente no pueden mejorar. Su mundo es nuestro mundo.
Un momento. ¿Acaso estas máquinas no están entrenadas para procesar miles de millones de palabras y frases? ¿Para qué nos necesitan a nosotros, escribas de carne y hueso?
Para empezar, Internet es finito, y también lo es la suma de cada palabra de cada página de cada libro que se haya escrito. ¿Qué sucede entonces cuando se han digitalizado el último panfleto, papiro y prolegómeno y el modelo aún no es perfecto? ¿Qué sucede cuando nos quedamos sin palabras?
La fecha para ese apocalipsis lingüístico ya está fijada. Los investigadores anunciado en junio que podemos esperar que esto ocurra entre 2026 y 2032 “si continúan las tendencias actuales de desarrollo de LLM”. En ese momento, “los modelos se entrenarán en conjuntos de datos aproximadamente iguales en tamaño al stock disponible de datos de texto humanos públicos”.
Tenga en cuenta la palabra humanoLos grandes modelos lingüísticos no hacen más que producir prosa, gran parte de la cual ya se publica en Internet. ¿No podríamos entonces entrenar estos modelos con su propio resultado (los llamados datos sintéticos)? Nuestra Internet cyborg (creada en coautoría con nuestras máquinas de palabras) podría entonces crecer hasta el infinito. No hay suerte. Entrenar nuestros grandes modelos lingüísticos actuales con su propio resultado no funciona. “Aprender indiscriminadamente de los datos producidos por otros modelos provoca un 'colapso del modelo', un proceso degenerativo por el cual, con el tiempo, los modelos olvidan la verdadera distribución de los datos subyacentes”, escriben Ilia Shumailov y sus colegas en NaturalezaEn otras palabras, se descontrolan y tienden a producir sinsentidos. Alimentar a algo con sus propios efluvios conduce a la atrofia. ¿Quién lo hubiera pensado?
Shumailov me explicó que cada vez que se entrena un modelo con datos sintéticos, pierde la conciencia de la larga cola de “datos minoritarios” con los que se entrenó originalmente (palabras raras, hechos inusuales, etc.). La amplitud del conocimiento se erosiona y se reemplaza solo por los puntos de datos más probables: los LLM son, en esencia, sofisticadas máquinas de predicción de texto. Entonces, cuando los datos digitales originales ya están sesgados (con un alto contenido en inglés, centrados principalmente en los EE. UU. y llenos de publicaciones en foros poco confiables), este sesgo solo se repetirá.
Si los datos sintéticos producidos por IA no son suficientes para ayudar a mejorar los modelos, entonces necesitarán algo más. Esto es especialmente cierto en Las preocupaciones se extienden que los modelos tan promocionados dejarán de poder mejorar antes de que se vuelvan útiles. Firma líder en inversión en startups Sequoia ha demostrado que las empresas de inteligencia artificial necesitarán cubrir un déficit de ingresos de 500.000 millones de dólares para finales de este año para mantener satisfechos a los inversores. Puede que las máquinas tengan hambre, pero el capital que las respalda también tiene apetito.
IA abiertael protectorado de Microsoft valorado en un billón de dólares detrás de ChatGPT, firmó recientemente acuerdos de licencia que potencialmente valen cientos de millones de dólares – con muchas de las principales organizaciones de medios del mundo, desde News Corp hasta El tiempo financiero.
Pero no se trata sólo de acumular más palabras originales. Estas empresas necesitan el tipo de escritura que el modelo intentará emular, no sólo absorber.
Ahí es donde entran los anotadores humanos.
In La clásica película de Fritz Lang de 1927 Metrópolila antigua deidad cananea Moloch se reencarna en una máquina industrial insaciable. Es una tecnología que nos hace trabajar, en lugar de trabajar para nosotros. Los trabajadores de las fábricas responden a sus demandas cada vez mayores arremetiendo contra sus diales y tirando de sus palancas. Pero no pueden seguir el ritmo. La máquina silba y explota. Entonces vemos a los trabajadores renunciar al acto de alimentarse y caminar directamente hacia la boca del horno de Moloch.
Cuando asumí por primera vez el papel de anotador de IA, o más precisamente, de “especialista sénior en calidad de datos”, era muy consciente de la ironía de mi situación. Se suponía que los grandes modelos de lenguaje automatizarían el trabajo de los escritores. Cuanto mejor se volvieran gracias a nuestro trabajo, más rápido decaerían nuestras carreras. Y ahí estaba yo, alimentando a nuestro propio Moloch.
De hecho, si hay algo que estos modelos pueden lograr bastante bien, es el tipo de redacción digital que muchos escritores autónomos realizan para pagar sus cuentas. Escribir un blog SEO sobre el “Internet de las cosas” puede que no requiera mucha investigación, orgullo o habilidad; pero suele pagar mucho más que la poesía.
Trabajar como escritor para una empresa de inteligencia artificial era, por tanto, un poco como si te dijeran que Drácula iba a venir a visitarte y, en lugar de salir corriendo, te quedaras en casa y pusieras la mesa. Pero nuestro destructor es generoso y el sueldo es suficiente para justificar el distanciamiento. Si nuestro sector se estaba volviendo humo, más nos valía drogarnos con él.
Después de la promoción del boletín
Y ahí radica la ironía suprema. Se trata de un nuevo fenómeno económico que recompensa la escritura, que la fomenta, que realmente la valora; al mismo tiempo que la considera un estorbo, un problema que hay que resolver, una ineficiencia que hay que automatizar. Es como si nos pagaran por escribir en la arena, por susurrar secretos en una barra de mantequilla. Incluso si nuestras palabras pudieran hacer mella, nunca seríamos capaces de reconocerla.
Pero quizá sea una tontería ser tan pretencioso con un oficio tan prosaico. Después de todo, ¿cuánta gente merece hacer una verdadera mella?
François Cholletautor de libros de texto de informática de gran éxito y creador de la biblioteca de entrenamiento Keras (que proporciona elementos básicos para que los investigadores creen sus propios modelos de aprendizaje profundo), me dijo que estima que hay “probablemente unas 20.000 personas empleadas a tiempo completo simplemente creando datos anotados para entrenar grandes modelos de lenguaje”. Sin el trabajo manual humano, dice que el resultado de los modelos sería “realmente, realmente malo”.
El objetivo del trabajo de anotación que yo y otros realizamos es proporcionar ejemplos de referencia para que el modelo aprenda y los emule. Es un paso adelante con respecto a los tipos de trabajo de anotación que todos hemos realizado en el pasado, incluso sin saberlo. Si alguna vez se ha enfrentado a un problema de “captcha” que le pide que demuestre que no es un robot (por ejemplo, “seleccione todos los mosaicos con imágenes de un semáforo”), en realidad estaba haciendo Trabajo no remunerado para una máquinaayudándole a enseñarle a “ver”.
Cuando era estudiante recuerdo que repetía palabras como “izquierda” y “derecha” en mi portátil durante un par de horas seguidas para ayudar a los desarrolladores de un coche autónomo. Después de unas horas de trabajo, que me pagaban por cada interpretación vocal satisfactoria (y que ni siquiera me acercaba al salario mínimo), me di por vencido.
Los roles actuales son diferentes y son una parte crucial del desarrollo de LLM. Alex Manthey, directora de datos en Contextual AI, es una de las personas que contrata escritores para mejorar sus modelos. Ella le dijo a la revista Observador que la práctica es “de importancia crítica para la misión”, ya que “se necesitan personas en el proceso para asegurarse de que (el resultado del modelo) sea aceptable para el usuario final”. El toque humano da sus frutos. Hay una “razón por la que cada empresa está gastando tanto tiempo y cantidades increíbles de dinero para que esto suceda”, afirma.
Según Chollet y Manthey, la contratación en el sector ha dejado de lado recientemente los trabajos controvertidos y mal pagados de los países en desarrollo para pasar a ocupar puestos más especializados y bien remunerados. A medida que los modelos mejoran su capacidad de redacción, aumenta la calidad de los datos de entrenamiento que necesitan, lo que conlleva salarios más altos. Varios puestos de anotación a distancia pagan a los redactores más de 30 libras la hora. Los proveedores de anotación externos, como Scale AI (valorada en 14.000 millones de dólares), también están sacando partido de esta escasez de datos de entrenamiento de alta calidad.
Algunos fragmentos de anuncios de empleo actuales en el Reino Unido para trabajos de anotación de IA dan una pista sobre la variedad de tareas involucradas: “crear respuestas que formarán la 'voz' de la IA del futuro”; “ofrecer retroalimentación para enseñar a los modelos de IA a ser más útiles, precisos y seguros”; “escribir respuestas claras, concisas, objetivas y gramaticalmente correctas”; “entrenar a un modelo de IA evaluando la calidad de la escritura generada por la IA, revisando el trabajo de otros evaluadores de escritura y elaborando respuestas originales a las indicaciones”. Si los chatbots pueden simular escribir como humanos, también podemos simular escribir como chatbots.
Pero ¿continuará este proceso? ¿Los humanos escribirán siempre las palabras que los modelos de IA necesitan para poder hacer trabajos humanos? ¿No frustra eso el propósito de toda la empresa? Si bien uno de los métodos básicos que sustentan los modelos se conoce como RLHF (aprendizaje de refuerzo a partir de la retroalimentación humana), no está claro cuántos fuera del campo comprenden que la “salsa secreta” detrás de estos célebres modelos se basa en el trabajo humano.
Si las empresas de tecnología pueden invertir enormes cantidades de dinero en contratar escritores para crear mejores datos de entrenamiento, eso pone un poco en tela de juicio cuán “artificiales” son realmente las IA actuales.
Las grandes empresas tecnológicas no han sido “tan explícitas” sobre este proceso, dice Chollet, quien espera que la inversión en IA (y, por lo tanto, los presupuestos de anotación) se “corrijan” en el futuro cercano. Manthey sugiere que los inversores probablemente cuestionarán la “enorme partida” que ocupan los “fuertes presupuestos de datos”, que cubren tanto las licencias como la anotación humana.
Si los modelos actuales no pueden arriesgarse a quedarse sin palabras nuevas con las que entrenarse, entonces tal vez nosotros, como escritores, nunca nos quedemos sin trabajo. Pero la tecnología se mueve con nerviosismo. Podrían aparecer mejores modelos, con técnicas diferentes y necesidades de entrenamiento más eficientes. La próxima generación de anotadores tendrá que ser mejor que la IA en cualquier habilidad que necesite dominar a continuación: ¿física teórica, tal vez? ¿Diagnóstico médico?
En el mejor de los casos, el lenguaje descifrado es un objetivo intermedio. Nuestras palabras no serán más que combustible temporal.
