Los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) están ganando popularidad en el ámbito académico y en la industria debido a su desempeño sin precedentes en diversas aplicaciones. A medida que los LLM continúan desempeñando un papel vital tanto en la investigación como en el uso diario, su evaluación se vuelve cada vez más crítica, no solo a nivel de tareas sino también a nivel de la sociedad, para comprender mejor sus riesgos potenciales. En los últimos años, se han realizado importantes esfuerzos para examinar los LLM desde diversas perspectivas.
En la Cumbre Global IndiaAI 2024, organizada en Bharat Mandapam, Nueva Delhi, se celebró una sesión sobre el tema “IndiaAI: modelos de lenguaje a gran escala”. Amitabh Nag, director ejecutivo de Bhashini, moderó la sesión. Srinivas Narayanan, vicepresidente de Open AI, pronunció el discurso de apertura durante la sesión. Otros panelistas de la sesión fueron el profesor Ganesh Ramakrishnan, del IIT de Bombay; la Sra. Shalini Kapoor, directora de tecnología APJ, AWS; el Dr. Mohit Sewak, investigador de IA y relaciones con desarrolladores, Asia meridional, NVIDIA; el Dr. Pratyush Kumar, cofundador de Sarvam AI y la Dra. Kalika Bali, investigadora principal, Microsoft.
La sesión comenzó con la presentación por parte del moderador de la Misión de IndiaAI y del Centro de Innovación de INDIAai. “La revolución de la IA es la mayor innovación después de la Revolución Industrial”, afirmó Nag durante la presentación.
Durante su discurso inaugural, Srinivas Narayan habló sobre la situación actual de los LLM y sus posibilidades. “Los LLM son la forma más natural de interactuar con la tecnología, y esto está sucediendo por primera vez”, comentó. También habló sobre los desafíos que plantea la diversidad lingüística en la India y la importancia de la seguridad durante el desarrollo de los LLM. Como seres humanos, proporcionar conocimientos especializados a gran escala es uno de los problemas importantes a los que nos enfrentamos. La IA puede ayudar a los seres humanos a abordar este problema y ser más productivos.
Desarrollo de LLM en India
La IA es una nueva tecnología. El proceso de desarrollo está en curso y tiene un largo camino por recorrer. La India, como país, debería ser más optimista. “Los LLM mejoran un poco el juego”, dijo el Dr. Pratyush Kumar, hablando sobre el desarrollo de los LLM en la India. Opina que la India necesita abrir el código fuente del proceso de desarrollo, teniendo en cuenta la cultura y el idioma. Aunque numerosas entidades señalan que el costo de producción es un desafío significativo en el proceso, según Pratyush Kumar, el costo de desarrollo está disminuyendo rápidamente ya que la informática se está volviendo cada vez más eficiente. Esta es una tendencia favorable para la creación de LLM en el país.
La disponibilidad y la gestión de los datos son desafíos importantes a los que se enfrentan los ingenieros indios. Shalini Kapoor señala que el uso de modelos de IA impulsará la creación de datos. Destaca la necesidad de títulos de máster específicos de cada dominio que puedan resolver problemas específicos de cada dominio. Por ejemplo, un modelo de IA creado exclusivamente para la atención sanitaria podría escalar mejor que un modelo genérico.
La colaboración entre las partes interesadas es importante para el desarrollo de modelos de IA. El éxito de BharatGPT está fuertemente respaldado por sus “alianzas público-privadas”. “La colaboración entre la industria y el mundo académico es una necesidad para desarrollar modelos masivos de IA”, dijo el profesor Ganesh Ramakrishnan, hablando sobre la importancia de la colaboración entre las partes interesadas.
Respetando la cultura india
Según la Dra. Kalika Bali, los actuales estudiantes de LLM tienen una visión externa de la cultura india. Para desarrollar un modelo centrado en la India, es esencial contar con un punto de vista interno. Además, no existe un acuerdo sobre la definición de sesgo. “Nunca podremos tener un sistema libre de sesgos; la cosa se complica cuando hablamos de muchos idiomas. Cuando hablamos de recopilación de datos, tenemos que ser sensibles a eso”, afirmó.
La India es una nación con una gran diversidad lingüística. “Cualquier modelo necesario para manejar estos idiomas debería tener un vocabulario tokenizador de 2 lakhs 54 mil”, dijo el Dr. Mohit Sewak. Sugirió que la nación tenga más modelos multimodales para satisfacer las necesidades conversacionales del país. “Si queremos una verdadera maestría en derecho india, necesitamos tokenizadores con decenas y billones de datos”, agregó.
Además, el dominio de las empresas occidentales sobre las startups indias también se centra en los desafíos lingüísticos de la India. Formar a modelos indios en idiomas indios requiere inversiones financieras mayores que formar a modelos extranjeros.
La Dra. Kalika Bali señaló que para incorporar la experiencia indígena a los programas de maestría en derecho, necesitamos conjuntos de datos especializados. “Los modelos grandes podrían no ser la solución adecuada; en cambio, la creación de una federación de modelos y la organización de los mismos podría ser el camino a seguir”, agregó.
Afrontando los desafíos
Para abordar los desafíos de la variación dialectal, el profesor Ganesh sugiere la documentación de los dialectos, el aprendizaje federado, el intercambio de datos entre las partes interesadas y el respeto por la inclusión. Debido a la gran población del país, la India tiene la capacidad de ser la capital mundial de los casos de uso. El valor comercial derivado del modelo definirá gran parte del uso de la propia IA.
