Como todas las grandes empresas tecnológicas en la actualidad, Meta tiene su propio modelo insignia de IA generativa, llamado LlamaLlama es algo único entre los modelos principales en el sentido de que es “abierto”, lo que significa que los desarrolladores pueden descargarlo y usarlo como quieran (con ciertas limitaciones). Esto contrasta con modelos como Claude de Anthropic, OpenAI GPT-4o (que poderes ChatGPT) y Géminis de Googlea los que solo se puede acceder a través de API.
Sin embargo, con el objetivo de ofrecer opciones a los desarrolladores, Meta también se ha asociado con proveedores como AWS, Google Cloud y Microsoft Azure para poner a disposición versiones de Llama alojadas en la nube. Además, la empresa ha lanzado herramientas diseñadas para facilitar el ajuste y la personalización del modelo.
Aquí encontrará todo lo que necesita saber sobre Llama, desde sus capacidades y ediciones hasta dónde puede usarlo. Mantendremos esta publicación actualizada a medida que Meta publique actualizaciones e introduzca nuevas herramientas de desarrollo para respaldar el uso del modelo.
¿Qué es Llama?
Llama es una familia de modelos, no solo una:
- Llama 8B
- Llama 70B
- Llama 405B
Las últimas versiones son Llama 3.1 8B, Llama 3.1 70B y Llama 3.1 405Bque fue lanzado en julio de 2024. Se entrenan en páginas web en una variedad de idiomas, código público y archivos en la web, así como datos sintéticos (es decir, datos generados por otros modelos de IA).
Llama 3.1 8B y Llama 3.1 70B son modelos pequeños y compactos diseñados para funcionar en dispositivos que van desde computadoras portátiles hasta servidores. Llama 3.1 405B, por otro lado, es un modelo a gran escala que requiere (salvo algunas modificaciones) hardware de centro de datos. Llama 3.1 8B y Llama 3.1 70B son menos capaces que Llama 3.1 405B, pero más rápidos. De hecho, son versiones “destiladas” de 405B, optimizadas para una latencia y sobrecarga de almacenamiento bajas.
Todos los modelos de Llama tienen ventanas de contexto de 128.000 tokens. (En la ciencia de datos, los tokens son bits subdivididos de datos sin procesar, como las sílabas “fan”, “tas” y “tic” en la palabra “fantástico”). El contexto de un modelo, o ventana de contexto, se refiere a los datos de entrada (por ejemplo, texto) que el modelo considera antes de generar la salida (por ejemplo, texto adicional). Un contexto extenso puede evitar que los modelos “olviden” el contenido de documentos y datos recientes, y que se desvíen del tema y extrapolen incorrectamente.
Esas 128.000 fichas se traducen en alrededor de 100.000 palabras o 300 páginas, lo que, como referencia, es más o menos la longitud de “Cumbres borrascosas”, “Los viajes de Gulliver” y “Harry Potter y el prisionero de Azkaban”.
¿Qué puede hacer Llama?
Al igual que otros modelos de IA generativa, Llama puede realizar una variedad de tareas de asistencia diferentes, como codificar y responder preguntas matemáticas básicas, así como resumir documentos en ocho idiomas (inglés, alemán, francés, italiano, portugués, hindi, español y tailandés). La mayoría de las cargas de trabajo basadas en texto (pensemos en analizar archivos como PDF y hojas de cálculo) están dentro de su ámbito de aplicación; ninguno de los modelos de Llama puede procesar o generar imágenes, aunque eso puede cambiar En un futuro próximo.
Todos los últimos modelos de Llama se pueden configurar para aprovechar aplicaciones, herramientas y API de terceros para completar tareas. Están entrenados de fábrica para usar Brave Search para responder preguntas sobre eventos recientes, la API Wolfram Alpha para consultas relacionadas con matemáticas y ciencias y un intérprete de Python para validar código. Además, Meta dice que los modelos de Llama 3.1 pueden usar ciertas herramientas que no han visto antes (pero si pueden seguramente (utilizar esas herramientas es otra cuestión).
¿Dónde puedo usar Llama?
Si buscas simplemente chatear con Llama, es Potenciando la experiencia del chatbot Meta AI en Facebook Messenger, WhatsApp, Instagram, Oculus y Meta.ai.
Los desarrolladores que trabajan con Llama pueden descargar, usar o ajustar el modelo en la mayoría de las plataformas de nube más populares. Meta afirma que tiene más de 25 socios que alojan Llama, entre ellos Nvidia, Databricks, Groq, Dell y Snowflake.
Algunos de estos socios han creado herramientas y servicios adicionales sobre Llama, incluidas herramientas que permiten que los modelos hagan referencia a datos propietarios y les permiten ejecutarse con latencias más bajas.
Meta sugiere utilizar sus modelos más pequeños, Llama 8B y Llama 70B, para aplicaciones de uso general, como impulsar chatbots y generar código. Llama 405B, dice la empresa, es mejor reservarlo para la destilación de modelos (el proceso de transferir conocimiento de un modelo grande a un modelo más pequeño y eficiente) y generar datos sintéticos para entrenar (o afinar) modelos alternativos.
Es importante destacar la licencia de Llama Restringe la forma en que los desarrolladores pueden implementar el modelo:Los desarrolladores de aplicaciones con más de 700 millones de usuarios mensuales deberán solicitar una licencia especial a Meta que la empresa otorgará a su discreción.
Junto con Llama, Meta proporciona herramientas destinadas a hacer que el modelo sea más “seguro” de utilizar:
- Guardia de llama, un marco de moderación
- Guardia pronta, una herramienta para protegerse contra ataques de inyección rápida
- Ciberseguridad, Un conjunto de herramientas de evaluación de riesgos de ciberseguridad
Llama Guard intenta detectar contenido potencialmente problemático introducido o generado por un modelo de Llama, incluido contenido relacionado con actividades delictivas, explotación infantil, violaciones de derechos de autor, odio, autolesiones y abuso sexual. Los desarrolladores pueden personalizar las categorías de contenido bloqueado y aplicar los bloqueos a todos los idiomas que Llama admite de forma predeterminada.
Al igual que Llama Guard, Prompt Guard puede bloquear texto destinado a Llama, pero solo texto destinado a “atacar” al modelo y hacer que se comporte de manera indeseable. Meta afirma que Llama Guard puede defenderse contra mensajes explícitamente maliciosos (es decir, jailbreaks que intentan eludir los filtros de seguridad integrados de Llama) además de mensajes que contienen “entradas inyectadas.”
En cuanto a CyberSecEval, no es tanto una herramienta como una colección de puntos de referencia para medir la seguridad de los modelos. CyberSecEval puede evaluar el riesgo que plantea un modelo Llama (al menos según los criterios de Meta) para los desarrolladores de aplicaciones y los usuarios finales en áreas como la “ingeniería social automatizada” y el “escalamiento de operaciones cibernéticas ofensivas”.
Limitaciones de la llama
Llama conlleva ciertos riesgos y limitaciones, como todos los modelos de IA generativa.
Por ejemplo, no está claro si Meta entrenó a Llama sobre contenido con derechos de autor. Si lo hizo, los usuarios podrían ser responsables de infracciones si terminan usando un contenido sin saberlo. Fragmento con derechos de autor que el modelo regurgitó.
Meta en un punto Se utilizaron libros electrónicos con derechos de autor para el entrenamiento de IA. A pesar de las advertencias de sus propios abogados, según un informe reciente de Reuters, la empresa entrena de forma controvertida su IA en publicaciones, fotos y subtítulos de Instagram y Facebook, y hace que sea difícil para los usuarios darse de bajaAdemás, Meta, junto con OpenAI, es objeto de una demanda en curso presentada por autores, incluida la comediante Sarah Silverman, por el supuesto uso no autorizado por parte de las empresas de datos con derechos de autor para el entrenamiento de modelos.
La programación es otro ámbito en el que conviene actuar con cuidado al utilizar Llama, ya que Llama, al igual que sus homólogos de IA generativa, podría… Producir código defectuoso o inseguro.
Como siempre, es mejor que un experto humano revise cualquier código generado por IA antes de incorporarlo a un servicio o software.
