¿Quieres utilizar un modelo de lenguaje de IA (a menudo llamado LLM o “modelo de lenguaje grande”) como ChatGPT ¿Eres un asistente digital pero te preocupa la forma en que se manejan tus datos? ¿Te atraen las características de CoPilot de Microsoft, pero te asusta la posible pesadilla de privacidad? Tal vez no quieras pagar una tarifa de suscripción o quedar atrapado en un ecosistema de terceros. Tal vez prefieras adoptar un software de código abierto. Cualesquiera sean tus razones, la solución podría ser ejecutar un modelo de IA localmente.
Cuando comencé a investigar sobre la ejecución de LLM localmente en Linux, pensé que tendría que confiar en herramientas de línea de comandos como Ola. Mientras Ollama es Es perfectamente capaz y ejecutar cualquier cosa en una terminal tiene el potencial de hacerte sentir como un rudo, pero no cuenta exactamente con una interfaz amigable para principiantes:
Ollama ejecuta modelos de lenguaje de IA localmente en tu PC, pero no es exactamente fácil de usar.
Más tarde descubrí Estudio LMuna solución multiplataforma que se ejecuta localmente en Windows, macOS y Linux. Es potente y flexible, con una interfaz gráfica de usuario tradicional. Pero, si soy sincero, a veces demasiada potencia y flexibilidad pueden distraer o provocar fallos. Además, el único aspecto de LM Studio que es de código abierto es la herramienta de línea de comandos. No estoy en contra del software propietario y de código cerrado, pero aprecio que, si un desarrollador decide dejar de trabajar en un proyecto de código abierto, se puede bifurcar y seguir funcionando.
A través del modelo de lenguaje Llama 3.1, Alpaca explica el origen de “Tux”, la mascota de Linux.
Así que mi viaje me llevó a Alpacaque actúa como interfaz gráfica para Ollama. Y si profundizamos en lo que realmente importa, la conclusión es la siguiente: es fácil de usar.
Alpaca es ágil e intuitivo. Es fácil de instalar en cualquier distribución de Linux. a través de FlathubY viene con el backend de Ollama incluido. No hay ninguna configuración complicada involucrada; solo elija un modelo de IA para descargar y comience a chatear.
Alpaca hace un buen trabajo al guiarlo a través de los pocos pasos necesarios para comenzar a funcionar.
Comencé con la versión Llama 3.1 de Meta, que acaba de lanzarse y es de código abierto, y viene en tamaños de parámetros de 8 mil millones, 70 mil millones y 405 mil millones. (Piense en los parámetros como una forma de medir la complejidad de un modelo de lenguaje. Cuanto mayor sea el número, más capaz es). Es comprensible que la versión de 405 mil millones sea enorme y requiera una descarga de 231 GB. A modo de comparación, el tamaño de los parámetros de ChatGPT 3 era de 175 mil millones. Ejecutar estos modelos completos podría poner de rodillas a la PC de consumo más potente, pero en mi experiencia, los modelos de parámetros más pequeños son perfectamente capaces de ser asistentes digitales y chatbots decentes.
En el lado positivo, Alpaca se integra de forma nativa en las notificaciones de su sistema, por lo que puede minimizar la aplicación mientras procesa una respuesta y recibir una notificación cuando una respuesta esté lista.
¡Tener notificaciones nativas es útil!
Pero si decides que un modelo en particular no es para ti, eliminarlo y liberar espacio en el disco es muy fácil. Solo tienes que ir al menú “Administrar modelos”, donde puedes buscar, extraer y eliminar docenas de modelos.
El proyecto Alpaca nació en junio de 2024, pero la primera versión estable se lanzó hace apenas un par de semanas. Parece que se están implementando mejoras de forma constante, pero hay un problema que puede afectar a ciertos usuarios de GPU AMD: Alpaca está utilizando recursos de la CPU en lugar de la GPU, lo que hace que el procesamiento sea más lento. Parece ser un error asociado con ROCm, pero el desarrollador lo sabe y está investigando una solución.
