Últimamente no dejan de aparecer herramientas para ejecutar los Grandes Modelos de Lenguaje (LLMs, Large Language Models) en local. En el artículo de hoy te voy a presentar la que más me ha gustado hasta el momento: LM Studio.
Seguramente, si me has estado siguiendo un tiempo en mi perfil de LinkedIn (si no, te aconsejo que lo hagas), habrás visto que en el último año he hablado de distintas herramientas como Jan AI. Sin embargo, LM Studio es, con diferencia, la que más ha superado mis expectativas con creces. No solo ofrece una interfaz muy atractiva y simple de usar, si no que además tenemos las siguientes características:
- Posibilidad de ejecutar el servidor como una API. Esto quiere decir que podremos descargar LM Studio, bajar un modelo y dejar el servidor arrancado en una máquina virtual y conectarnos a él via API. Aunque actualmente no es una de las mejores formas de hacerlo, para poder hacer pruebas puede ser muy interesante, ya que no dependemos de tener que crear una cuenta, asignar una cuenta de facturación, generar tokens, etc.
- Velocidades competitivas comparadas con herramientas similares. Al probar otras herramientas similares he notado que los tiempos de ejecución de los modelos son demasiado altos, lo que me ha llevado a, tras varias semanas de prueba, abandonar las herramientas. Con LM Studio, a pesar de que no dispongo de un ordenador con recursos excepcionales, obtengo las respuestas en tiempos razonables.
- Disponibilidad de los mejores modelos Open Source que hay actualmente en el mercado (como Llama 3.2). Sí, esta herramienta tiene los últimos modelos de Llama integrados, por lo que simplemente tienes que descargarlo y ya podrás empezar a utilizarlo, así de sencillo.
- Posibilidad de organizar las conversaciones en carpetas (ejem ejem, ChatGPT). Todos sabemos lo catastrófico que puede resultar encontrar una conversación antigua que tuviste con ChatGPT y no encontrarla, o el tener miles de hilos con temáticas similares pero no poder agruparlas. Con LM Studio tenemos una solución a este problema, pues podemos crear carpetas y mover las conversaciones a dichas carpetas.
- Poder, dado un punto de la conversación, crear distintas variaciones de la misma. En el mundo del desarrollo de agentes conversacionales, muchas veces nos sucede que probamos cosas antes en los modelos que vamos a utilizar pero de forma rápida (por ejemplo en ChatGPT si utilizamos OpenAI para ver si es capaz de resolver un problema de forma rápida). A la hora de hacer pruebas puede ser que nos demos cuenta de que en una determinada instrucción podríamos cambiar el prompt para mejorar el resultado, pero queremos conservar la prueba 1 y la prueba 2 (actualmente en ChatGPT puedes modificar un mensaje pero se vuelve a regenerar la respuesta, perdiendo la antigua). Con LM Studio podemos crear distintos hilos a partir de un punto de la conversación y guardarlo como conversaciones diferentes.
- Poder tener guardados en ficheros en nuestro ordenador las conversaciones. Este es uno de los puntos que más me gusta. Al ser una herramienta local, se van generando ficheros con cada una de las diferentes conversaciones. Esto hace que sea muy sencillo poder explotar los datos, sin necesidad de tener que integrarlo con una base de datos.
