Saltar al contenido principal

Hoja de Ruta (To-Do)

l3mcore se encuentra en continuo desarrollo. A continuación se detallan algunas de las características y mejoras clave que tenemos planeado incorporar en futuras versiones:

Sistema de Plugins (En progreso)​

Actualmente el sistema de plugins está parcialmente implementado. Nuestro objetivo es completarlo para permitir a los desarrolladores extender la funcionalidad de l3mcore mediante hooks personalizados que intercepten, modifiquen o analicen las peticiones y respuestas en tiempo real, sin tocar el código fuente del núcleo.

Gestión de VRAM​

Una de las grandes mejoras planificadas es un sistema inteligente de gestión de VRAM (memoria de video) para modelos locales. La idea es que l3mcore sea capaz de:

  • Descargar de la memoria (unload) a los expertos inactivos.
  • Cargar en memoria de forma dinámica a los expertos requeridos.
  • Evitar los errores de "Out of Memory" (OOM) al cambiar rápidamente entre múltiples modelos pesados alojados en la misma máquina.

Router nativo optimizado​

Actualmente el enrutador se basa en librerías estándar en Python. Queremos desarrollar un router de embeddings escrito desde cero y altamente optimizado para este proyecto específico. Esto reducirá aún más la latencia de decisión y minimizará el impacto en los recursos de CPU/RAM, maximizando la velocidad de respuesta.

¿Tienes alguna otra idea o característica que te gustaría ver en l3mcore? ¡Abre un Issue en nuestro repositorio principal de GitHub: lemoelink/l3mcore/issues!