Los modelos mixture-of-experts solo ejecutan una fracción de sus parámetros por token, razón por la cual Hy3 Tencent 295B o DeepSeek V3 671B ahora caben en presupuestos de RAM de consumidor que solían limitarse a alrededor de 70B densos. Tencent lanzó Hy3 bajo Apache 2.0 el 6 de julio de 2026, con 21B parámetros activos y una ventana de contexto de 256K. DeepSeek sigue enviando actualizaciones de V3, Mixtral 8x22B sigue siendo competitivo en costos, y Qwen3 MoE tiene variantes de 30B a 235B. El cuello de botella pasó de la VRAM de GPU a si tu runner local entiende realmente el enrutamiento de expertos dispersos, y no todos lo hacen.
Probamos 8 de las mejores aplicaciones para ejecutar modelos MoE LLM abiertos en escritorio en Windows, macOS y Linux. Cada una fue evaluada en compatibilidad GGUF y safetensors, controles de enrutamiento de expertos, comportamiento de descarga de CPU para expertos fríos, y qué tan rápido el proyecto envía soporte para nuevas arquitecturas como hy_v3, qwen3moe y deepseek2. Algunas son ejecutables de un solo archivo. Otras asumen que sabes Docker. Todas son gratuitas para uso personal, y la mayoría son gratuitas para uso comercial también.
Qué buscar en un runner MoE LLM local capaz
Varios criterios separan las aplicaciones que manejan una nueva arquitectura MoE en el primer día de las que silenciosamente no cargan los pesos:
- Soporte nativo para las arquitecturas MoE actuales: Mixtral, DeepSeekMoE, Qwen3MoE, Hunyuan-A13B y hy_v3. Los runners típicamente se quedan atrás del calendario de lanzamientos de modelos por 2 a 4 semanas, así que cualquier cosa más antigua que eso es una señal de advertencia.
- Cobertura GGUF y safetensors. GGUF es lo que la comunidad de Hugging Face realmente publica para uso local. Los runners sin él están bloqueados de la mayoría de cuantizaciones.
- Controles de enrutamiento de expertos. Cada MoE tiene un router top-k. Poder ajustar el número de expertos activos intercambia rendimiento contra calidad, y es la diferencia entre un MoE que se siente rápido y uno que se siente denso.
- Descarga selectiva de CPU. Un runner bien ajustado mantiene el router y los pesos de atención compartidos en la GPU y empuja expertos fríos a la RAM del sistema. Así es como un modelo 295B cabe en 64 GB de DDR5 más una tarjeta de gama media.
- Servidor API compatible con OpenAI. Casi cada extensión de editor, marco de agente y herramienta de memoria habla el dialecto de Completaciones de Chat de OpenAI. Si el runner no lo expone, la integración es un proyecto de tarea.
- Profundidad de cuantización. Q4_K_M es el caballo de batalla actual para MoE. Métodos más nuevos como APEX e IQ4_XS ahorran más VRAM sin pérdida de calidad medible en los expertos enrutados.
Comparación rápida
| Aplicación | Mejor para | Plataformas | Licencia | Precio | Arquitecturas MoE |
|---|---|---|---|---|---|
| LM Studio | MoE con GUI por primera vez | Windows, macOS, Linux | Proprietary | Gratis | Mixtral, DeepSeek, Qwen3MoE, Hunyuan-A13B |
| Ollama | Ejecuciones MoE desde terminal | Windows, macOS, Linux | MIT | Gratis | Mixtral, DeepSeek V3, Qwen3MoE |
| llama.cpp | El upstream del que depende cada contenedor | Windows, macOS, Linux | MIT | Gratis | Mixtral, Qwen3MoE, DeepSeekMoE, Hunyuan-A13B |
| Jan | Equivalente de código abierto a LM Studio | Windows, macOS, Linux | AGPLv3 | Gratis | Lo que sea que llama.cpp admita |
| KoboldCPP | Instalaciones de un solo archivo | Windows, macOS, Linux | AGPLv3 | Gratis | Mixtral, DeepSeek, Qwen3MoE |
| Text Generation WebUI | Frontend de usuarios avanzados | Windows, macOS, Linux | AGPLv3 | Gratis | Mixtral, Qwen3MoE, DeepSeekMoE a través de tres cargadores |
| vLLM | Servicio MoE multi-GPU | Linux (Windows/macOS vía WSL o Docker) | Apache 2.0 | Gratis | Mixtral 8x22B, DeepSeek V3, Qwen3MoE |
| LocalAI | Sustituto de OpenAI multi-backend | Linux, macOS, Windows (Docker) | MIT | Gratis | Cualquier cosa que cubra llama.cpp o vLLM |
Las aplicaciones
1. LM Studio — mejor runner MoE en general para la mayoría de las personas
LM Studio es el camino más rápido desde una instalación nueva a un chat MoE funcional. El catálogo de modelos en la aplicación lista variantes de Mixtral, DeepSeek Coder V2 Lite, Qwen3 MoE y Hunyuan-A13B con filtros de tamaño y cuantización, así que elegir un modelo MoE para tu presupuesto de VRAM es un paso desplazable, no una expedición a Hugging Face. La pantalla de carga expone un deslizador de Number of Experts que se asigna a llama.expert_used_count, permitiéndote anular el top-k predeterminado cuando la calidad importa más que los tokens por segundo. LM Studio para flujos de trabajo MoE también envía un backend MLX en Apple Silicon y una ruta CUDA en Nvidia, así que la misma instalación funciona en un M3 Max o una estación de trabajo con RTX 5090.
Donde falla: la aplicación de escritorio es de código cerrado, y el servidor headless integrado requiere un par de configuraciones para exponerse correctamente. En comparación con un runner CLI simplificado, la GUI retiene más RAM en segundo plano.
Precio:
- Gratis: aplicación de escritorio completa para uso personal y comercial, sin límites de velocidad, sin llamadas a la nube
- Pago: Plan Enterprise a $10 por usuario por mes para SSO, modelado y gating MCP, catálogos de equipo privados
Plataformas: Windows, macOS, Linux
Descargar: lmstudio.ai
Conclusión: la opción si quieres que un modelo MoE esté chateando en tu escritorio antes del almuerzo. Sáltalo si te niegas a instalar binarios de código cerrado.
2. Ollama — mejor CLI gratuito para modelos MoE abiertos
Ollama trae Mixtral, DeepSeek V3, Qwen3 MoE y variantes de Hunyuan con un solo ollama run y expone un endpoint REST en localhost:11434 que habla el formato de Completaciones de Chat de OpenAI. El registro se mantiene al ritmo de los nuevos lanzamientos de MoE, y los internos de enrutamiento rastrean un fork de llama.cpp actual, así que arquitecturas como mixtral, deepseek2 y qwen3moe se cargan sin operaciones de bandera. Ollama para inferencia local de MoE es la herramienta a la que la mayoría de los desarrolladores recurren cuando quieren escribir un flujo de trabajo alrededor de un modelo enrutado.
Donde falla: el demonio no tiene interfaz para ajustar el recuento de expertos, así que editas un Modelfile o pasas anulaciones a través de la API para ajustar el enrutamiento disperso. Los Modelfiles predeterminados también limitan conservadoramente las longitudes de contexto, lo que duele en la ventana 256K de Hy3 hasta que aumentas num_ctx.
Precio:
- Gratis: todo el runtime, extracciones del registro de modelos y servidor API
- Pago: nada del proyecto
Plataformas: Windows, macOS, Linux
Descargar: ollama.com o GitHub
Conclusión: la opción correcta si la terminal es donde ya vives. No si quieres controles visuales de enrutamiento de expertos.
3. llama.cpp — mejor base para investigadores
llama.cpp es el runtime que casi todas las otras aplicaciones de esta lista envuelven. Directo significa que obtienes soporte de arquitectura MoE el primer día para cualquier cosa que el upstream confirme: Mixtral, Qwen3MoE, DeepSeekMoE y la ruta recomendada para Hunyuan-A13B. También obtienes banderas que los contenedores ocultan, como --override-kv llama.expert_used_count=int:4 para ajuste de top-k y --cpu-moe para empujar expertos fríos a la RAM del sistema.
Donde falla: no hay interfaz. La gestión de modelos, la cuantización y el servidor compatible con OpenAI (llama-server) son binarios separados con sus propios argumentos. Las nuevas arquitecturas típicamente llegan 2 a 4 semanas después de que sale el artículo, lo cual golpeó a los primeros usuarios de Hy3 ejecutándose desde la fuente.
Precio:
- Gratis: fuente licenciada por MIT y binarios precompilados para CUDA, ROCm, Metal, Vulkan, SYCL y OpenVINO
- Pago: ninguno
Plataformas: Windows, macOS, Linux
Conclusión: para cualquiera que quiera saber qué capas aterrizan en la GPU. Excesivo para chat casual.
4. Jan — mejor equivalente de código abierto de LM Studio
Jan es un shell de escritorio sobre llama.cpp con licencia AGPLv3, un navegador de modelos de Hugging Face que filtra archivos GGUF por tamaño, y un servidor API compatible con OpenAI local en localhost:1337. El catálogo MoE cubre variantes de Mixtral, DeepSeek Coder V2 Lite y cuantizaciones comunitarias de Qwen3 MoE, y la aplicación hereda anulaciones de enrutamiento de expertos de llama.cpp a través de su panel de configuración del modelo. Jan para usuarios de MoE que quieren una interfaz es el equivalente de código abierto más cercano a un reemplazo de LM Studio.
Donde falla: Jan tiende a retrasarse de las arquitecturas MoE más recientes por un lanzamiento o dos, así que si el soporte de hy_v3 acaba de llegar al master de llama.cpp, es posible que esperes una compilación de Jan para ponerse al día. Algunos usuarios también reportan presión de memoria al navegar listas de modelos muy grandes.
Precio:
- Gratis: aplicación de escritorio completa bajo AGPLv3
- Pago: ninguno
Plataformas: Windows, macOS, Linux
Conclusión: elige Jan si quieres una interfaz similar a LM Studio sin el binario cerrado. Mira en otro lugar si necesitas soporte el día del lanzamiento de nuevas arquitecturas.
5. KoboldCPP — mejor runner MoE sin instalación
KoboldCPP comprime un runtime completo, una interfaz de chat y cuentos de KoboldAI, y un endpoint compatible con OpenAI en un único ejecutable de 200 MB. Desde la versión 1.8, la pantalla de carga expone el recuento de expertos de MoE en la página Tokens para cuantizaciones de Mixtral, DeepSeek y Qwen3 MoE. Las variantes CUDA, Vulkan y solo CPU precompiladas se envían para Windows, Linux y Apple Silicon, lo que hace que KoboldCPP para cargas de trabajo MoE sea la ruta de instalación más corta posible.
Donde falla: la interfaz está optimizada para escritura creativa y juego de roles, que se lee ruidoso para el trabajo de asistente directo. El descubrimiento de modelos es manual: dejas el GGUF junto al ejecutable y apuntas hacia él.
Precio:
- Gratis: binario completo bajo AGPLv3, sin telemetría
- Pago: ninguno
Plataformas: Windows, macOS (Apple Silicon), Linux
Descargar: koboldcpp.com o GitHub
Conclusión: el que debes tomar si te niegas a instalar un framework completo. Menos agradable si quieres actualizaciones de modelos gestionadas.
6. Text Generation WebUI — mejor interfaz de usuario avanzado
Text Generation WebUI de Oobabooga te permite cambiar entre cargadores de llama.cpp, ExLlamaV2 y Transformers por modelo, lo que importa para MoE porque cada cargador expone un control de recuento de expertos diferente. El cargador ExLlamaV2 tiene una configuración de Number of Experts per Token para modelos de la familia Mixtral, y el lado de llama.cpp toma anulaciones a través de --override-kv llama.expert_used_count. Una bandera --cpu-moe empuja pesos de expertos a la RAM del sistema para configuraciones de descarga pesada.
Donde falla: cada cargador tiene sus propias peculiaridades, y la aplicación asume que entiendes cuál funciona con qué cuantización. La configuración de primera ejecución es más pesada que Jan o LM Studio.
Precio:
- Gratis: proyecto completo bajo AGPLv3
- Pago: ninguno
Plataformas: Windows, macOS, Linux
Descargar: GitHub
Conclusión: cógelo si te gusta ajustar cargadores y pruebas A/B de cuantizaciones. Sáltalo si quieres MoE de un clic.
7. vLLM — mejor para rendimiento de MoE a escala
vLLM es el runner al que la gente se cambia cuando su configuración de chat de GPU única crece. La versión 0.6 y posteriores admiten paralelismo de expertos para Mixtral 8x22B, DeepSeek V3 y Qwen3 MoE a través de --enable-expert-parallel, con paralelismo de tensores FP8 y BF16 en múltiples GPUs. El lote continuo significa que la misma caja puede servir docenas de solicitudes MoE simultáneas sin el pico de latencia de cola que obtendría un servidor ingenuo.
Donde falla: vLLM apunta a Linux con hardware NVIDIA. Los usuarios de macOS y Windows pasan por WSL o un contenedor, y las configuraciones de GPU única de consumidor pagan por complejidad que no usarán.
Precio:
- Gratis: proyecto Apache 2.0, instala con
pip install vllm - Pago: nada del proyecto
Plataformas: Linux (nativo), Windows y macOS vía WSL o Docker
Conclusión: el runner de elección cuando sirves tráfico MoE a un equipo. Excesivo para un portátil.
8. LocalAI — más flexible drop-in para MoE
LocalAI es un binario Go que presenta una API compatible con OpenAI, Anthropic y ElevenLabs e intercambia backends por modelo. Bajo el capó envuelve llama.cpp, vLLM, MLX, whisper.cpp y stable-diffusion, así que cualquier GGUF de MoE que llama.cpp pueda convertir se ejecuta a través del mismo endpoint que responde a tus llamadas de incrustaciones y TTS. El proyecto envió su propia estrategia de cuantización APEX ajustada para roles de tensores MoE, que permite a los pesos de la clase Mixtral igualar la calidad Q8_0 en tamaños cercanos a Q4.
Donde falla: el diseño multi-backend es más pesado que una aplicación de runtime único, y la configuración reside en YAML en lugar de una interfaz. Los usuarios de Windows y macOS usan Docker por defecto.
Precio:
- Gratis: código fuente licenciado por MIT e imágenes de contenedor
- Pago: ninguno
Plataformas: Linux, macOS, Windows (Docker en los tres funciona)
Descargar: localai.io o GitHub
Conclusión: la opción cuando un endpoint tiene que responder a chat, incrustaciones, TTS e inferencia MoE a la vez. Sáltalo si solo necesitas una ventana de chat.
Cómo elegir el correcto
Si nunca has ejecutado un modelo local, comienza con LM Studio. Los controles de MoE están en la interfaz, el catálogo de modelos está curado, y el primer chat de Mixtral sucede en quince minutos.
Si prefieres terminal, Ollama es el camino más corto hacia una Qwen3 MoE o DeepSeek V3 en ejecución. Empareja con una interfaz web ligera más tarde si quieres una ventana de chat.
Si quieres entender qué está pasando bajo el capó, ve directo a llama.cpp. Cada botón es una bandera, y cada arquitectura está documentada en la fuente.
Si tu prioridad es código abierto sin sacrificar la interfaz, Jan se acerca más a un reemplazo de LM Studio.
Si te niegas a instalar un framework, KoboldCPP es un ejecutable sin dependencias.
Si ya estás malabarismo con cuatro cargadores y quieres estar bajo un mismo techo, Text Generation WebUI es lo que ya sabes que quieres.
Si estás sirviendo tráfico MoE a un equipo o quieres paralelismo de expertos en dos o más GPUs, vLLM es la respuesta sensata.
Si necesitas un endpoint compatible con OpenAI único que también maneje TTS, incrustaciones y visión junto a chat MoE, ejecuta LocalAI en Docker y listo.
FAQ
¿Cuál es la mejor aplicación gratuita para ejecutar modelos MoE LLM en escritorio? Ollama para usuarios de terminal, LM Studio para todos los demás. Ambas son gratuitas para uso personal y comercial, ambas admiten Mixtral, DeepSeek V3 y Qwen3 MoE de fábrica, y ambas se mantienen al ritmo de nuevos lanzamientos de MoE dentro de un par de semanas del upstream llama.cpp.
¿Puede el hardware de consumidor realmente ejecutar un modelo de 295B como Tencent Hy3? Sí, con advertencias. Hy3 solo activa 21B de sus 295B parámetros por token, así que el rendimiento se lee más cerca a un modelo denso de 21B que a uno de 295B. Aún necesitas suficiente RAM del sistema para sostener los pesos cuantizados completos, aproximadamente 180 GB para una cuantización Q4, así que una estación de trabajo con 256 GB de DDR5 y una GPU de 24 GB es el punto de entrada actual.
¿Cuál es la diferencia entre Ollama y LM Studio para modelos MoE? Ollama es un daemon CLI con un servidor REST y un registro de modelos curado. LM Studio es una aplicación de escritorio con una interfaz de chat, una pantalla de carga con un deslizador de Number of Experts explícito, y un servidor que se enciende. Ambas envuelven backends similares basados en llama.cpp. Elige Ollama si escribes tu flujo de trabajo, LM Studio si quieres controles visuales.
¿Soporta llama.cpp Tencent Hy3 y otras nuevas arquitecturas MoE? llama.cpp generalmente añade una nueva arquitectura MoE dentro de 2 a 4 semanas del lanzamiento del modelo. Mixtral, Qwen3MoE y DeepSeekMoE todos llegaron poco después de los lanzamientos del modelo, y Hunyuan-A13B tiene una ruta de llama.cpp recomendada en la propia documentación de Tencent. Hy3, que se envió el 6 de julio de 2026, tiene GGUF comunitarios y fusiones al upstream en la misma ventana de 2 a 4 semanas.
¿Necesito una GPU para ejecutar un modelo MoE localmente? No estrictamente. llama.cpp, KoboldCPP, Ollama y LocalAI todos admiten inferencia solo de CPU y descarga de expertos fríos, así que una estación de trabajo con 128 GB o más de RAM puede ejecutar cuantizaciones MoE más pequeñas a velocidades legibles. Una GPU moderna con 12 a 24 GB de VRAM más descarga de RAM del sistema es donde la experiencia se vuelve agradable.
¿Qué runner MoE tiene la mejor API compatible con OpenAI? Para una máquina única, LM Studio y Ollama exponen endpoints de Completaciones de Chat de OpenAI limpios sin configuración. Para un equipo o flota, el servidor de vLLM ofrece el rendimiento más alto y paralelismo de expertos nativo. LocalAI cose múltiples backends detrás de una API de estilo OpenAI, lo que es útil cuando chat, incrustaciones y visión tienen que compartir una única URL.
