Un artículo de XDA esta semana describió cómo un escritor alimentó a un modelo auto-hospedado con sus propios archivos Docker Compose y recibió una lista de agujeros de seguridad que nunca había notado: un puerto expuesto, un mount que otorgaba más de lo que debería, un contenedor ejecutándose como root sin motivo. Esta es la propuesta de valor para los LLM locales en trabajos de seguridad. El código, la configuración y el entorno permanecen en la máquina, el modelo nunca envía el código a un proveedor, y una revisión que solía requerir una lista de verificación y media tarde de trabajo ahora toma el tiempo de un descanso para tomar café. Las mejores aplicaciones de LLM locales para auditorías de código y configuración a continuación son las siete que realmente hacen que este flujo de trabajo sea realidad en Windows, macOS y Linux.
Seleccionamos aplicaciones que se ejecutan en hardware de consumidor, funcionan con la ola actual de modelos de peso abierto lo suficientemente buenos como para razonar sobre código (Llama 3.3, Qwen 2.5 Coder, DeepSeek Coder V3, Mistral Small, Phi-4), y ya sea que expongan una API para auditorías con script o envíen una interfaz de chat que valga la pena habitar.
Qué buscar en una aplicación de LLM local para trabajos de seguridad
Local significa local, pero la aplicación alrededor del modelo todavía decide qué puedes hacer con él.
- Una lista de modelos que incluya los modelos de codificación de peso abierto actuales, no solo Llama 2 cuantizado.
- Una API local compatible con OpenAI para que los scripts de auditoría y CI puedan llamarla sin bloqueo de vendedor.
- Un modo de recuperación o documento que pueda procesar un repositorio completo o archivo Compose, no un fragmento a la vez.
- Llamada de función o herramienta para modelos que lo soporten, para que las auditorías puedan encadenarse a git blame o listados de archivos.
- Un enfoque tranquilo hacia la telemetría, y una ruta de instalación sin conexión que sobreviva en una máquina sin conexión a la red.
- Valores predeterminados sensatos para la longitud del contexto y la descarga de GPU para que no estés ajustando flags de llama.cpp durante una hora.
Comparación rápida
| Aplicación | Mejor para | Plan gratuito | Tier pagado | API |
|---|---|---|---|---|
| LM Studio | Usuarios orientados a UI que también quieren una API | Sí | Gratis | Sí |
| Ollama | Usuarios CLI-first, scripts e CI | Sí | Gratis | Sí |
| Jan | Stack completamente de código abierto, libre de Ollama | Sí | Gratis | Sí |
| GPT4All | Recuperación sobre documentos locales desde el primer día | Sí | Gratis | Limitado |
| Continue | Auditorías nativas de IDE en VS Code y JetBrains | Sí | Tier pagado opcional | Sí |
| Msty | Una aplicación que habla con modelos locales y en la nube | Sí | Tier pagado opcional | Sí |
| Open WebUI | Chat de equipo auto-hospedado sobre Ollama o vLLM | Sí | Gratis | Sí |
Las aplicaciones
1. LM Studio
LM Studio convierte el hosting de modelos locales en algo que un usuario sin CLI puede ejecutar. El catálogo de modelos apunta directamente a Hugging Face, las cuantizaciones se etiquetan con VRAM esperada, y el servidor incorporado expone un endpoint compatible con OpenAI en localhost. Eso es lo que lo hace útil para trabajos de seguridad: tus scripts de auditoría pueden golpearlo como lo harían con OpenAI, sin wrapper necesario, y el código fuente permanece en la máquina. Salida estructurada, llamada de función en modelos que la soportan, y una interfaz de chat que maneja bien la revisión de código multiturno.
Dónde se queda corto: no es de código abierto, y su modelo de negocio vale la pena entender antes de desplegarlo a escala. Los reportes de memoria y diagnósticos para cargas atascadas pueden ser escasos.
Precios:
- Gratis: aplicación completa, uso personal
- Pagado: licenciamiento comercial bajo solicitud
Plataformas: Windows, macOS, Linux
Descargar: lmstudio.ai
Conclusión: el punto de partida más fuerte si quieres UI y API de un solo instalador.
2. Ollama
Ollama es el estándar CLI-first para extraer un modelo y servirlo localmente. ollama run qwen2.5-coder:14b te da un modelo de codificación que funciona en un comando; el mismo daemon expone una API HTTP que la mitad del ecosistema de LLM ahora apunta por defecto. Para un script de auditoría que lee un archivo Compose, pide problemas al modelo y escribe un informe, Ollama es el camino más corto de cero a ejecutar.
Dónde se queda corto: la interfaz de chat incorporada es intencionalmente mínima; si quieres una interfaz real, emparejas Ollama con Open WebUI o Msty. La gestión de modelos se realiza por etiqueta en lugar de por ruta explícita, lo que algunos equipos conscientes de la seguridad prefieren más control.
Precios:
- Gratis: aplicación completa
- Pagado: tier en la nube para modelos hospedados
Plataformas: Windows, macOS, Linux
Descargar: ollama.com
Conclusión: la opción cuando el flujo de trabajo se redacta, y la opción para emparejar con una interfaz cuando no lo es.
3. Jan
Jan es la alternativa completamente de código abierto a LM Studio. Misma forma: un runtime de modelo local, un servidor compatible con OpenAI, una interfaz de chat y un catálogo de modelos vinculado a Hugging Face. La diferencia es la licencia y la capacidad de inspeccionar y modificar todo el stack. Los equipos de seguridad que necesitan justificar qué se ejecuta en el endpoint tienden a preferirlo.
Dónde se queda corto: el catálogo de modelos y la detección de nuevas cuantizaciones se quedan un poco atrás de LM Studio, aunque la brecha se estrecha en cada lanzamiento. Las extensiones todavía están poniéndose al día.
Precios:
- Gratis: aplicación completa
- Pagado: no aplica
Plataformas: Windows, macOS, Linux
Descargar: jan.ai
Conclusión: la opción cuando necesitas ver y auditar el runtime en sí, no solo el output del modelo.
4. GPT4All
GPT4All ha dedicado más tiempo que la mayoría de sus pares a la recuperación de documentos, y eso se ve en la característica LocalDocs. Le apuntas a una carpeta de archivos Compose, plantillas de IaC o el repositorio completo, y la aplicación construye un índice local del que extrae el chat. Esa es la forma correcta para una revisión de seguridad que abarque una base de código, no un fragmento.
Dónde se queda corto: la superficie de la API es más estrecha que LM Studio u Ollama. El rendimiento del modelo en la aplicación está bien pero el ecosistema a su alrededor es más pequeño que los líderes de esta lista.
Precios:
- Gratis: aplicación completa
- Pagado: tier de soporte empresarial
Plataformas: Windows, macOS, Linux
Descargar: nomic.ai/gpt4all
Conclusión: la opción cuando la auditoría abarca un repositorio y quieres recuperación integrada.
5. Continue
Continue es el compañero LLM local que vive dentro de VS Code y IDEs de JetBrains. Apúntalo a Ollama, LM Studio o un vLLM auto-hospedado, y obtienes explicaciones inline, sugerencias de refactor y un chat que puede ver tu archivo abierto. Para auditoría de seguridad esa es la superficie natural: resalta una función, pregunta qué podría salir mal, luego ejecuta el mismo prompt en todo un archivo. La extensión es de código abierto y la configuración vive en un archivo JSON simple que puedes revisar.
Dónde se queda corto: depende de que proporciones el host del modelo. No es un lugar para ejecutar un modelo, es un lugar para usar uno. Eso es una característica para el equipo de seguridad; es un paso para un aficionado.
Precios:
- Gratis: extensión de código abierto
- Pagado: tier de equipo opcional
Plataformas: Windows, macOS, Linux (vía VS Code o JetBrains)
Descargar: continue.dev
Conclusión: la opción para llevar auditorías de LLM local al editor en el que ya trabajas.
6. Msty
Msty es la aplicación de chat del pragmático: una interfaz que habla con Ollama, LM Studio y APIs remotas. Eso es útil para un flujo de trabajo de seguridad que ejecuta un modelo pequeño localmente para volumen y un modelo en la nube más grande para la última milla de un hallazgo difícil. Las vistas divididas y el chat de modelo paralelo hacen que las auditorías de comparación sean rápidas.
Dónde se queda corto: la aplicación no es de código abierto. El valor está en la UX en lugar del runtime del modelo, así que la opción tiene sentido cuando una buena UX es la restricción.
Precios:
- Gratis: aplicación completa para uso personal
- Pagado: tier Aura opcional para características avanzadas
Plataformas: Windows, macOS, Linux
Descargar: msty.app
Conclusión: la opción cuando el equipo ya ejecuta Ollama y solo quiere un cliente de chat mejor en la parte superior.
7. Open WebUI
Open WebUI es el chat de equipo auto-hospedado que convierte Ollama o vLLM en algo que el equipo completo puede usar. Inicio de sesión, acceso de modelo por usuario y RAG sobre documentos están todos aquí. Para un equipo de seguridad, eso significa un host de modelo on-prem que sirve auditorías a cada revisor a través de una interfaz compartida, con telemetría y control por usuario.
Dónde se queda corto: es un servicio auto-hospedado, así que la configuración depende de ti. La superficie de auditoría es chat y documentos en lugar de un pipeline de API con script, que Ollama subyacente expone para que lo estratifiques.
Precios:
- Gratis: código abierto
- Pagado: no aplica
Plataformas: auto-hospedado (acceso del navegador desde cualquier SO)
Descargar: openwebui.com
Conclusión: la opción cuando las auditorías son una actividad de equipo, no una solo.
Cómo elegir el correcto
- Si quieres UI más API de un solo instalador: LM Studio.
- Si las auditorías se escriben con script y se ejecutan por CI: Ollama.
- Si debes ejecutar de código abierto de arriba a abajo: Jan.
- Si la recuperación en todo un repositorio importa: GPT4All.
- Si las auditorías deben vivir dentro del IDE: Continue en la parte superior de Ollama.
- Si una gran UX de chat es lo que desbloquea el flujo de trabajo: Msty.
- Si el equipo necesita una superficie de revisión compartida: Open WebUI en la parte superior de Ollama.
FAQ
¿Puede un LLM local realmente encontrar agujeros de seguridad que un analizador estático se pierda?
Sí y no. Un analizador estático es determinista y atrapa patrones conocidos mejor que un LLM. Un LLM local atrapa la semántica: qué mount otorga más de lo que necesita, qué puerto no tiene razón para estar expuesto, qué variable de entorno revela un secreto. Los dos juntos son más fuertes que cualquiera solo; trata el LLM como un revisor, no un scanner.
¿Cuál es el mejor modelo abierto para auditar código hoy?
Para VRAM de 24GB, Qwen 2.5 Coder 32B y DeepSeek Coder V3 son lo más destacado actualmente. Para 16GB, Qwen 2.5 Coder 14B o Llama 3.3 70B con cuantización baja. Para 8GB, Phi-4 o Qwen 2.5 Coder 7B aún devuelven revisiones útiles. El panorama cambia mes a mes; elige un runtime e intercambia modelos mientras aterrizan.
¿Estas aplicaciones envían algo a la nube?
Los modelos se ejecutan localmente en los siete. Algunas aplicaciones hacen telemetría (informes de fallos, uso de características) a menos que se deshabilite. Lee la documentación de telemetría de la aplicación y desactiva lo que no quieras. Ollama, Jan y GPT4All son los más estrictos sobre mantenerse offline.
¿Puedo usar uno de estos en una máquina desconectada de la red?
Ollama, Jan y GPT4All todos soportan instalación completamente offline si carga los archivos de modelo. LM Studio puede, aunque el catálogo de modelos espera internet. Open WebUI se ejecuta en tu propio hardware y no requiere conectividad externa una vez configurado.
¿Cuál es la diferencia entre ejecutar un modelo en Continue versus LM Studio?
Continue no ejecuta el modelo en sí; es un cliente que habla con un servidor local (Ollama, LM Studio, vLLM) dentro de tu IDE. LM Studio es el servidor. Emparéjalos: ejecuta LM Studio u Ollama, conecta Continue a él, y audita código dentro del editor.
