Instalación y auditoría de modelos LLM en entornos locales

Los modelos de IA también se comunican. Pero… ¿Qué información comparten cuando los ejecutamos en nuestro propio equipo?

Cada vez más personas instalan modelos de lenguaje (LLM) en local para trabajar con inteligencia artificial sin depender de servicios en la nube. Sin embargo, pocos se detienen a pensar qué tipo de tráfico generan, a dónde se conectan o qué datos podrían exponerse.

Con el objetivo de fomentar un uso más seguro y transparente de estas tecnologías, INCIBE publica un nuevo artículo que explica cómo instalar, supervisar y auditar modelos de IA locales.

En este análisis se abordan:

• Los principales gestores de modelos: Ollama, vLLM y Transformers.
• El uso de Docker para aislar y observar las comunicaciones.
• La auditoría de tráfico HTTPS mediante claves SSL en entornos controlados.
• Recomendaciones para reforzar la seguridad y la privacidad en la ejecución local de modelos.

Este contenido permite comprender mejor cómo proteger los datos personales y monitorizar la infraestructura al utilizar IA en entornos domésticos o profesionales.