CORE: IA local como solución empresarial
Proyecto Final Integrador · Caso 3
Una IA que trabaja dentro de la red de la empresa, sin enviar sus datos a la nube.
Grupo 1
Justin Daniel Rivera López
Donalson José Calderón
Diego Gabriel Ventura Ochoa
Jose Estuardo Aquino Quiquivix
Arquitectura de Sistemas II · Ciclo 8 · Sección A
Universidad Mariano Gálvez de Guatemala · Sede Central, Plan sábado
C
Confidencialidad
Los datos no salen de la red
O
Operación local
El modelo corre en nuestros equipos
R
Resiliencia
Si un equipo falla, el otro responde
E
Edge
Hardware pequeño, sin GPU
Cuatro riesgos de usar IA en la nube
2
Confidencialidad
Cada pregunta sale de la red y queda en servidores de un tercero.
Cumplimiento
Las políticas internas y las normas de datos pueden prohibir enviar información a terceros.
Dependencia de internet
Sin conexión, el asistente deja de funcionar.
Punto único de falla
Si el único servidor se cae, se pierde el servicio.
CORE · IA local · Grupo 1
La solución: IA local en dos equipos pequeños
3
Dos equipos pequeños
Una mini PC y una Raspberry Pi, sin GPU y sin depender de la nube.
Los datos no salen
El modelo corre dentro de la red: las preguntas se quedan en la empresa.
Sigue funcionando
Si un equipo falla, el otro responde.
CORE · IA local · Grupo 1
CORE: el hilo de este video
4
C
Confidencialidad
Los datos no salen de la red de la empresa.
O
Operación local
El modelo corre en nuestros equipos, sin depender de internet.
R
Resiliencia
Si un equipo falla, el servicio sigue.
E
Edge
Hardware pequeño, sin GPU, dentro de la red.
CORE · IA local · Grupo 1
Hardware y red
5
Mini PC
nodo principal
Raspberry Pi
nodo de respaldo
Switch Gigabit · red privada 192.168.10.0/24 · Debian 13 en ambos nodos
CORE · IA local · Grupo 1
El modelo cabe en un equipo pequeño
6
8 bits (Q8_0)
1.3 GB
4 bits (Q4_K_M)
807 MB
llama3.2:1b, de 1.2 mil millones de parámetros. Cuantizar es guardar cada número del modelo con menos bits: ocupa menos memoria y suele responder más rápido en CPU.
CORE · IA local · Grupo 1
El balanceador: maestro con respaldo
7
Petición
Balanceador
Mini PC
primero
Raspberry Pi
si no responde en 40 s
No reparte 50 % y 50 %: la Raspberry Pi es más lenta y retrasaría la mitad de las respuestas.
CORE · IA local · Grupo 1
Lo comprobamos en los dos nodos
8
cat /etc/os-release
Debian 13 en ambos nodos
ollama show llama3.2:1b-instruct-q4_K_M
Cuantización Q4_K_M en ambos
curl http://localhost:5000/salud
El balanceador ve a los dos nodos activos
CORE · IA local · Grupo 1
Demostración sin internet
9
PASO 1
Apagamos
el Wi-Fi
El ping a internet falla y el clúster sigue funcionando.
PASO 2
El chat
Una pregunta, y qué nodo la respondió.
PASO 3
La voz
Una suma y una pregunta abierta, con la cara de CORE.
PASO 4
La hora
CORE avisa que no hay internet y da la hora del equipo.
CORE · IA local · Grupo 1
Capturas de respaldo de la demo
10
El chat
Pregunta y respuesta del modelo local
La red del clúster
Ping a la mini PC (192.168.10.1): 0 % de pérdida
La voz
La cara de CORE en la Raspberry Pi
CORE · IA local · Grupo 1
Dos escenarios de falla
11
A
ESCENARIO A
Cae el nodo de respaldo
ACCIÓN
Detener Ollama en la Raspberry Pi.
QUÉ VEMOS
El estado de salud marca la Pi inactiva y el chat sigue respondiendo con normalidad.
B
ESCENARIO B
Cae el nodo principal
ACCIÓN
Detener Ollama en la mini PC.
QUÉ VEMOS
El balanceador avisa que la mini PC no respondió y la respuesta llega de la Raspberry Pi, más lenta.
CORE · IA local · Grupo 1
Resultados
12
Verificado
Debian 13 y el mismo modelo en ambos nodos
Cuantización Q4_K_M: de 1.3 GB a 807 MB
El balanceador ve a los dos nodos activos
El chat responde a través del balanceador
Tiempos medidos
30 s
Respuesta corta
90 s
Respuesta larga
160 s
Con la mini PC caída
CORE · IA local · Grupo 1
Tres límites honestos
13
1
El tiempo de 40 segundos
No distingue un nodo lento de uno caído.
2
Tráfico sin cifrar
Entre los nodos viaja por HTTP, dentro de la red privada.
3
Wi-Fi activo en los nodos
Sirve para instalar y administrar; en producción se apagaría.
CORE · IA local · Grupo 1
Conclusión
La confidencialidad viene de la arquitectura; la resiliencia, del nodo de respaldo.
El costo: menor calidad de respuesta y mayor latencia que en la nube.
Gracias
Justin Daniel Rivera López · Donalson José Calderón
Diego Gabriel Ventura Ochoa · Jose Estuardo Aquino Quiquivix
Grupo 1 · Arquitectura de Sistemas II · Universidad Mariano Gálvez de Guatemala