Personas y equipos que reciben compromisos, fechas y documentos por WhatsApp y necesitan memoria confiable con confirmación humana.
CASE 10 · TECHNICAL PILOT MULTIMODAL ASSISTANT · DETERMINISTIC CORE
Lía
El LLM interpreta; la aplicación decide.
Lía es un asistente personal por WhatsApp que convierte notas de voz, documentos y fotos en memoria estructurada con procedencia: decisiones, preguntas y compromisos. Un motor determinista gobierna estados, permisos y cobros, mientras dos modelos —un intérprete y un evaluador— trabajan con límites de autoridad explícitos.
VIDEO DEL CASO
PROJECT CARD / RECRUITER VIEW
Ficha técnica del proyecto.
Diseñé y construí el sistema completo: motor determinista, pipeline multimodal resumible (Whisper + OCR con regiones de evidencia), capa de evaluación JEV, multi-tenant con RLS, portal magic-link y el loop de facturación en sandbox.
Backend, APIs, despliegue, pruebas y controles.
- DEPLOYMENT
- Staging en Oracle Cloud: api, worker, web, media, nginx y postgres; health gates, backups offsite y rollback drills.
- BACKEND / APIS
- Meta WhatsApp Cloud API con webhooks firmados (HMAC), portal magic-link y canales opcionales (Telegram, Google).
- AI LAYER
- DeepSeek interpreta; JEV audita con opciones cerradas y confianza, con modos off/shadow/enforce por flujo y presupuesto con ledger propio.
- DATA / SECURITY
- Aislamiento por cuenta y workspace con RLS, cinco roles con scopes explícitos e identidad vinculada por challenge de un solo uso (huella HMAC).
- BILLING
- Pricebook COP/USD versionado, quotes inmutables, webhooks idempotentes verificados con HMAC sobre los bytes, dedupe de replays, trial de 14 días sin tarjeta y entitlements reconciliados.
- TESTING
- 134/134 user journeys, GO adversarial 7/7 sin hallazgos críticos o altos, y 434/434 pruebas locales en la integración de JEV.
- 01WhatsApp Cloud API + webhooks firmados
- 02Worker: audio resumible + Whisper + OCR con evidencia
- 03Memoria con procedencia · búsqueda aislada por cuenta/workspace/owner
- 04PostgreSQL multi-tenant con RLS · cinco roles
- 05Portal magic-link + billing sandbox
- Staging en Oracle Cloud: 6 contenedores healthy y readyz 200
- 134/134 user journeys validados
- JEV: 39/39 evaluaciones reales (p50 448 ms)
- Billing loop completo en sandbox, apagado a propósito
- El modelo nunca gobierna estado, permisos ni dinero
- Frontera dura en código y tests entre interpretación y decisión
- Pipeline resumible e idempotente: nada perdido, nada doble-cobrado
- Apagar el cobro comercial hasta que existan aprobaciones externas
- VIDEO
- Recorrido narrado de 3:33 (inglés)
- DEMO
- Piloto privado en staging
- CAPTURAS
- Compartidas con acceso coordinado
- El piloto vive en staging: el cobro comercial está apagado hasta que existan aprobaciones externas —una decisión explícita, no un pendiente olvidado.
- JEV es un evaluador probabilístico: audita, ordena y baja confianza; la autoridad permanece en el código.
- No se publican credenciales ni datos de tenants; la demo se comparte de forma coordinada.
Ver recorrido en video
ABRIR / SOLICITAR01 / PROBLEMA
La conversación es donde la información muere.
Compromisos, fechas y decisiones viven enterrados en notas de voz y documentos. La solución obvia —dejar que un LLM lo maneje— es peligrosa: los modelos alucinan y no deberían tocar tu dinero ni tus permisos.
02 / DECISIÓN DE DISEÑO
Un núcleo determinista con LLMs en el borde.
El LLM interpreta y extrae; la aplicación gobierna estados, permisos y cobros. JEV audita cada interpretación con opciones cerradas y confianza, bajo límites de autoridad duros.
SYSTEM / END TO END
El producto como flujo explícito.
Cada fase tiene una responsabilidad distinta. Esa separación hace posible observar el sistema, probarlo y corregirlo sin depender de intuición.
- 01CAPTURE
Capturar
Voz, documentos y fotos entran por WhatsApp con webhooks firmados.
- 02AUDIT
Interpretar
DeepSeek lee la intención; JEV la audita con opciones cerradas y confianza.
- 03CONFIRM
Confirmar
Cada campo espera revisión humana; nada se ejecuta sin confirmación.
- 04MEMORY
Recordar
Memoria canónica con procedencia y búsqueda aislada por cuenta, workspace y owner.
- 05BILLING
Facturar
Loop de billing en sandbox: quotes inmutables, webhooks idempotentes y entitlements.
PROOF / WHAT IS ACTUALLY SHOWN
Evidencia, no decoración.
Las etiquetas indican si el dato fue observado, proviene del artefacto o corresponde al registro profesional del caso.
SCOPE / HONEST BOUNDARIES
Lo demostrado y lo que aún requiere validación.
Un portafolio técnico también debe mostrar dónde termina la evidencia disponible.
- El piloto vive en staging: el cobro comercial está apagado hasta que existan aprobaciones externas —una decisión explícita, no un pendiente olvidado.
- JEV es un evaluador probabilístico: audita, ordena y baja confianza; la autoridad permanece en el código.
- No se publican credenciales ni datos de tenants; la demo se comparte de forma coordinada.
CASE 10 / LÍA