Diseño de soluciones de IA generativa: de los requisitos al coste por tokens

• Requisito que decide: permisos por documento + fuentes empresariales (SharePoint) + mínimo esfuerzo operativo → Managed Knowledge Base, que integra conectores de SharePoint y S3 y ACL por documento.
• Datos que cambian a diario → RAG con sincronización incremental, nunca fine-tuning.
• Residencia en la UE → modelos in-Region o perfil de inferencia geográfico eu.; nada de perfiles global..
• Citar la fuente → las citas que devuelve la recuperación de Knowledge Bases.
• Validar antes de ampliar → evaluación de RAG con un conjunto de preguntas de referencia.

flowchart LR
  U["Empleado"] --> FE["Frontend web<br/>Amplify Hosting"]
  FE --> COG["Amazon Cognito<br/>federado con Entra ID"]
  FE --> APIGW["API Gateway<br/>WebSocket API"]
  APIGW --> L["Lambda orquestadora"]
  L --> KB["Managed Knowledge Base<br/>ACL por documento"]
  SP["SharePoint"] --> KB
  S3["Bucket S3<br/>documentos"] --> KB
  L --> GR["Bedrock Guardrails"]
  L --> FM["Modelo vía perfil eu.<br/>ConverseStream"]
  L --> DDB["DynamoDB<br/>historial con TTL"]
  L -.-> CW["CloudWatch<br/>métricas y logs"]
  FM -.-> IL["Invocation logging<br/>S3 cifrado con KMS"]

Flujo:

1. El empleado inicia sesión con su cuenta corporativa (Cognito federado con Entra ID por SAML/OIDC).
2. La pregunta llega por API Gateway WebSocket para poder devolver la respuesta en streaming.
3. La Lambda recupera fragmentos de la Managed Knowledge Base pasando la identidad del usuario, de modo que solo obtiene documentos que puede ver.
4. Construye el prompt (plantilla versionada en Prompt Management) y llama al modelo con ConverseStream y un guardrail asociado (grounding, PII, temas denegados).
5. Devuelve la respuesta con las citas y guarda el turno en DynamoDB (TTL de 30 días).

Alternativas descartadas:

• Fine-tuning: los documentos cambian a diario y el requisito es conocimiento, no estilo.
• Customer-managed KB con OpenSearch Serverless: posible, pero exige implementar tú los permisos por documento (filtros de metadatos con los grupos del usuario) y gestionar el almacén. Más esfuerzo operativo.
• Amazon Q Business / Kendra: resolvían esto históricamente, pero están cerrados a clientes nuevos desde julio de 2026. Para un asistente listo para usar sin desarrollo, la alternativa actual es Amazon Quick.
• Un índice por departamento: se desincroniza y no escala con permisos cruzados.

Supuestos: 2.000 empleados × 10 preguntas × 22 días = 440.000 preguntas/mes. Por pregunta: 3.000 tokens de entrada (1.000 de system prompt e instrucciones + 5 fragmentos de ~350 tokens + historial breve + pregunta) y 400 de salida.

Tokens al mes: entrada 1.320 M; salida 176 M.

Otros conceptos:

Lecturas que valen puntos en el examen:

• Con un modelo pequeño, los tokens dejan de ser el coste principal; la recuperación y los guardrails pesan más. Aplica cada filtro de Guardrails solo donde aporta (por ejemplo, grounding solo a la salida).
• Si Haiku 4.5 no mejora de forma medible la calidad frente a Nova Lite en tu evaluación, el cambio cuesta unos 2.300 USD/mes.
• El número de text units depende de la longitud de cada texto evaluado (según la página de precios de Bedrock, una text unit contiene hasta 1.000 caracteres; un texto más largo cuenta como varias).

• Requisito que decide: agente autónomo con herramientas, memoria entre sesiones, límites de acción (abonos) y framework open source sin servidores → Strands Agents sobre AgentCore Runtime, con Gateway, Memory, Identity y Policy.
• Límite de 50 € → control determinista fuera del modelo (AgentCore Policy y validación en la herramienta), nunca solo una instrucción del prompt.
• Temas prohibidos, PII y prompt injection → Guardrails (denied topics, sensitive information, content filter Prompt Attack).
• Escalado a humano → herramienta de traspaso a Amazon Connect; aprobaciones de más de 50 € con Step Functions y callback.
• Menos de 3 segundos percibidos → streaming y modelo rápido.

flowchart TB
  C["Cliente web o app"] --> APIGW["API Gateway WebSocket<br/>autenticación con Cognito"]
  APIGW --> RT["AgentCore Runtime<br/>agente Strands"]
  RT --> FM["Modelo en Bedrock<br/>con guardrail"]
  RT --> MEM["AgentCore Memory<br/>corto y largo plazo"]
  RT --> GW["AgentCore Gateway<br/>herramientas MCP"]
  GW --> POL["AgentCore Policy<br/>abono máximo 50 EUR"]
  GW --> T1["API de pedidos y averías<br/>OpenAPI"]
  GW --> T2["Lambda de facturas y abonos"]
  GW --> T3["Knowledge Base<br/>tarifas"]
  T2 --> SF["Step Functions<br/>aprobación humana si supera 50 EUR"]
  RT --> HC["Traspaso a Amazon Connect"]
  RT -.-> OBS["AgentCore Observability<br/>CloudWatch y trazas"]

Puntos clave:

• AgentCore Gateway convierte la API REST existente (con su especificación OpenAPI) y las Lambdas en herramientas MCP sin reescribirlas.
• AgentCore Identity gestiona la identidad de entrada (JWT de Cognito) y las credenciales OAuth hacia las APIs internas: la herramienta actúa en nombre del cliente, que solo puede ver sus propios pedidos y facturas.
• AgentCore Policy evalúa cada llamada a herramienta: si el importe del abono supera 50 €, la bloquea y el agente inicia la aprobación humana.
• El agente tiene un máximo de iteraciones y un timeout por herramienta.

Alternativas descartadas:

• Bedrock Agents Classic: cerrado a clientes nuevos desde el 30/07/2026.
• Bedrock Flows: flujo determinista; aquí el agente decide qué herramienta usar y en qué orden.
• Amazon Lex solo: excelente para intenciones cerradas, pero no para conversación abierta con razonamiento sobre herramientas. Puede convivir (por ejemplo, en el canal de voz de Connect).
• Limitar los abonos solo con el prompt: una instrucción no es un control; un ataque de prompt injection la puede saltar.
• Agente en EC2 o EKS: más operación; el enunciado pide no gestionar servidores.

Supuestos: 50.000 conversaciones × 6 turnos = 300.000 turnos. Cada turno hace de media 2 llamadas al modelo (una para decidir la herramienta y otra para responder) → 600.000 llamadas/mes. Por llamada: 4.000 tokens de entrada (2.000 de system prompt y herramientas + historial + resultados de herramienta) y 300 de salida.

Tokens al mes: entrada 2.400 M; salida 180 M.

AgentCore y resto:

Lecturas:

• En agentes, el número de llamadas por turno multiplica el coste: reducir de 2 a 1,5 llamadas por turno ahorra un 25 % de los tokens.
• Prompt caching es la palanca más grande cuando el system prompt y las herramientas son fijos.
• El cómputo de AgentCore Runtime es pequeño frente a los tokens porque se factura por uso activo.

• Requisito que decide: gran volumen sin necesidad de respuesta inmediata + coste mínimo → batch inference de Bedrock (≈ 50 % del precio on-demand).
• Escaneados → Bedrock Data Automation (o Textract) antes del modelo.
• JSON fiable → esquema JSON en la petición y validación posterior con Lambda. Batch inference no admite tool calling ni prompt caching; sobre structured outputs, la documentación se contradice a 01/10/2026 (la página de structured outputs dice que sí; la de batch inference, que no admite response_format), así que no dependas de ello sin validar.
• Trazabilidad → metadatos por registro (modelId, versión del prompt de Prompt Management, fecha) + CloudTrail + invocation logging.

flowchart LR
  M["Correos y PDF<br/>bucket S3 de entrada"] --> EB["EventBridge<br/>programación diaria"]
  EB --> SF["Step Functions"]
  SF --> BDA["Bedrock Data Automation<br/>PDF escaneados"]
  SF --> PREP["Lambda: limpiar texto,<br/>quitar firmas y PII innecesaria,<br/>generar JSONL"]
  BDA --> PREP
  PREP --> JOB["Bedrock batch inference<br/>S3 a S3"]
  JOB --> VAL["Lambda: validar JSON Schema,<br/>reintentar fallidos"]
  VAL --> OUT["S3 resultados<br/>+ carga al sistema de gestión"]
  VAL -.-> DLQ["Registros inválidos<br/>revisión humana"]
  JOB -.-> CW["CloudWatch y<br/>EventBridge: estado del trabajo"]

Alternativas descartadas:

• Llamadas on-demand en bucle con Lambda: el doble de caro y expuesto a throttling.
• Provisioned Throughput: capacidad por hora pagada todo el mes para un trabajo de unas horas al día.
• Fine-tuning: solo si tras optimizar el prompt la exactitud por campo no llega al objetivo.

Supuestos: 300.000 reclamaciones con 1.500 tokens de entrada (instrucciones, ejemplos y correo) y 300 de salida. Tokens al mes: entrada 450 M; salida 90 M.

Más:

Lectura: la diferencia entre la opción más cara y la más barata es de 60 veces. Si la evaluación demuestra que Nova Micro clasifica y extrae con la exactitud necesaria, es la respuesta MOST cost-effective; si no, Haiku 4.5 en batch. En ningún caso on-demand.

Porque el modelo ya habría visto el contenido: el filtrado debe hacerse en la recuperación, antes de construir el prompt. Además, una instrucción del prompt no es un control de seguridad; un ataque de prompt injection puede saltársela. Los permisos se aplican con ACL por documento (Managed KB) o con filtros de metadatos basados en la identidad autenticada.

En el número de llamadas al modelo por turno y en los tokens de entrada por llamada (trazas de AgentCore Observability e invocation logs). Causas típicas: bucles del agente que repiten herramientas, historial que crece sin poda, resultados de herramientas demasiado largos, o prompt caching que no se aplica porque el prefijo cambia en cada llamada (por ejemplo, una fecha al principio del system prompt).

Validar cada salida contra el JSON Schema y reprocesar solo los inválidos (on-demand con structured output si el modelo lo admite, o con un prompt de corrección); si siguen fallando, a revisión humana. Después, analizar el patrón (correos muy largos, caracteres especiales) y ajustar el prompt con ejemplos. No cambies todo el pipeline a on-demand por un 3 %.

El perfil eu. enruta dentro de la UE, no dentro de España. Necesitarías modelos in-Region en eu-south-2 (según la tabla oficial de modelos por región, a 01/10/2026 Titan Text Embeddings V2 está in-Region en eu-south-2, pero los modelos de texto de Nova y Claude solo llegan por perfil EU o global), o un modelo propio desplegado en la región (SageMaker AI o Custom Model Import donde esté disponible). Es un requisito que puede obligar a cambiar de modelo: verifica siempre la tabla de disponibilidad por región.

Con datos: resultados de la evaluación de RAG sobre el golden dataset (exactitud, fidelidad, calidad de las citas), tasa de «no lo sé», satisfacción de los usuarios del piloto, latencia p95 y coste por pregunta (≈ 0,0003 USD de tokens con Nova Lite). Un informe comparativo (5.1.8) con la evolución por versión de prompt es lo que espera el examen como «reporting a stakeholders».