Test del módulo · Semana 9

Test: Coste, rendimiento y monitorización de aplicaciones de IA generativa

Preguntas al estilo del examen. Contesta, pulsa «Comprobar» y lee siempre la explicación, también cuando aciertes: ahí está lo que de verdad se aprende.

29 preguntasComprobadas: 0/29

1. Una empresa de telecomunicaciones tiene un asistente RAG en Amazon Bedrock con Amazon Nova Lite que atiende 100.000 preguntas al mes. Cada petición incluye un system prompt de 1.500 tokens, 5 fragmentos recuperados (2.000 tokens), el historial y la pregunta del usuario. Un guardrail de Amazon Bedrock con filtros de contenido y denied topics se aplica a la entrada completa de cada petición. El análisis de Cost Explorer muestra que Guardrails supone el 60 % del gasto de Bedrock. El equipo de seguridad exige seguir filtrando lo que escriben los usuarios. ¿Qué cambio reduce MÁS el coste sin debilitar ese control?

A. Cambiar el modelo de generación de Nova Lite a Nova Micro, que tiene un precio por token de entrada y de salida bastante más bajo en todas las regiones.B. Contratar Provisioned Throughput con compromiso de 6 meses para obtener un precio por hora inferior al de los tokens on-demand.C. Evaluar con el guardrail de entrada solo la pregunta del usuario, marcándola con bloques guardContent.D. Mover las peticiones a batch inference para obtener un 50 % de descuento en los tokens y en las evaluaciones del guardrail.

2. Un despacho de abogados ha creado una aplicación en la que el usuario carga un contrato de unos 50.000 tokens y hace entre 10 y 20 preguntas sobre él en una sesión de unos 15 minutos. Usan Claude Sonnet 4.5 con la API Converse. Las preguntas son distintas entre sí. Quieren reducir el coste de tokens de entrada y el tiempo hasta el primer token de las preguntas posteriores a la primera, con el menor cambio posible en la aplicación. ¿Qué deben hacer?

A. Añadir un cachePoint en el bloque system justo después del contrato.B. Implantar una caché semántica en Amazon ElastiCache con búsqueda vectorial para reutilizar las respuestas de preguntas parecidas.C. Enviar las preguntas de cada sesión a un trabajo de batch inference para aprovechar el descuento del 50 %.D. Aumentar maxTokens para que el modelo responda todas las preguntas previsibles en la primera llamada.

3. Un equipo activó prompt caching explícito en su chatbot. El system prompt empieza con la línea «Fecha y hora actuales: …» y el nombre del usuario, seguido de 6.000 tokens de instrucciones y políticas que no cambian, y termina con un cachePoint. Tras una semana, la respuesta de Converse muestra siempre cacheReadInputTokens = 0 y cacheWriteInputTokens mayor que cero. ¿Cuál es la causa y la solución?

A. El TTL de 5 minutos es demasiado corto para este tráfico; hay que cambiar el cachePoint a una caché de 1 hora para que empiecen a producirse lecturas entre peticiones espaciadas.B. Prompt caching no funciona con la API Converse; hay que migrar a InvokeModel y usar cache_control.C. El prefijo supera el máximo de tokens cacheables; hay que dividir las políticas en cuatro checkpoints.D. El prefijo varía en cada petición (fecha, hora, usuario): hay que poner primero lo estático, luego el cachePoint y al final lo variable.

4. Una startup usa Claude Haiku 4.5 en Amazon Bedrock para un agente cuyo system prompt más las definiciones de herramientas suman unos 3.000 tokens. Han añadido un cachePoint al final de las herramientas, pero ni cacheWriteInputTokens ni cacheReadInputTokens aparecen con valores mayores que cero, y la petición no devuelve ningún error. ¿Por qué?

A. Las definiciones de herramientas no admiten checkpoints de caché en Claude; solo el campo messages.B. El prefijo no llega al mínimo de 4.096 tokens por checkpoint de Claude Haiku 4.5: la petición funciona, pero no se cachea.C. Prompt caching solo está disponible con Provisioned Throughput; en inferencia on-demand los checkpoints se aceptan pero se ignoran sin devolver ningún error.D. Hay que activar prompt caching en la configuración de la cuenta con la API PutModelInvocationLoggingConfiguration.

5. Un marketplace necesita generar cada noche descripciones de 2 millones de productos nuevos con un modelo de Amazon Bedrock. Los resultados se usan a la mañana siguiente. No hay herramientas ni salida con esquema estricto. El equipo quiere la opción MÁS rentable y con LEAST operational overhead, sin gestionar throttling ni reintentos.

A. Invocar el modelo on-demand desde una flota de funciones Lambda alimentadas por una cola de Amazon SQS con concurrencia reservada y una cola de mensajes fallidos para los reintentos.B. Lanzar un trabajo de batch inference con ficheros JSONL en S3 (CreateModelInvocationJob) y aviso de fin por EventBridge.C. Invocar con el service tier Flex desde un clúster de Amazon ECS que gestione los reintentos por throttling.D. Comprar Provisioned Throughput con compromiso de 1 mes para disponer de capacidad dedicada durante la noche.

6. Un equipo evalúa mover a batch inference un proceso diario que hoy invoca Amazon Bedrock on-demand. ¿Qué dos características del proceso actual impiden usar batch inference tal cual? (Elige dos)

A. El modelo debe invocar herramientas (tool calling) para consultar precios durante la generación.B. Los resultados se necesitan en las 24 horas siguientes.C. El coste depende de prompt caching para reutilizar un prefijo de 10.000 tokens común a todas las peticiones.D. Las entradas se pueden escribir como líneas JSONL en Amazon S3.E. El modelo usado es Amazon Nova Lite en modo on-demand.

7. Una empresa de medios tiene un pipeline de enriquecimiento de artículos que llama síncronamente a la API Converse de Amazon Bedrock y usa tool calling para consultar un tesauro interno. El pipeline tolera esperas de varios minutos y ya reintenta con backoff. Dirección pide reducir a la mitad el coste de inferencia sin rediseñar la integración hacia ficheros en S3. ¿Qué deben hacer?

A. Migrar el pipeline a batch inference con entradas JSONL en Amazon S3.B. Cambiar al perfil de cross-Region inference global para obtener el descuento de la inferencia global.C. Enviar las peticiones con serviceTier de tipo flex en la llamada a Converse.D. Pasar al tier Reserved con compromiso de un mes para obtener un precio fijo por cada 1.000 TPM de entrada y de salida.

8. Un banco atiende con Amazon Bedrock un chat de clientes y, en la misma cuenta, varios procesos internos. En horas punta el chat sufre latencias altas por la contención de capacidad. El banco quiere que las peticiones del chat se atiendan antes que las demás, está dispuesto a pagar más por ellas y no quiere firmar compromisos de capacidad ni gestionar reservas. ¿Qué solución cumple?

A. Enviar el chat con el service tier Priority y dejar los procesos internos en Standard o Flex.B. Contratar el tier Reserved de 3 meses a través del equipo de cuenta de AWS para el chat.C. Comprar Provisioned Throughput sin compromiso para el chat al inicio de cada jornada y borrarlo al terminar el horario comercial con una automatización.D. Enviar el chat al tier Flex y los procesos internos a batch inference.

9. Una empresa de software recibe en inglés una mezcla de preguntas sencillas y complejas sobre su producto. Usan un modelo grande de Anthropic en Amazon Bedrock para todo. Quieren enviar automáticamente las preguntas sencillas a un modelo más barato de la misma familia sin perder calidad perceptible, con el MENOR esfuerzo de desarrollo posible. ¿Qué solución recomiendas?

A. Entrenar un clasificador de complejidad en Amazon SageMaker AI y enrutar desde AWS Lambda al modelo correspondiente.B. Configurar una caché semántica en Amazon ElastiCache que devuelva la respuesta del modelo grande a las preguntas sencillas.C. Destilar el modelo grande en uno pequeño con Amazon Bedrock Model Distillation y usar solo el alumno.D. Usar Intelligent Prompt Routing con el prompt router de la familia Anthropic como modelId.

10. Una aseguradora tiene un asistente conversacional cuyo coste mensual crece mucho más que el número de usuarios. El análisis de los invocation logs muestra que las conversaciones largas envían en cada turno todo el historial y 10 fragmentos recuperados, y que la calidad medida con su golden dataset no mejora a partir de 4 fragmentos. ¿Qué dos acciones reducen el coste de tokens sin bajar la calidad medida? (Elige dos)

A. Aumentar maxTokens a 4.096 para que el modelo resuelva más dudas en una sola respuesta.B. Resumir los turnos antiguos del historial cada cierto número de turnos y enviar el resumen en lugar del historial completo.C. Contratar Provisioned Throughput para fijar el coste por hora del modelo.D. Cambiar al perfil global de cross-Region inference aunque los datos de los clientes deban permanecer en la UE.E. Reducir los fragmentos recuperados de 10 a 4, que es donde la calidad deja de mejorar.

11. El portal de ayuda de una aerolínea recibe miles de preguntas al día; alrededor del 40 % son reformulaciones de las mismas 200 dudas («¿cuánto equipaje puedo llevar?», «¿qué peso admite la maleta de mano?»). Las respuestas son iguales para todos los usuarios y cambian pocas veces al mes. Quieren evitar invocaciones al modelo y reducir la latencia de esas preguntas. ¿Qué solución es la más adecuada?

A. Activar prompt caching explícito sobre el system prompt del asistente.B. Guardar un hash SHA-256 del texto exacto de cada pregunta en Amazon DynamoDB y devolver la respuesta si el hash coincide.C. Una caché semántica en ElastiCache for Valkey con búsqueda vectorial, umbral de similitud y TTL.D. Cachear en Amazon CloudFront las respuestas de la API de chat usando el cuerpo de la petición como clave de caché.

12. Tras implantar una caché semántica con umbral de similitud 0,55, los usuarios de una tienda online se quejan de que al preguntar «¿puedo devolver un producto rebajado?» reciben la respuesta sobre «¿puedo devolver un producto defectuoso?». ¿Qué ajuste resuelve el problema manteniendo el beneficio de la caché?

A. Bajar el umbral a 0,3 para que la caché encuentre más coincidencias.B. Subir el umbral de similitud (hacia 0,8) y validarlo con pares de preguntas equivalentes y no equivalentes.C. Sustituir la caché semántica por prompt caching del catálogo de políticas.D. Aumentar el TTL de las entradas de la caché para que las respuestas correctas se conserven más tiempo y desplacen a las incorrectas.

13. Una aplicación de chat interna genera respuestas de unos 800 tokens con Amazon Bedrock. La métrica TimeToFirstToken es de unos 900 ms, pero InvocationLatency ronda los 12 segundos y los usuarios abandonan porque la pantalla se queda en blanco hasta que llega la respuesta completa. ¿Qué cambio mejora MÁS la experiencia con el menor impacto en coste y calidad?

A. Comprar Provisioned Throughput para reducir la latencia del modelo.B. Pasar a batch inference y notificar al usuario cuando la respuesta esté lista.C. Reducir maxTokens a 100 para que todas las respuestas terminen antes.D. Usar ConverseStream y mostrar el texto en la interfaz según llega.

14. Un asistente técnico envía en cada petición un manual estático de 40.000 tokens más 20 fragmentos recuperados de 500 tokens. El tiempo hasta el primer token es de varios segundos y es el principal problema. La evaluación muestra que la calidad es la misma con 5 fragmentos bien ordenados que con 20. ¿Qué dos acciones reducen el TTFT? (Elige dos)

A. Añadir un cachePoint tras el manual estático para que no se reprocese en cada petición.B. Subir la temperatura para que el modelo empiece a generar antes.C. Mover la carga a batch inference para liberar capacidad on-demand.D. Recuperar 5 fragmentos en lugar de 20, usando reranking para quedarse con los más relevantes.E. Cambiar al perfil global de cross-Region inference para usar regiones con menos carga.

15. Una empresa estadounidense ofrece un autocompletado de código que invoca Claude 3.5 Haiku en Amazon Bedrock desde us-east-2. Necesita la menor latencia posible y está dispuesta a pagar un precio algo mayor por token. No quiere cambiar de modelo. ¿Qué configuración debe aplicar?

A. Configurar maxTokens = 8.192 para evitar respuestas truncadas y reintentos.B. Enviar las peticiones con el service tier Flex para aprovechar capacidad ociosa.C. Activar performanceConfig con latency = optimized en Converse mediante el perfil de cross-Region inference.D. Mover el modelo a un endpoint de Amazon SageMaker AI con instancias de GPU dedicadas y auto scaling basado en las invocaciones por instancia.

16. Un flujo de análisis de contratos en AWS Step Functions ejecuta en serie tres llamadas independientes a Amazon Bedrock (extraer cláusulas, detectar riesgos y resumir), cada una de unos 6 segundos, y después una cuarta que combina los resultados. El negocio exige bajar el tiempo total de 24 segundos sin cambiar los modelos. ¿Qué cambio es el más eficaz?

A. Aumentar la memoria de las funciones Lambda que invocan a Bedrock.B. Ejecutar las tres llamadas independientes en un estado Parallel y pasar sus salidas a la llamada final.C. Activar el modo adaptive de reintentos del SDK en las tres llamadas.D. Encadenar las tres tareas en un único prompt muy largo para hacer una sola invocación al modelo en lugar de tres y reducir la sobrecarga de red.

17. Una empresa sanitaria europea usa Amazon Nova Pro on-demand en eu-west-1 y recibe ThrottlingException en los picos de tráfico, que son impredecibles. Los datos no pueden salir de la UE. La dirección no quiere compromisos de capacidad. ¿Qué solución aumenta el throughput disponible cumpliendo los requisitos?

A. Invocar con el perfil de inferencia geográfico de la UE (eu.) y reintentos con backoff exponencial y jitter.B. Invocar a través del perfil global de cross-Region inference, que es más barato y tiene más capacidad.C. Comprar Provisioned Throughput con compromiso de 6 meses, dimensionado para el pico máximo observado durante el último trimestre.D. Mover todas las peticiones a batch inference para que no cuenten en la cuota on-demand.

18. Una aplicación configura maxTokens = 8.192 en todas las llamadas a un modelo de Amazon Bedrock, aunque las respuestas reales rondan los 300 tokens. En horas punta recibe ThrottlingException por tokens por minuto, pese a que la suma de tokens facturados está muy por debajo de la cuota. ¿Cuál es la explicación más probable y la acción recomendada?

A. Los tokens leídos de la caché de prompts cuentan el doble para la cuota de tokens por minuto; hay que desactivar prompt caching durante las horas punta.B. La cuota de tokens por minuto solo cuenta la salida; hay que acortar los prompts.C. El modelo ha pasado a estado Legacy y tiene la cuota reducida; hay que pedir un aumento.D. Bedrock reserva de la cuota la entrada más maxTokens al empezar cada petición: hay que ajustar maxTokens a un valor realista.

19. Un equipo aloja un LLM de código abierto en un endpoint en tiempo real de Amazon SageMaker AI con auto scaling por la métrica SageMakerVariantInvocationsPerInstance. Las peticiones duran entre 5 y 30 segundos y, ante picos, el endpoint escala tarde y las colas de peticiones crecen. ¿Qué cambio mejora la reacción del escalado a este tipo de tráfico?

A. Cambiar el endpoint a batch transform para procesar las peticiones por lotes.B. Aumentar el periodo de enfriamiento del escalado hacia fuera para evitar oscilaciones y aprovechar durante más tiempo cada nueva instancia añadida.C. Usar una política de target tracking con la métrica de alta resolución basada en concurrencia (SageMakerVariantConcurrentRequestsPerModelHighResolution).D. Sustituir el auto scaling por una alarma de CloudWatch que envíe un correo al equipo para que escale a mano.

20. Una Knowledge Base de Amazon Bedrock sobre Amazon OpenSearch Serverless responde bien a preguntas conceptuales, pero falla cuando el usuario pregunta por códigos de pieza exactos como «XR-2231» o por siglas internas. Los documentos contienen esos códigos. ¿Qué cambio mejora la relevancia con el menor esfuerzo?

A. Aumentar la dimensión de los embeddings de 1.024 a 4.096 para captar mejor los códigos.B. Configurar la búsqueda híbrida (overrideSearchType = HYBRID) para combinar la búsqueda semántica con la de palabras clave.C. Sustituir el modelo de generación por uno más grande con más ventana de contexto.D. Subir numberOfResults a 100 para que el código aparezca en algún fragmento.

21. Un proceso extrae campos de facturas a JSON con un modelo de Amazon Bedrock. Con temperature = 0,9 y topP = 0,95, la misma factura produce valores distintos en ejecuciones sucesivas y a veces campos inventados. El equipo quiere respuestas deterministas y fieles. ¿Qué ajuste es el más adecuado?

A. Bajar la temperatura a 0 o cerca de 0 y validarlo con una prueba A/B sobre facturas de referencia.B. Subir topK para que el modelo considere más tokens candidatos.C. Aumentar maxTokens para que el modelo tenga espacio para razonar.D. Activar prompt caching para que las ejecuciones posteriores de la misma factura reutilicen la respuesta generada durante la primera ejecución.

22. El área de cumplimiento de una entidad financiera exige poder reconstruir qué prompt exacto envió cada empleado a Amazon Bedrock y qué respuesta recibió, durante 5 años. AWS CloudTrail está activo en todas las regiones, pero en los eventos de InvokeModel no aparece el contenido. ¿Qué deben configurar?

A. Eventos de datos de CloudTrail para Amazon Bedrock, que incluyen el cuerpo completo de la petición y de la respuesta de cada invocación del modelo.B. Métricas de CloudWatch del namespace AWS/Bedrock con la dimensión del usuario.C. Un endpoint de VPC de Bedrock con políticas de endpoint que registren el tráfico.D. Model invocation logging hacia Amazon S3, con cifrado KMS y ciclo de vida, en cada región usada.

23. Tres unidades de negocio de una empresa comparten la misma cuenta de AWS y el mismo modelo de Amazon Bedrock. Finanzas quiere ver en AWS Cost Explorer el gasto de Bedrock de cada unidad, con el MENOR esfuerzo. ¿Qué dos acciones lo consiguen? (Elige dos)

A. Crear un application inference profile por unidad de negocio con una etiqueta que la identifique y hacer que cada unidad invoque con el ARN de su perfil.B. Añadir requestMetadata con el nombre de la unidad en cada petición.C. Crear un grupo de logs de CloudWatch por unidad para el invocation logging.D. Publicar una métrica personalizada de CloudWatch con los tokens de cada unidad.E. Activar esa etiqueta como cost allocation tag en la consola de Billing and Cost Management.

24. Un agente desplegado en Amazon Bedrock AgentCore Runtime tarda a veces 25 segundos en responder. La métrica InvocationLatency del modelo es normal. El equipo necesita saber qué paso (llamada al modelo, herramienta de CRM, consulta a la base de conocimiento o reintentos) añade el tiempo. ¿Qué debe usar?

A. AWS CloudTrail para ver la duración de cada llamada a la API de Bedrock.B. AgentCore Observability con trazas OpenTelemetry (ADOT) y CloudWatch Transaction Search.C. Cost Explorer filtrado por el servicio Amazon Bedrock AgentCore.D. Las métricas InputTokenCount y OutputTokenCount del namespace AWS/Bedrock, desglosadas por ModelId para cada una de las herramientas del agente.

25. Un equipo quiere enterarse en cuestión de minutos si un cambio de prompt o un agente en bucle dispara el consumo de tokens de salida de su aplicación en Amazon Bedrock. El tráfico tiene un patrón diario y semanal muy marcado, así que un umbral fijo produciría muchas falsas alarmas. ¿Qué solución cumple?

A. Un monitor de AWS Cost Anomaly Detection del tipo servicio de AWS con alertas individuales enviadas por Amazon SNS al equipo de guardia.B. Un presupuesto de AWS Budgets con alertas al 80 % del importe mensual previsto.C. Una alarma de CloudWatch con anomaly detection sobre OutputTokenCount, notificada por Amazon SNS.D. Amazon SageMaker Model Monitor configurado sobre las invocaciones de Bedrock.

26. Una empresa quiere un sistema de observabilidad completo para su asistente de IA generativa en Amazon Bedrock: métricas operativas, detalle de cada interacción, detección de caídas funcionales antes que los usuarios y una métrica de satisfacción de negocio. ¿Qué tres elementos forman parte de la solución? (Elige tres)

A. Activar model invocation logging hacia CloudWatch Logs y usar la vista Model Invocations de CloudWatch generative AI observability.B. Configurar canaries de Amazon CloudWatch Synthetics que envíen preguntas de referencia a la API y comprueben el contenido y el tiempo de respuesta.C. Registrar el contenido de prompts y respuestas con eventos de gestión de AWS CloudTrail.D. Publicar como métrica personalizada de CloudWatch la valoración media que dan los usuarios con los botones de la interfaz.E. Configurar SageMaker Model Monitor para medir la deriva de las respuestas de Bedrock.F. Instalar el daemon de AWS X-Ray en cada cliente como método recomendado para nuevas instrumentaciones.

27. Un equipo descubre que su Knowledge Base de Amazon Bedrock no encuentra información de algunos PDF que están en el bucket de S3 de origen. Los trabajos de ingesta terminan como completados. Necesitan saber, documento a documento, cuáles fallaron y por qué, y vigilarlo de forma continua. ¿Qué deben hacer?

A. Activar los logs de la Knowledge Base (APPLICATION_LOGS) en CloudWatch Logs, buscar EMBEDDING_FAILED o INDEXING_FAILED y alarmar sobre ellos.B. Activar model invocation logging, que registra también en CloudWatch Logs el resultado detallado de la ingesta de cada documento de las Knowledge Bases.C. Consultar AWS CloudTrail para ver el motivo del fallo de cada documento.D. Aumentar la dimensión de los embeddings para que los PDF grandes se indexen correctamente.

28. Una empresa con una cuenta de AWS nueva despliega en octubre de 2026 un modelo propio en un endpoint en tiempo real de Amazon SageMaker AI. Quiere detectar la deriva en las entradas y en la calidad de las respuestas. Un consultor propone Amazon SageMaker Model Monitor. ¿Qué deberías recomendar?

A. Usar SageMaker Model Monitor, que es la opción gestionada estándar para detectar la deriva de datos y de calidad en cualquier endpoint de SageMaker AI.B. Activar model invocation logging de Amazon Bedrock para el endpoint de SageMaker AI.C. Capturar las peticiones y respuestas del endpoint en S3, evaluar muestras periódicamente con métricas personalizadas y alarmar con anomaly detection.D. Usar AWS CloudTrail para comparar las respuestas del modelo a lo largo del tiempo.

29. Un agente de atención al cliente invoca varias herramientas, entre ellas una API de CRM expuesta a través de AgentCore Gateway. En un incidente, un error de razonamiento hizo que el agente llamase al CRM cientos de veces en una conversación. El equipo quiere detectar automáticamente patrones de uso de herramientas anómalos, teniendo en cuenta que el uso normal varía por horas. ¿Qué solución cumple?

A. Revisar cada semana la factura en Cost Explorer filtrando por el servicio AgentCore y por la etiqueta del agente de atención al cliente.B. Configurar un guardrail con denied topics sobre la palabra «CRM».C. Aumentar el timeout de la herramienta para que las llamadas no se repitan.D. Publicar una métrica de llamadas por herramienta y crear sobre ella una alarma de CloudWatch con anomaly detection.