Test del módulo · Semana 4

Test: Ingeniería de prompts, gobierno y APIs de los modelos

Preguntas al estilo del examen. Contesta, pulsa «Comprobar» y lee siempre la explicación, también cuando aciertes: ahí está lo que de verdad se aprende.

29 preguntasComprobadas: 0/29

1. Una aseguradora tiene doce aplicaciones que usan el mismo system prompt con la definición de rol del asistente y sus reglas de estilo. Hoy el prompt está copiado en el código de cada aplicación y cada cambio exige doce despliegues. Se pide centralizarlo, versionarlo de forma inmutable y poder cambiar la versión que usa cada aplicación sin redeplegar código. ¿Qué solución cumple los requisitos con LEAST operational overhead?

A. Guardar el prompt en una tabla de Amazon DynamoDB con un atributo de versión, leerlo al arrancar cada función y construir en el código el sustituto de las variablesB. Prompt Management con versiones, y el ARN de la versión activa de cada aplicación en AWS AppConfigC. Crear un alias de Prompt Management llamado prod y actualizarlo en cada publicaciónD. Mover el system prompt a variables de entorno de AWS Lambda y actualizarlas con AWS CloudFormation en cada cambio

2. Un desarrollador invoca con la API Converse un prompt de Amazon Bedrock Prompt Management usando el ARN de su versión 3 como modelId, rellena las variables en promptVariables y añade inferenceConfig con temperature 0,2 para una prueba. La llamada devuelve ValidationException. ¿Qué debe hacer?

A. Añadir el permiso bedrock:RenderPrompt a su rol, porque ValidationException indica falta de permisosB. Sustituir el ARN de la versión por el ARN del borrador, que sí admite inferenceConfigC. Quitar inferenceConfig y fijar la temperatura en la variante del prompt, publicando otra versiónD. Cambiar a InvokeModel, que admite prompts gestionados configurados para modelos de cualquier proveedor y acepta parámetros de inferencia en el cuerpo de la petición

3. Un equipo encadena tres prompts con una rama condicional y un nodo de Knowledge Base. Necesita que la aplicación invoque siempre el mismo identificador estable y poder volver en segundos a la versión anterior si la nueva empeora, sin cambiar código. ¿Qué debe usar?

A. Un Bedrock Flow con versiones y un alias; rollback apuntando el alias a la versión anteriorB. Un alias de Amazon Bedrock Prompt Management para cada uno de los tres promptsC. Una función de AWS Lambda que concatena los tres prompts y la consulta a la Knowledge Base, desplegada con versiones y aliases de Lambda para poder volver atrásD. Tres llamadas encadenadas a Converse con los ARN de las versiones escritos en el código de la aplicación

4. Una entidad bancaria regulada exige para sus prompts de IA generativa: revisión y aprobación antes de producción, registro de quién crea o modifica cada prompt y conservación de los prompts y respuestas intercambiados con los modelos para auditoría. ¿Qué TRES elementos cubren estos requisitos? (Elige tres)

A. Un pipeline de AWS CodePipeline que ejecuta pruebas, incluye una acción de aprobación manual y solo después llama a CreatePromptVersionB. AWS CloudTrail para registrar las llamadas a la API de Prompt Management, como CreatePrompt, UpdatePrompt y CreatePromptVersionC. El model invocation logging de Amazon Bedrock enviando prompts y respuestas a Amazon CloudWatch Logs o a Amazon S3D. AWS X-Ray como registro de auditoría de los cambios en el contenido de los promptsE. Guardar los prompts en variables de entorno cifradas de AWS Lambda para impedir modificacionesF. Amazon Comprehend para aprobar automáticamente los prompts que no contengan entidades

5. Tras una modificación aparentemente menor de un prompt de extracción, el 15 % de las respuestas de producción empezaron a llegar con un JSON inválido y nadie lo detectó durante dos días. El equipo quiere evitar que vuelva a ocurrir en futuros cambios de prompt o de modelo. ¿Qué solución es la MÁS completa?

A. Bajar la temperatura a 0 en todos los prompts para que las respuestas sean siempre igualesB. Revisar manualmente diez respuestas aleatorias después de cada despliegue y abrir una incidencia si alguna de ellas contiene un JSON que no se puede parsearC. Aumentar maxTokens para que el JSON no quede cortadoD. Conjunto de oro en el pipeline, validadores Lambda con JSON Schema y métricas y alarmas por versión en CloudWatch

6. Antes de publicar un nuevo prompt de clasificación, un equipo quiere probar en paralelo 2.000 casos frontera (entradas vacías, textos muy largos, otros idiomas, intentos de inyección de instrucciones), reintentar los fallos transitorios y obtener un informe agregado, sin mantener servidores. ¿Qué servicio de orquestación es el más adecuado?

A. Una instancia de Amazon EC2 con un script que recorre los casos de uno en uno, guarda los resultados en un fichero local y reintenta manualmente los que fallanB. AWS Step Functions con un estado Map, reintentos por caso y agregación finalC. Amazon Bedrock Guardrails configurado en modo de prueba sobre los 2.000 casosD. Una regla de Amazon EventBridge que invoca el modelo cada minuto con un caso distinto

7. Un modelo clasifica incidencias en cinco categorías internas con nombres poco intuitivos (por ejemplo, N2-RED o N3-APP). Con una instrucción zero-shot detallada, las etiquetas son inconsistentes y a veces el modelo inventa categorías nuevas. No hay presupuesto ni datos para un fine-tuning. ¿Qué técnica de prompting es la más adecuada como siguiente paso?

A. Few-shot: ejemplos reales etiquetados de todas las categorías y respuesta limitada a la listaB. Subir la temperatura a 0,9 para que el modelo explore más opciones de etiquetaC. Chain-of-thought sin restricciones de formato, para que el modelo explique libremente su razonamiento sobre cada incidencia antes de elegir una categoríaD. Eliminar el system prompt para que el modelo no se confunda con demasiadas instrucciones

8. Un asistente calcula indemnizaciones aplicando cinco reglas encadenadas (franquicia, límites anuales, coberturas excluidas, coaseguro e impuestos). Con una instrucción directa, el modelo acierta el importe solo en el 60 % de los casos de prueba. La aplicación necesita extraer el importe final de forma automática. ¿Qué cambio en el prompt es el MÁS adecuado?

A. Pedir que responda solo con el número para ahorrar tokensB. Traducir las cinco reglas y los casos al inglés antes de enviarlos, ya que los modelos fundacionales solo razonan de forma fiable con cálculos en ese idiomaC. Razonamiento paso a paso en una etiqueta y el importe final en otra etiqueta que la aplicación parseaD. Añadir al final del prompt la frase sé muy preciso con los cálculos

9. Un sistema de facturación consume la respuesta de un modelo de Amazon Bedrock y exige que cumpla siempre un JSON Schema con campos obligatorios y enumeraciones cerradas. El equipo quiere eliminar su lógica de reintentos por JSON inválido. El modelo elegido admite structured outputs según su ficha. ¿Qué debe hacer?

A. Añadir al prompt un ejemplo del JSON esperado y la instrucción de no escribir nada másB. Usar temperature 0 y topP 1 para que la salida sea deterministaC. Validar la salida con una Lambda y reintentar hasta tres veces si no cumple el esquemaD. Enviar el esquema en outputConfig.textFormat con type json_schema en la API Converse

10. Un equipo usa Amazon Nova Lite por coste para extraer datos de albaranes a JSON. Al intentar activar structured outputs con outputConfig en Converse recibe un error, y la ficha del modelo indica que no admite esa capacidad. No quieren cambiar de modelo. ¿Qué enfoque ofrece la mayor fiabilidad de formato con este modelo?

A. Usar como extractor una herramienta cuyo inputSchema sea el esquema, y validar con JSON Schema en LambdaB. Pedir la salida en XML y convertirla después a JSON con una expresión regularC. Subir maxTokens al máximo del modelo para que el JSON no se corte nuncaD. Enviar el JSON Schema en additionalModelRequestFields, ya que ese campo activa las salidas estructuradas en cualquier modelo aunque su ficha no lo indique

11. Un chatbot sin estado implementado con Amazon API Gateway y AWS Lambda pierde el hilo: cuando el usuario pregunta y en Portugal, el modelo no sabe de qué se hablaba. Además, algunas conversaciones duran horas. Se busca la solución serverless más adecuada para mantener el contexto. ¿Qué debe hacer?

A. Guardar el historial en variables globales de la función Lambda para reutilizarlo entre invocacionesB. Activar prompt caching en las llamadas a Converse, porque la caché hace que el modelo recuerde automáticamente las conversaciones anteriores de cada usuarioC. Historial por session_id en DynamoDB con TTL, enviado en messages y recortado o resumidoD. Aumentar la ventana de contexto del modelo mediante additionalModelRequestFields

12. Una operadora quiere un asistente de reclamaciones que detecte la intención del cliente (baja, avería, facturación) y que, si falta un dato obligatorio como el número de contrato, lo pida y espere la respuesta antes de invocar al modelo que redacta la resolución. ¿Qué DOS servicios cubren estas necesidades según los patrones del temario? (Elige dos)

A. Amazon Comprehend con un clasificador personalizado para reconocer la intenciónB. AWS Step Functions con un flujo de aclaración que pausa la ejecución con un task token hasta recibir el datoC. Amazon Bedrock Guardrails para detectar la intención con denied topicsD. Amazon Kendra para almacenar el estado de la conversaciónE. Amazon CloudWatch Synthetics para pedir al usuario los datos que faltan

13. Un equipo de analistas sin perfil de programador debe mantener un proceso que resume un documento, lo clasifica y, según la categoría, lo traduce o lo envía a una Knowledge Base para enriquecerlo. Los prompts deben ser componentes reutilizables y gobernados, y habrá algún paso de preprocesado en Lambda. ¿Qué solución encaja mejor?

A. Un agente con Strands Agents que decida en cada ejecución qué pasos seguirB. Una aplicación en contenedores en Amazon ECS que encadena las llamadas a Converse y a la Knowledge Base, con los prompts almacenados en ficheros de configuraciónC. Varias funciones de AWS Lambda que se invocan entre sí de forma síncronaD. Amazon Bedrock Flows con nodos Prompt (de Prompt Management), Condition, Knowledge base y Lambda

14. En un Amazon Bedrock Flow, un nodo Condition compara la salida de un nodo Prompt con la cadena urgente para enviar el ticket por la rama prioritaria. En las pruebas, muchos tickets urgentes acaban en la rama por defecto; los logs muestran salidas como Urgente o urgente. con punto final. ¿Cuál es la mejor corrección?

A. Cambiar el orden de las condiciones del nodo Condition para que la rama por defecto se evalúe siempre en último lugar y así capture menos ticketsB. Normalizar la salida del Prompt con un nodo Lambda o de código en línea antes del ConditionC. Subir la temperatura del prompt para que el modelo varíe menosD. Sustituir el nodo Condition por un nodo Iterator

15. Una startup usa hoy un modelo de Anthropic con InvokeModel y quiere comparar en producción otros proveedores disponibles en Amazon Bedrock, cambiando de modelo con el mínimo cambio de código y sin reescribir el formato de las peticiones ni el parseo de las respuestas, incluidas las llamadas a herramientas. ¿Qué debe hacer?

A. Migrar a Converse y guardar el modelId en AWS AppConfigB. Mantener InvokeModel y escribir un adaptador por proveedor que traduzca el cuerpo de la petición y el formato de la respuesta, incluidas las llamadas a herramientasC. Usar InvokeModelWithResponseStream, que normaliza el formato entre proveedoresD. Desplegar cada modelo en un endpoint de Amazon SageMaker AI con el mismo contenedor

16. Un desarrollador intenta generar embeddings con Amazon Titan Text Embeddings V2 usando la API Converse y recibe un error. Necesita generar embeddings para 5.000 fragmentos desde una función de AWS Lambda. ¿Qué debe hacer?

A. Usar ConverseStream, que admite modelos de embeddingsB. Usar RetrieveAndGenerate con el modelo de embeddings como modelArnC. InvokeModel con el cuerpo nativo del modelo (inputText y dimensions)D. Converse con additionalModelRequestFields indicando el tipo de salida embedding y el número de dimensiones deseado para el vector

17. Un asistente web usa Amazon API Gateway (REST), AWS Lambda y InvokeModel. Las respuestas tardan entre 12 y 20 segundos en generarse y los usuarios abandonan porque no ven nada hasta el final. El equipo quiere seguir usando las capacidades de API Gateway (usage plans, validación, AWS WAF). ¿Qué cambio mejora MÁS la experiencia?

A. Aumentar la memoria de la función Lambda a 10 GB y su timeout al máximo, porque más memoria aporta más CPU y acelera la generación del modeloB. Añadir Amazon CloudFront con caché delante de la APIC. Cambiar a un tipo de endpoint edge-optimized en API GatewayD. ConverseStream en una Lambda con streaming y la integración en modo responseTransferMode STREAM

18. Una aplicación móvil usa una API GraphQL de AWS AppSync. Se quiere añadir una función de resumen de documentos cuyas generaciones tardan entre 30 y 60 segundos, mostrando el texto al usuario a medida que se genera. ¿Qué diseño es el adecuado?

A. Un resolver con la fuente de datos Amazon Bedrock de AppSync que llame a Converse de forma síncronaB. Mutación que lanza una Lambda asíncrona con ConverseStream que publica fragmentos por suscripciónC. Un resolver HTTP que llame directamente al endpoint de Bedrock sin autenticaciónD. Aumentar el timeout del resolver de AppSync a 60 segundos, invocar la fuente de datos Bedrock y devolver la respuesta completa cuando termine la generación

19. En las campañas de rebajas, una aplicación de atención al cliente recibe picos de peticiones y las llamadas a Amazon Bedrock fallan con ThrottlingException (HTTP 429). Las respuestas pueden tardar unos minutos en llegar al cliente durante los picos. ¿Qué combinación es la MÁS adecuada?

A. Reintentar inmediatamente cada petición fallida en un bucle hasta que funcioneB. Cambiar de InvokeModel a Converse, que no está sujeto a cuotasC. Backoff exponencial con jitter en el SDK y una cola SQS con consumidores de concurrencia limitadaD. Aumentar la memoria y el timeout de la función Lambda que invoca al modelo, y activar la concurrencia aprovisionada para que haya más instancias disponibles en los picos

20. Un equipo define la política de reintentos de su capa de integración con Amazon Bedrock Runtime. ¿Qué DOS excepciones deben reintentarse con backoff exponencial y jitter? (Elige dos)

A. ValidationExceptionB. ThrottlingExceptionC. AccessDeniedExceptionD. ServiceUnavailableExceptionE. ResourceNotFoundException

21. Un asistente de soporte técnico mantiene conversaciones muy largas en las que los usuarios pegan logs extensos. A partir de cierto punto, todas las llamadas a Converse de esa sesión fallan con ValidationException indicando que la entrada es demasiado larga. ¿Qué solución es la adecuada?

A. Reintentar la llamada con backoff exponencial hasta que funcioneB. Solicitar un aumento de la cuota de tokens por minuto de la cuenta para el modelo, de forma que admita peticiones con más tokens de entrada en cada sesiónC. Cambiar el modo de reintentos del SDK a adaptiveD. Controlar el contexto: ventana deslizante, resumen de turnos antiguos y recorte de los logs

22. Los usuarios de un generador de informes se quejan de que algunos informes terminan a mitad de frase. En los logs, esas respuestas de Converse tienen stopReason igual a max_tokens y no hay errores. ¿Qué debe hacer el equipo?

A. Comprobar stopReason y ajustar maxTokens (sin superar el máximo del modelo) o acortar lo pedidoB. Tratar la respuesta como ThrottlingException y reintentarla con backoffC. Activar un guardrail, porque max_tokens indica que un filtro ha cortado la respuestaD. Aumentar el timeout de lectura del cliente HTTP del SDK, porque la respuesta se está cortando cuando la generación supera el tiempo máximo de espera configurado

23. Una empresa con sede en Madrid ejecuta su asistente en eu-south-2 y debe mantener el procesamiento dentro de la UE. En horas punta sufre ServiceUnavailableException ocasionales con el modelo principal. Quiere mejorar la disponibilidad sin cambios manuales durante los incidentes. ¿Qué combinación es la MÁS adecuada?

A. Usar el perfil de inferencia global del modelo, que aprovecha la capacidad de todas las regiones comerciales de AWS y reduce el coste por tokenB. Perfil geográfico EU con reintentos y un modelo de fallback en AWS AppConfigC. Contratar Provisioned Throughput en eu-south-2 para el perfil de inferencia de la UED. Desplegar una segunda cuenta en us-east-1 y conmutar a ella con Amazon Route 53 durante los incidentes

24. Varias aplicaciones internas (en AWS Lambda, contenedores de Amazon ECS y un sistema heredado en las instalaciones) deben enviar documentos para su análisis con un modelo de Amazon Bedrock. La carga es muy irregular, los resultados pueden tardar varios minutos y hay que evitar saturar las cuotas del modelo. ¿Qué arquitectura es la MÁS adecuada?

A. Que cada aplicación invoque directamente el modelo de forma síncrona con el SDK de su lenguaje y reintente sin límite hasta obtener respuesta, sin coordinación entre aplicacionesB. Una API de Amazon API Gateway que invoca el modelo de forma síncrona con una integración de 29 segundosC. API que encola en SQS; consumidores Lambda con concurrencia limitada invocan Bedrock, guardan en DynamoDB y notificanD. Enviar los documentos por correo a un buzón que revisa un operador y los pega en la consola de Bedrock

25. Una empresa ofrece a sus socios una API de generación de descripciones de productos basada en Amazon Bedrock. Quiere rechazar las peticiones mal formadas antes de gastar tokens y limitar el número de peticiones por socio según su contrato. ¿Qué funcionalidades de Amazon API Gateway debe usar?

A. Request validators con modelo JSON Schema y usage plans con API keys por socioB. Una caché de API Gateway con un TTL de una hora para todas las respuestasC. Un autorizador de AWS Lambda que valide el esquema del cuerpo de cada petición y cuente las peticiones de cada socio en una variable global de la funciónD. Un endpoint privado de API Gateway accesible solo desde la VPC de la empresa

26. Un servicio recibe peticiones de tres tipos: generación de código, preguntas legales y conversación general. Cada tipo obtiene mejores resultados con un FM especializado distinto. El tipo no viene indicado en la petición y la decisión debe quedar trazada paso a paso para auditoría. ¿Qué arquitectura implementa el enrutado dinámico por contenido?

A. Enviar todas las peticiones al modelo más grande y capaz disponible en Amazon Bedrock, de modo que no sea necesario clasificarlas ni mantener varios modelosB. Una regla de Amazon EventBridge que elige el modelo según la hora del díaC. Un parámetro de la aplicación cliente que indique qué modelo usarD. Step Functions: clasificación con un modelo barato y estado Choice hacia el FM especializado

27. Un chatbot de una universidad recibe miles de preguntas al día; la mayoría son sencillas (horarios, plazos) y unas pocas requieren razonamiento complejo. Hoy todas van a un modelo grande y caro. Se quiere reducir el coste manteniendo la calidad en las preguntas difíciles. ¿Qué DOS enfoques son adecuados? (Elige dos)

A. Amazon Bedrock Intelligent Prompt Routing, usando el ARN de un prompt router como modelId para repartir entre modelos de una misma familia según la complejidad previstaB. Contratar Provisioned Throughput para el modelo grandeC. Una cascada: responder primero con un modelo pequeño y escalar al grande cuando una validación o una puntuación de confianza no se cumplaD. Subir la temperatura del modelo grande para acortar las respuestasE. Añadir un guardrail que bloquee las preguntas complejas

28. Un asistente de banca usa tool use con la API Converse para consultar saldos y programar transferencias mediante APIs internas. En pruebas, el modelo a veces inventa números de cuenta con formato incorrecto, y una API caída provocó un bucle de llamadas repetidas. ¿Qué TRES prácticas aumentan la fiabilidad de la integración? (Elige tres)

A. Validar en el código los argumentos de cada toolUse (formato, rangos, pertenencia al usuario) antes de ejecutar la herramientaB. Devolver los fallos al modelo como toolResult con status error y un mensaje claro, para que pueda corregirse o informar al usuarioC. Limitar el número de iteraciones del bucle de herramientas y degradar a un agente humano al alcanzarloD. Permitir que el modelo ejecute directamente las APIs internas con las credenciales del rol de la aplicaciónE. Eliminar las descripciones de las herramientas para que el modelo no se confundaF. Subir la temperatura para que el modelo pruebe argumentos distintos en cada intento

29. Una aplicación compuesta por Amazon API Gateway, dos funciones de AWS Lambda, una Knowledge Base y llamadas a Converse tiene una latencia p95 de 9 segundos. El equipo no sabe si el tiempo se va en la recuperación, en la generación o en la propia Lambda. ¿Qué debe usar para localizar el cuello de botella entre servicios?

A. AWS CloudTrail, que registra cada llamada a la API con su duración y permite reconstruir el tiempo consumido por la recuperación y por la generaciónB. AWS X-Ray con trazado activo en API Gateway y en las Lambda, instrumentando el SDKC. Amazon Inspector para analizar el rendimiento del código de las funcionesD. AWS Trusted Advisor para obtener recomendaciones de latencia