Terminado significa que su equipo lo opera sin nosotros

1. evals/1/6

   Una suite de evaluación que se ejecuta en CI

   • Un conjunto de referencia de casos reales con la respuesta esperada por escrito.
   • Cada cambio de prompt, de modelo o de recuperación (retrieval) se evalúa contra él en CI.
   • Una regresión aparece en el build, no en una demostración.
2. infra/2/6

   Infraestructura como código, versionada y reversible

   • Su proyecto de Google Cloud, su proveedor de identidad, sus registros.
   • Los despliegues de modelos y prompts están versionados y son reversibles.
   • La ruta de reversión está documentada en el runbook (manual de operación).
3. RUNBOOK.md3/6

   Un runbook escrito para la persona de guardia

   • Cada alerta: qué significa, la primera acción, el comando de reversión, a quién llamar.
   • Cómo operar, monitorear y revertir.
   • Cómo se ve lo “normal” en los paneles.
4. decisions/4/6

   Un registro por cada decisión de modelo, prompt y datos

   • Qué se eligió, qué se descartó y la evidencia de la suite de evaluación.
   • Las implicaciones en el manejo de datos se revisan antes de producción.
   • Escrito para que su equipo pueda defender la decisión más adelante sin nosotros.
5. dashboards5/6

   Costo, latencia y calidad que su equipo revisa cada semana

   • Costo y latencia, revisados cada semana por su equipo.
   • La calidad según la suite de evaluación a lo largo del tiempo, no una demostración aislada.
   • Alertas y runbooks listos antes del lanzamiento.
6. your repo6/6

   Todo en sus repositorios y cuentas desde el primer commit

   • Nada se transfiere al final porque nada salió nunca.
   • Un repositorio con el build en verde.
   • Sus ingenieros trabajan junto a los nuestros hasta que lo operan solos.

Las casillas son para usted. No se guarda ni se envía nada. Imprima la página para conservar una copia.