Datos · Evaluación de modelos
Cómo definir una línea base para evaluar un modelo challenger
Antes de probar una alternativa, hay que acordar contra qué se compara y qué mejora sería útil en la operación.
Bayes Advisory ·
La comparación empieza antes del entrenamiento
Un challenger puede obtener una métrica atractiva y aun así no aportar una mejora útil. Para saberlo, la línea base debe representar el proceso actual: el modelo vigente, una regla simple o una decisión manual medida de forma consistente.
Antes de entrenar conviene acordar la población, el resultado a predecir, el horizonte, la fecha de corte y la medida principal. La línea base y el challenger deben evaluarse sobre los mismos casos y con información disponible en el mismo momento.
Elegir medidas conectadas con el uso
La métrica depende de la decisión. Ordenar casos, estimar una probabilidad y anticipar una cantidad son tareas diferentes; por eso no conviene usar una sola medida para todas. Además del promedio, hay que revisar errores relevantes para el proceso y segmentos donde el desempeño pueda variar.
Definir de antemano qué cambio justificaría la complejidad adicional ayuda a evitar escoger la métrica que favorece al challenger después de ver los resultados. También conviene medir latencia, disponibilidad de datos y trabajo de mantenimiento cuando afectan la operación.
Reservar evidencia independiente
El conjunto final de evaluación no debería usarse para ajustar hiperparámetros, escoger variables ni decidir el umbral. Cuando hay una secuencia temporal, evaluar en periodos posteriores ayuda a observar si la mejora persiste fuera del intervalo de desarrollo.
Si el challenger cambia la forma de capturar datos o de intervenir casos, las métricas históricas pueden no bastar. Puede ser necesario un piloto controlado y un seguimiento de calidad de datos, resultados y excepciones antes de ampliar su uso.
Cerrar con una decisión proporcional a la evidencia
La conclusión útil no es sólo «ganó» o «perdió». Debe mostrar magnitud de la diferencia, incertidumbre, segmentos, costo de operación y límites. Con esa evidencia, el equipo puede decidir si mantiene la base, prueba el challenger en paralelo o profundiza la evaluación.
La misma disciplina sirve para forecasting, modelos predictivos y automatizaciones que reemplazan una regla existente. Los criterios concretos se acuerdan para cada proceso y sus datos.