Riesgo de crédito · Modelos
Qué revisar antes de validar un modelo de riesgo de crédito
Una guía para ordenar la pregunta, los datos y la evidencia antes de comparar métricas de un modelo.
Bayes Advisory ·
Primero, definir qué se quiere comprobar
Validar un modelo no comienza con un gráfico de desempeño. Comienza con una definición compartida de la decisión que apoya, la población a la que se aplica y el momento en que se calcula la predicción.
Conviene dejar por escrito el evento que se quiere anticipar, su horizonte, la unidad de observación y las exclusiones. Si cualquiera de esos elementos cambia entre desarrollo y uso, una buena métrica histórica puede responder una pregunta distinta de la que tiene el equipo hoy.
Reconstruir la información disponible en cada fecha
Cada variable debe haber estado disponible cuando se habría tomado la decisión. Una actualización posterior, una cobranza futura o una transformación ajustada con toda la muestra pueden filtrar información del resultado hacia el modelo.
La revisión debe seguir el recorrido de los datos: origen, fecha de disponibilidad, uniones, faltantes, transformaciones y versión del conjunto usado. Separar entrenamiento y evaluación antes de ajustar transformaciones ayuda a evitar estimaciones demasiado optimistas.
Evaluar el comportamiento que importa
Una sola cifra no describe todo el desempeño. Según el uso del score, puede importar la capacidad de ordenar casos, la calidad de las probabilidades, la estabilidad entre periodos y el comportamiento en segmentos relevantes. También hay que mirar el tamaño de cada segmento y la incertidumbre de las estimaciones.
La comparación debe usar una muestra que se parezca al uso previsto y que no haya servido para elegir el modelo. Si el proceso cambia con el tiempo, una partición temporal suele dar una señal más útil que mezclar observaciones de distintos momentos sin justificación.
Dejar una conclusión que se pueda revisar
El resultado de la validación debería decir qué se probó, con qué datos, qué se observó y dónde falta evidencia. Documentar límites y condiciones de seguimiento permite decidir si hace falta corregir datos, recalibrar, probar más tiempo o mantener una revisión humana.
Esta es una guía metodológica para examinar modelos y datos; no reemplaza la evaluación de las políticas ni las responsabilidades propias de cada institución.