Gonzalo Ruz participó en el conversatorio online «¿Cómo saber si un programa público está funcionando? Datos, IA y evidencia para una mejor gestión».
La ciencia de datos y la inteligencia artificial pueden mostrar cómo avanza un programa público y para quiénes funciona mejor, pero no bastan para demostrar que ese programa causó un cambio. Así lo planteó Gonzalo Ruz Heredia, director del Núcleo Milenio para la Ciencia de Datos Sociales (SODAS), en el conversatorio online «¿Cómo saber si un programa público está funcionando? Datos, IA y evidencia para una mejor gestión», organizado por el Diplomado en Herramientas de Inteligencia Artificial para Políticas Públicas del GobLab UAI y realizado el 27 de octubre.
Ruz explicó, por ejemplo, que cruzar los registros de beneficiarios con el Registro Social de Hogares permite comparar el desempeño de un programa entre territorios. Las herramientas de aprendizaje automático, en tanto, ayudan a identificar quiénes tienen mayor riesgo de abandonarlo y a detectar anomalías o quiebres en el tiempo. Sin embargo, para saber si el programa realmente causa el cambio se requiere un contrafactual, es decir, una estimación de lo que habría ocurrido sin el programa.
Ruz destacó también el machine learning causal, una línea que incluye algoritmos como Causal Forest. «Eso no reemplaza el contrafactual, pero sí ayuda a responder una pregunta: para quién funciona», señaló. Según explicó, el programa Yo Elijo mi PC podría servir como ejemplo de cómo «un efecto promedio nulo puede esconder efectos positivos en algunos subgrupos».
Respecto de la confiabilidad, Ruz afirmó que la validación contra referencia humana, por subgrupos y continua es «casi una obligación». Esto, porque un modelo con 90% de acierto general puede rendir peor en una región o en un tipo de beneficiario, y porque los datos pueden cambiar durante la implementación.
Cuando un modelo afecta a personas, recomendó partir con uno simple e interpretable. «Las personas lo van a exigir y la persona que está evaluando también va a tener que defender esa decisión», dijo. Agregó que debe revisarse si los errores se reparten de forma desigual entre grupos, pues en la focalización de un programa «un error de exclusión tiene un costo social».
El panel también contó con la participación de Paula Darville, exjefa de la División de Control de Gestión Pública de la Dirección de Presupuestos (DIPRES), y Matías Cociña, exjefe de la División de Observatorio Social de la Subsecretaría de Evaluación Social. La moderación estuvo a cargo de Gabriel Duarte Zúñiga.
