Los políticos se encuentran repetidamente sujetos a considerar si los resultados de un programa específico se pueden generalizar para otros contextos. Es decir, si un proyecto exitoso realizado en determinada área o lugar puede resultar útil en su ámbito de decisión. En este sentido, cabe preguntarse si los hacedores de política deben basarse en menos evidencia rigurosa del contexto local o más evidencia rigurosa de cualquier lado, y si un nuevo experimento debe ser siempre hecho localmente antes de ser escalado. De acuerdo a la publicación de la Stanford Social Innovation Review (SSIR) The Generalizability Puzzle, elaborada por dos miembros del Abdul Latif Jameel Poverty Action Lab (J-Pal), un centro del Massachussets Institute of Technology (MIT), esas preguntas presentan opciones falsas: las evaluaciones de impacto rigurosas se diseñan no para reemplazar la necesidad de datos locales, sino para mejorar su valor. Esta complementariedad entre conocimiento detallado de instituciones locales y el conocimiento global de los comportamientos comunes es fundamental.
Ante la pregunta de si un estudio puede otorgar información a la política sólo del lugar en el que fue hecho, los autores expresan que hay quienes esgrimirían que una evaluación de impacto hecha en Kenya no puede decir algo sobre útil sobre Ruanda porque no sabemos con certeza si los resultados se generalizarán para ese país. Pero la realidad es que nunca podremos predecir el comportamiento humano con certeza. El objetivo de la ciencia social es describir patrones generales que sirvan de guías útiles, como la de que, en general, la demanda cae cuando suben los precios. Describir comportamientos generales es particularmente importante para la política. Las mejores evaluaciones de impacto están diseñadas para probar proposiciones sobre el comportamiento humano. Otro interrogante es si deberíamos usar sólo la evidencia que existe sobre nuestro lugar específico. Existen quienes sugieren que para asegurarse que un programa tenga sentido, los políticos deben basarse mayormente en evidencia local, incluso cuando no sea de buena calidad. A esto los autores responden que a pesar de que la información local es importante, decir que los tomadores de decisión deben ignorar toda la evidencia de otros países, distritos o ciudades por el riesgo de que no se pueda generalizar sería desechar un recurso valorable. El desafío es juntar la información local con la evidencia global, y usarlas para ayudar a entender, interpretar y complementar a la otra. Otra cuestión que surge es si siempre una nueva evaluación aleatoria local precede al momento de escalar un programa. Una respuesta a la preocupación por la relevancia de información local es usar la evidencia global como una fuente para ideas de política, utilizando una evaluación local aleatoria previo a escalarla. De todas maneras, con recursos escasos, no se puede probar rigurosamente cada política en cada país del mundo. Es necesario establecer prioridades. En el artículo destacan que se han hecho más de 30 análisis de 10 evaluaciones aleatorias en nueve países de bajos y medianos ingresos sobre los efectos de transferencias monetarias condicionadas. Si bien todavía hay mucho que se podría aprender sobre el diseño óptimo de estos programas, es poco probable que el mejor uso de los limitados fondos sea hacer una evaluación de impacto aleatoria para cada nuevo programa condicional de transferencia monetaria cuando hay muchos otros aspectos de la política contra la pobreza que aún no han sido rigurosamente probados. Por último, otra pregunta común que surge, según los autores, es cuántas veces un programa debe ser replicado en diferentes contextos antes de que un tomador de decisiones pueda confiar en él. A esto explican que esa es una manera equivocada de pensar. Por ejemplo, un conjunto coordinado de siete evaluaciones aleatorias de un programa intensivo para apoyar a pobres en siete países encontró impactos positivos en la mayoría de los casos. Esta evidencia debería ser considerada de mucho valor en la toma de decisiones.
Los autores remarcan la existencia de enfoques equivocados que podrían bloquear el camino para decidir si introducir un programa o no. Esto se debe a que esos enfoques ignoran la idea clave de una evaluación: lo que potencialmente nos dice sobre el mecanismo y por qué la gente responde de la manera en que lo hace. Enfocarse en los mecanismos, y luego juzgar si es probable que el mecanismo sea aplicado en un contexto diferente tiene un número de ventajas prácticas para la formulación de políticas.
De esa manera, se pone el foco en la evidencia más relevante. Al considerar si implementar una política específica o un programa, es posible que no tengamos mucha evidencia existente sobre ese programa exacto. Pero podemos tener una base de evidencia profunda más general sobre el comportamiento. En segundo lugar, los comportamientos humanos tienen más probabilidades de ser generalizados que los programas específicos. Los autores citan como ejemplo un programa en la India rural dirigido por la organización sin fines de lucro Seva Mandir. El programa organizó campañas de inmunización móvil regulares y, en un subconjunto aleatorio, dio 1 kg de lentejas a los padres en cada visita de inmunización infantil y un conjunto de placas de metal cuando se completó el calendario de inmunización como incentivo. En las comunidades alrededor de los campamentos con incentivos, la inmunización total saltó al 39 por ciento, en comparación con el 6 por ciento en las comunidades de control. El problema no era que los padres desconfiaban de las vacunas. Incluso sin incentivos, el 78 por ciento de los niños recibieron al menos una vacuna. Sin embargo, los incentivos ayudaron a que los padres trajeran a sus hijos regularmente hasta el final de la campaña. El programa específico de provisión de lentejas para fomentar la vacunación puede no aplicarse bien en otros contextos: las lentejas pueden no ser un incentivo particularmente atractivo en otras partes del mundo. Sin embargo, el fracaso de los seres humanos para mantener comportamientos que ayudan a prevenir futuros problemas de salud en general se sostiene: dietas rotas y membresías de gimnasio no utilizadas, por ejemplo. Del mismo modo, la conclusión de que la adopción de medidas preventivas de salud es sensible al precio también se generaliza muy bien. Más de seis evaluaciones aleatorias de seis productos sanitarios preventivos en cinco países muestran que un pequeño recorte de precios puede aumentar drásticamente la demanda de productos sanitarios preventivos. Los incentivos pueden extender esto, ya que pueden reducir el costo total de llevar a los niños a una clínica, lo que podría incluir gastos de viaje y tiempo.
Algunos investigadores han argumentado que deberíamos tener más evaluaciones que se centren en preguntas que sólo se aplican a organizaciones específicas: por ejemplo, ayudando a Seva Mandir a saber si, localmente, los padres responderían mejor a las lentejas o a la harina de trigo. Aunque, a su vez, responder a más preguntas teóricas, como si el acceso a la salud preventiva es altamente sensible a los precios, puede contribuir a las prácticas de muchas otras organizaciones en todo el mundo.
Los autores destacan que centrarse en los mecanismos puede ayudar a identificar las evidencias locales específicas que luego permitirían predecir si un resultado es factible de generalizarse para un nuevo contexto. El sentido común sugiere que es más probable encontrar un resultado parecido en otro contexto si éste es similar al contexto en el que se probó el programa. De todas formas, no hay respuesta absoluta para definir “similar”, ya sea en términos de ingresos, densidad de población, alfabetización o cercanía. Depende de la conducta que interesa y de la teoría.
En el artículo se remarca que la teoría simplifica el mundo para ayudarnos a hacer predicciones sobre el comportamiento y las políticas que probablemente sean efectivas en determinado lugar. Hay muchas maneras de hacer generalizaciones simplificadoras sobre el mundo. La teoría económica nos ayuda a priorizar entre estas simplificaciones. Por ejemplo, sugiere que lo que era importante para dar lentejas en el ejemplo anterior era que eran valoradas localmente. La teoría económica conductual también sugiere que las personas pueden ser más sensibles a los precios de la salud preventiva que a los precios de la atención aguda cuando están enfermos. Por lo tanto, si queremos generalizar la lección de los incentivos que influyen en la adopción de medidas preventivas de salud, debemos ser más cautelosos si el nuevo contexto se centra en la atención aguda en lugar de la salud preventiva.
La teoría pertinente para el programa de inmunización también sugirió que los incentivos funcionarían sólo si los padres pudieran acceder de manera confiable a las vacunas y no se opusieran firmemente a las vacunas. Por lo tanto, un contexto similar sería aquel en el que un gran número de niños recibieran al menos una vacuna (señalando el hecho de que es posible el acceso y la hostilidad a las vacunas es baja), pero donde los padres no persistieron hasta el final del programa.
Los autores destacan que en la organización J-PAL utilizan un marco de generalización para integrar diferentes tipos de evidencia, incluyendo los resultados del creciente número de evaluaciones aleatorias de programas sociales, para ayudar a tomar decisiones de política basadas en evidencia. El mismo está basado en cuatro pasos que buscan responder a una pregunta crucial en cada paso: ¿cuál es la teoría desagregada detrás del programa?, ¿se mantienen las condiciones locales para que esa teoría se aplique?, ¿qué tan fuerte es la evidencia para el cambio de comportamiento general requerido?, ¿cuál es la evidencia de que el proceso de implementación puede llevarse a cabo correctamente?
Aquellos que realizan evaluaciones de impacto y ayudan a los gobiernos a integrar las lecciones en las políticas están interesados fuertemente por entender el contexto local. La clave de la generalización es reconocer que hay que dividir cualquier cuestión de política práctica en partes: algunas secciones del problema serán contestadas con conocimiento institucional local y datos descriptivos, y algunas serán contestadas con evidencia de evaluaciones de impacto en otros contextos.
El artículo concluye afirmando que el marco de generalización que utilizan los autores en J-PAL proporciona un enfoque práctico para combinar evaluaciones de diferentes tipos con el fin de decidir si una determinada política funcionará en un nuevo contexto. Si los investigadores y los responsables políticos siguen viendo los resultados de las evaluaciones de impacto como una caja negra y no se centran en los mecanismos, el movimiento hacia la formulación de políticas basadas en la evidencia estará muy lejos de su potencial para mejorar la vida de las personas.
Para mayor información y ejemplos: //ssir.org/articles/entry/the_generalizability_puzzle
Fuente de imagen: Programa Juntos, Perú
