Dices intervención compleja pero haces evaluación multinivel.

Es frecuente encontrarse con expresiones que dicen que las intervenciones sociales, educativas y de salud son complejas y dinámicas. Sin embargo, parecería que los conceptos de complejidad y dinámica no se entienden lo suficiente puesto que es habitual leer artículos donde se analizan las intervenciones centrándose en sus elementos de forma separada.
En este sentido, parece que se refieren más a multinivel que a complejidad (Riley, et al. 2008). Esta podría ser una posible explicación de que los diseños (cuasi) experimentales no suelen captar el efecto de las intervenciones cuando el éxito es evidente para los interesados.

No digas complejidad si la evaluación se basa en elementos

Por otro lado, los desarrolladores de intervenciones y quienes las realizan suelen preocuparse por llevarlas a cabo siguiendo las reglas y normas de aplicación. Esto demuestra que existe una preocupación constante por la estandarización de los protocolos de aplicación. En este sentido, el objetivo sería aplicar las intervenciones de la misma forma en cualquier lugar y momento. Por ejemplo, llevar a cabo una asignatura de manera similar en todos los años/cursos, aplicar un programa de mejora de la salud, en todas las regiones de manera similar, etc.
Sin embargo, se debería tener más preocupación por estandarizar la función de las intervenciones, y sus resultados (internos, externos, mientras y finales), y no tanto la aplicación. El objetivo debería ser asegurar que las intervenciones obtienen lo mismo aunque no se desarrollen de la misma manera (Hawe et al, 2004).

Complejidad significa adaptar la forma de la intervención manteniendo la función

Para ello se requiere un análisis profundo de la realidad donde se aplicará la intervención. Además, debería tenerse una sólida formación sobre la evidencia científica de cómo funcionan los recursos utilizados en la intervención (actividades, tareas, herramientas, estrategias, etc.) en esa realidad, de manera que se pueda definir un modelo de intervención bien sustentado.
Esto ha sido asumido desde varios enfoques: teoría del cambio (MacKenzie & Blamey, 2005), mapeo de intervenciones (Bartholomew et al., 2008) o evaluación basada en evidencia (Chen, 1995) entre otros.
En general, la «complejidad» está relacionada con «sistema» y «red». Cuando una intervención afecta a un sistema, éste experimenta cambios en diferentes niveles, incluyendo modificaciones en nodos y ataduras. En otras palabras, esos cambios implican cambios cualitativos y cuantitativos.

Por tanto, cuando se lleva a cabo una evaluación de una intervención, no basta con decir que se trata de una acción sistemática, global y compleja, sino que deben desarrollarse las estrategias que realmente permitan captar el cambio del sistema donde se interviene. Al fin y al cabo, una intervención es una acción que incide sobre una parte de un sistema pero que afectará a la globalidad.

Referencias

Bartholomew, L.K., Parcel, G.S., Kok, G. y Gottlieb, N.H. (2006). Planificación de programas de promoción de la salud. Un enfoque de mapeo de intervenciones. Jossey Bass.

Chen, H.T. (1995). Evaluaciones impulsadas por la teoría. Sage.

Hawe, P., Shiell, A., & Riley, Th. (2004). Complex interventions: How far ‘out of control’ should a randomised controlled trial be? British Medical journal, 328, 1561-1563.

Mackenzie, M. y Blamey, A. (2005). La práctica y la teoría. Lecciones de la aplicación del enfoque de las teorías del cambio. Evaluación, 11 (2), 151-168.

El gran error de la CRUE del que no parecen ser conscientes

En el famoso film «El club de los poetas muertos» el nuevo profesor John Keating (Robin Williams) encuentra a un grupo de jóvenes uniformado, adiestrados en el noble arte de ajustarse a los esquemas preestablecidos. Durante sus clases, les pide que abran el libro de poesías y observen el cuadrante de la introducción donde se define la poesía. Entonces les pide que arranque esa hoja y que comiencen a crear por sí mismos ¿Se imaginan qué tipo de exámenes pondría este profesor?

En el famoso film «El club de los poetas muertos» el nuevo profesor John Keating (Robin Williams) encuentra a un grupo de jóvenes uniformado, adiestrados en el noble arte de ajustarse a los esquemas preestablecidos. Durante sus clases, les pide que abran el libro de poesías y observen el cuadrante de la introducción donde se define la poesía. Entonces les pide que arranque esa hoja y que comiencen a crear por sí mismos ¿Se imaginan qué tipo de exámenes pondría este profesor?

Continuar leyendo «El gran error de la CRUE del que no parecen ser conscientes»