Dices intervención compleja pero haces evaluación multinivel.

Es frecuente encontrarse con expresiones que dicen que las intervenciones sociales, educativas y de salud son complejas y dinámicas. Sin embargo, parecería que los conceptos de complejidad y dinámica no se entienden lo suficiente puesto que es habitual leer artículos donde se analizan las intervenciones centrándose en sus elementos de forma separada.
En este sentido, parece que se refieren más a multinivel que a complejidad (Riley, et al. 2008). Esta podría ser una posible explicación de que los diseños (cuasi) experimentales no suelen captar el efecto de las intervenciones cuando el éxito es evidente para los interesados.

No digas complejidad si la evaluación se basa en elementos

Por otro lado, los desarrolladores de intervenciones y quienes las realizan suelen preocuparse por llevarlas a cabo siguiendo las reglas y normas de aplicación. Esto demuestra que existe una preocupación constante por la estandarización de los protocolos de aplicación. En este sentido, el objetivo sería aplicar las intervenciones de la misma forma en cualquier lugar y momento. Por ejemplo, llevar a cabo una asignatura de manera similar en todos los años/cursos, aplicar un programa de mejora de la salud, en todas las regiones de manera similar, etc.
Sin embargo, se debería tener más preocupación por estandarizar la función de las intervenciones, y sus resultados (internos, externos, mientras y finales), y no tanto la aplicación. El objetivo debería ser asegurar que las intervenciones obtienen lo mismo aunque no se desarrollen de la misma manera (Hawe et al, 2004).

Complejidad significa adaptar la forma de la intervención manteniendo la función

Para ello se requiere un análisis profundo de la realidad donde se aplicará la intervención. Además, debería tenerse una sólida formación sobre la evidencia científica de cómo funcionan los recursos utilizados en la intervención (actividades, tareas, herramientas, estrategias, etc.) en esa realidad, de manera que se pueda definir un modelo de intervención bien sustentado.
Esto ha sido asumido desde varios enfoques: teoría del cambio (MacKenzie & Blamey, 2005), mapeo de intervenciones (Bartholomew et al., 2008) o evaluación basada en evidencia (Chen, 1995) entre otros.
En general, la «complejidad» está relacionada con «sistema» y «red». Cuando una intervención afecta a un sistema, éste experimenta cambios en diferentes niveles, incluyendo modificaciones en nodos y ataduras. En otras palabras, esos cambios implican cambios cualitativos y cuantitativos.

Por tanto, cuando se lleva a cabo una evaluación de una intervención, no basta con decir que se trata de una acción sistemática, global y compleja, sino que deben desarrollarse las estrategias que realmente permitan captar el cambio del sistema donde se interviene. Al fin y al cabo, una intervención es una acción que incide sobre una parte de un sistema pero que afectará a la globalidad.

Referencias

Bartholomew, L.K., Parcel, G.S., Kok, G. y Gottlieb, N.H. (2006). Planificación de programas de promoción de la salud. Un enfoque de mapeo de intervenciones. Jossey Bass.

Chen, H.T. (1995). Evaluaciones impulsadas por la teoría. Sage.

Hawe, P., Shiell, A., & Riley, Th. (2004). Complex interventions: How far ‘out of control’ should a randomised controlled trial be? British Medical journal, 328, 1561-1563.

Mackenzie, M. y Blamey, A. (2005). La práctica y la teoría. Lecciones de la aplicación del enfoque de las teorías del cambio. Evaluación, 11 (2), 151-168.

El momento de evaluar: un problema de tiempo

El efecto de un programa cambia a lo largo del tiempo. Es por ello, que la evaluación de impacto del mismo deba tener en cuenta esta evolución. En esta entrada nos hacemos eco de la importancia de este factor a la hora de evaluación de programas, ofreciendo algunas consideraciones que se están estudiando en este momento.

Este post lo publicamos inicialmente en https://redidei.medium.com/

Continuar leyendo «El momento de evaluar: un problema de tiempo»

Hacer grupos comparables por medio de la puntuación de propensión


Atribución causal

En investigación social, solamente los diseños completamente aleatorios son lo suficientemente pontentes como para garantizar la atribución causal de los cambios registrados en un grupo. La construcción de grupos comparables a través de la selección y asignación aleatoria (control de variables).
Sin embargo, en los diiseños cuasiexperimentales, que son aquellos donde no es posible la selección o asignación aleatoria, la comparabilidad no se garantiza. Para suparar el problema, se aplican diversos procedimientos: puntuación de propensión, emparejamiento y regresión discontínua.

Continuar leyendo «Hacer grupos comparables por medio de la puntuación de propensión»

(nuestra) Definición de evaluación

La evaluación es un proceso de monitorización que incluye toma de decisiones.

La idea de evaluación puede ser definida de muchas formas. Esta diversidad se debe a que se aplica an muy diversos campos, por muy diversos profesionales. Para nosotros, la evaluación es el proceso de monitorizacion sistematizado del cambio que experimenta un sistema (persona, aprendizaje, empresa, institución, país, organización, tejido, enfermedad, etc.) con la intención de tomar decisiones sobre factores implicados en dicho cambio incluyendo decidir sobre el valor de los cambios.

Nuestra definición de evaluación

Conferencia (webinar): tendencias de la innovación educativa frente al covid19

El pasado 7 de abril (2020) participamos en una serie de conferencias organizadas por RecetasTIC (Perú) sobre los retos de la Educación frente al Coronavirus. Amablemente me invitaron a participar con una conferencia donde hablamos las posibilidades de la Teoría del Cambio y del Análisis de la Contribución para el desarrollo de innovaciones educativas. En este enlace está la conferencia en línea: https://youtu.be/My2QEG17HHM

La presentación que se utilizó está disponible en https://hdl.handle.net/10630/19468

Evaluación de la actividad docente

La evaluación de la actividad docente del docente universitario es parte consustancial de la evaluación institucional, que en última medida, trata de conseguir la mejorar de la calidad educativa (Tejedor y Jornet 2008). En este sentido, la mayoría de las universidades presentan la evaluación de sus docentes como un procedimiento formativo en busca de la excelencia. Sin embargo, el procedimiento elegido para la evaluación de dicha actividad es fuente de continuas críticas. En este sentido, la Universidad en general, no logra escapar a una visión reduccionista de la evaluación, lo que impide desarrollar políticas de calidad donde esté implicado activamente el docente (Escudero, Pino y Rodriguez, 2010).

Un aspecto básico es que la evaluación de la actividad docente requiere una definición clara de en qué consiste la docencia universitaria y esto está mediado directamente por el tipo de asignatura, sus contenidos y su ajuste dentro del grado. Además, la calidad de la docencia está estrechamente ligada a la propia acción docente. Por tanto, la calidad de la docencia es inseparable a la acción docente y ésta depende de la realidad contextual de la docencia. Esta realidad contextual viene determinada por la institución universitaria, y dentro de ella por la realidad de la Facultad donde se lleva a cabo, las características del Grado, así como las características de la asignatura, incluyendo contenido, horarios, recursos materiales, articulación con otras asignaturas, características personales del docente, recursos tecnológicos, características del alumnado como grupo (cultura del grupo), etc.

Todo esto hace que la evaluación de la actividad docente deba afrontarse como una tarea compleja (Loor, Gallegos, Intriago y Guillén, 2017). Sin embargo, como se ha apuntado anteriormente, en la actualidad la evaluación de la actividad docente se limita a administrar un cuestionario al alumnado para recoger su opinión sobre distintos aspectos de la docencia del profesorado. Aunque las unidades de calidad de las universidades han hecho un esfuerzo ímprobo para mejorar, en la mayoría de los casos se han limitado a cambiar de cuestionario. Sin embargo, esto no supone el cambio necesario para potenciar el mecanismo transformador que debería ser la evaluación de la actividad docente.

Por tal razón, es necesario buscar vías alternativas, desde una aproximación vinculada a la complejidad del fenómeno, que realmente ofrezcan un sistema eficiente y eficaz de mejora institucional en busca de la excelencia a través de la mejora de la calidad que necesita o necesite cada realidad. Entendiendo por realidad el entorno más cercano al grupo formado por alumnado y docentes.

Referencias

Escudero, T., Pino, J.L. & Rodríguez Fernández, C. (2010). Evaluación del profesorado universitario para incentivos individuales: Revisión metaevaluación. Revista de Educación, 351, 513-537.

Loor, K., Intriago, M., Gallegos, M., & Guillen, X. (2017). La evaluación del profesorado universitario: tendencias en Iberoamérica. EducacióN MéDica Superior, 32(1). Recuperado de http://www.ems.sld.cu/index.php/ems/article/view/1279/635

Tejedor, F., & Jornet, J. (2008). La evaluación del profesorado universitario en España. Revista Electrónica de Investigación Educativa, 10, 1-29

Plan de comunicación de la evaluación (de programas)

20 de mayo de 2018

El objetivo del Plan de Comunicación de la Evaluación (PCE) es hacer que los resultados de la evaluación sean accesibles para todas las partes interesadas.
El PCE es administrado y desarrollado por el equipo de evaluación con aportes de otros como colegas, socios y partes interesadas.
El PCE describe los productos que se comunicarán, los canales y los plazos para ello. Se deben comunicar dos productos clave: Términos de referencia, informe inicial e informe de evaluación. Otros productos para comunicarse podrían ser informes parciales breves, presentaciones, mensajes en redes sociales, etc.
Tenga en cuenta que la evaluación no está completa hasta que sus resultados hayan sido comunicados adecuadamente.

Los componentes de PCE son:

Fase de evaluación:

  • Planificación
  • Preparación
  • Comienzo
  • Recopilación y análisis de datos
  • Informes
  • Diseminación y seguimiento

Audiencias objetivo:

  • Donantes
  • Beneficiarios
  • Poblaciones afectadas
  • Socios gubernamentales
  • Socios colaboradores
  • Socios de evaluación
  • Etc.

Productos / Información:

  • Términos de referencia
  • Informe de inicio
  • Presentaciones
  • Reportes de evaluacion
  • Notas de evaluación, panfletos
  • Apariciones en medios de radio / visuales
  • Recomendaciones

Medios de comunicación:

  • Reuniones / reuniones informativas
  • Taller
  • Email
  • Sitios web
  • Video y Radio
  • Medios de noticias
  • Presentación
  • Sesión de carteles
  • Medios de comunicación social

 

Referencia:

Est post está basado en Decentralized Evaluation Quality Assurance System (2017).

Más información en: https://www.betterevaluation.org/en/blog/three_communication_planning_templates

Criterios de las evaluaciones (de programas)

A principios de la década de los 90 del siglo XX se abrió un debate sobre los principios que deberían cumplir las evaluaciones de programas. El debate surgía de la aparente necesidad de que las evaluaciones se rigiesen por una serie de reglas o valores. En este sentido el Development Assistance Committee (DAC) de la OCDE, propuso una serie de principios o criterios. Actualmente estos criterios se están revisando, tal como puede consultarse en este enlace (LINK1). Los criterios originales están disponibles en este enlace (LINK2).

Continuar leyendo «Criterios de las evaluaciones (de programas)»

¿En la Univeridad se debe evaluar el proceso o el resultado?

¿Qué debe evaluarse en la Universidad con relación al alumnado? Desde mi punto de vista este debate no está cerrado. En mi experiencia encuentro docentes que defienden una evaluación del proceso (incluyendo el esfuerzo) y otros que prefieren centrarse en el resultado.

Igualmente, entiendo que la propia organización de las asignaturas, con exámenes finales y fechas explícitas para ello, fomentan una valoración del resultado por encima del proceso.

En cualquier caso, entiendo que esta cuestión depende de múltiples factores y que posiblemente no haya una única respuesta.

Para ilustrar el tema he encontrado este vídeo en youtube:

Componentes de la «calificación»

La calificación suele confundirse con la evaluación del alumnado. Sin embargo, la calificación es simplemente la valoración de una prueba administrada a una persona.

Esta valoración, que puede ser tanto cuantitativa como cualitativa, puede descomponerse en dos elementos principales.

En el siguiente vídeo trato de explicarlo: