Desarrollo de programas
Utilice lo que aprenda de cada ronda de evaluación para lograr un mayor impacto.
Introducción al desarrollo de programas
Muchos equipos entran en el proceso de evaluación con la intención de utilizar lo aprendido para mejorar su programa. Pero puede resultar difícil cumplir esa intención.
Lleva tiempo recopilar y analizar los datos, y es fácil perder de vista las preguntas con las que se empezó: la gente está ocupada y, a menudo, cuando llegan los resultados de una evaluación, todos ya han seguido adelante y están ocupados con otras cosas. Además, los miembros del equipo con experiencia en evaluación pueden tomar la iniciativa en el análisis y la interpretación de los datos, mientras que otros miembros del equipo pueden participar menos o quedar totalmente al margen y perder la oportunidad de ayudar a interpretar los datos y aprender de los resultados.
El enfoque IDEAS para los ciclos de iteración rápida ayuda a superar los retos mencionados y garantiza que su equipo saque el máximo partido del proceso de evaluación. En esta sección, repasará tres preguntas para guiar el proceso de los ciclos de iteración rápida :
- ¿Qué dicen los datos?
- ¿Entonces qué significa esto?
- ¿Y ahora qué hacemos?
Estas preguntas de reflexión se incluyen en los ciclos de iteración rápida para que pueda utilizarla para preparar una evaluación, dar sentido a los datos una vez recopilados e identificar los pasos siguientes.
¿Qué dicen los datos?
La primera pregunta sobre el proceso de los ciclos de iteración rápida es: "¿Qué dicen los datos?"
Para responder a esta pregunta, empecemos por revisar las preguntas basadas en la Toería del Cambio que identificó cuando elaboró su plan de evaluación:
- ¿Qué ámbitos de su TdC se propuso explorar?
- ¿Qué esperaba aprender?
- ¿Qué información o datos ha recopilado y qué dicen los datos?
Considere todas las fuentes de datos pertinentes, incluidas las observaciones cuantitativas, cualitativas y basadas en la práctica. Su objetivo es describir lo que dicen los datos en términos sencillos y objetivos. Dependiendo del diseño del estudio que haya empleado y de las herramientas que haya utilizado para recopilar información, puede incluir puntuaciones medias o promedio, valores de significación estadística, tamaños del efecto, porcentajes o temas. Puede que le resulte útil representar gráficamente el cambio medio a lo largo del tiempo y las trayectorias de cambio de los individuos, lo que puede ayudarle a examinar la variabilidad del impacto.
¿Entonces qué significa esto?
La siguiente pregunta del proceso es: "¿Qué significa esto?". Se trata de dar sentido a los datos. ¿Cómo explicarías los resultados en un lenguaje sencillo y cuáles son sus implicaciones? En cuanto a los objetivos y los resultados, sopese la solidez de la evidencia teniendo en cuenta el diseño del estudio, el tamaño de la muestra y el tipo de datos recopilados. Puede ser útil imaginar un continuo, con "evidencia débil o nula de cambio" en un extremo y "evidencia fuerte de cambio" en el otro. A continuación, seleccione el lenguaje que mejor resuma la solidez de las pruebas teniendo en cuenta todas las fuentes de información.
Puede que le resulte útil mapear los hallazgos en su TdC colocando un punto de color junto a cada constructo para representar la solidez de la evidencia de cambio: el rojo corresponde a ninguna evidencia, el amarillo a alguna evidencia de cambio y el verde a una fuerte evidencia de cambio.
Considere la magnitud del cambio que espera ver en cada objetivo y resultado:
- ¿Qué cantidad de cambio sería práctica o clínicamente significativa?
- ¿Qué grado de cambio han logrado otros programas comparables y con qué recursos?
¿Y ahora qué hacemos?
La última pregunta sobre el proceso de los ciclos de iteración rápida es: "¿Y ahora qué?". Ten en cuenta todo el panorama a la hora de identificar lo que podrías hacer de forma diferente en el futuro.
Considere las implicaciones para la TdC, el desarrollo continuo del programa y el plan de evaluación:
- En cuanto a su TdC, ¿hay construcciones que deban añadirse, eliminarse o perfeccionarse?
- ¿Cuáles son las implicaciones para su programa y sus materiales?
- ¿Cómo podría mejorar o adaptar su enfoque de la evaluación en el futuro?
En la segunda pestaña de la hoja de trabajo de los ciclos de iteración rápida encontrará una sencilla plantilla de plan de acción que puede utilizar para identificar sus principales prioridades y elaborar un plan para llevar adelante ese trabajo.
El equipo de El Busesito se compromete a aprender y mejorar continuamente.
En el verano de 2022, el El Busesito El equipo se reunió en un retiro de evaluación para revisar los datos del año pasado. Utilizando las preguntas de reflexión anteriores, el equipo trabajó conjuntamente para interpretar los datos e identificar los próximos pasos. Lo que sigue es un ejemplo de lo que aprendieron y de cómo piensan actuar a partir de lo aprendido. Consulte la hoja de trabajo completa de ciclos de iteración rápida a continuación para más detalles.
¿Qué? El reconocimiento de letras de los participantes aumentó de 17% en otoño a 30% en primavera.
¿Entonces qué? Aunque los participantes aumentaron sus conocimientos de lectura y escritura a lo largo del año, su nivel sigue siendo relativamente bajo.
¿Y ahora qué hacemos? El equipo identificó varias soluciones posibles, que incluían la modificación de las actividades matemáticas y de alfabetización del plan de clases y la incorporación de un nuevo plan de estudios. Estos cambios se reflejarán en los materiales del programa y en la TdC. En la siguiente ronda de evaluación, el equipo recopilará información sobre el impacto de esas estrategias.
El equipo El Busesito participó en el aprendizaje compartido por presentar sus conclusiones al resto del personal de Valley Settlement durante su retiro anual de evaluación. Durante este evento, cada uno de los seis equipos de programa de la organización presentó su aprendizaje del año pasado y discutió las lecciones aprendidas y los próximos pasos. El compromiso de toda la organización de Valley Settlement con el aprendizaje y la mejora continuos les ha convertido en una organización de confianza y de gran impacto en su comunidad.
Esperamos que este manual le haya resultado útil y le deseamos lo mejor en su camino hacia un mayor impacto a escala.
En palabras de Ann Mei Chang, autora de Lean Impact
"Mientras que la invención es la chispa de una nueva idea, la innovación es el proceso de desplegar ese avance inicial para darle un uso constructivo".