Antes de empezar nuestra evaluación vamos a tener en cuenta algunas consideraciones. Esta "fase cero" puede comenzar debido a un encargo, si realizamos una evaluación externa, o con una decisión acerca de evaluar alguno de nuestros proyectos.
Fase 0
Conviene tener en cuenta:
- De qué recursos económicos disponemos para evaluar.
- Cuánto tiempo le podremos dedicar en un sentido longitudinal.
- Quiénes se encargarán y con qué disponibilidad y/o dedicación.
Esta es una fase donde lo importante es ser realistas ya que pretender realizar una evaluación a largo plazo, que combine metodologías cuantitativas y cualitativas, sin disponer, por ejemplo, del personal suficiente para vaciar datos e interpretarlos, puede frustar nuestra evaluación y desalentar futuras actuaciones.
Fase 1: Identificación del marco general
En esta fase vamos a dar los siguientes pasos:
- Recibir el encargo y negociarlo, si es necesario.
- Pre-definición del objeto: de qué se trata. Qué vamos a evaluar. Más adelante se pueden definir qué partes del programa o servicio se van a evaluar, de forma más participativa.
- ¿Existen evaluaciones previas? Revisión de las evaluaciones hechas hasta ahora.
- Dibujar el entorno socio-institucional: contexto político, actores y roles.
- Valorar la evaluabilidad del proyecto. Este paso es muy importante porque va a condicionar toda la evaluación ya que vamos a valorar hasta dónde podemos evaluar y qué métodos podremos emplear según el acceso que tengamos a la información.
- Configurar el equipo evaluador.
- Desarrollar el presupuesto de la evaluación, si es necesario.
Para valorar la evaluabilidad tendremos que tener en cuenta:
- ¿Hay tradición evaluativa? ¿Es la primera vez que el equipo o el programa se va a evaluar? Si las personas no están familiarizadas con los conceptos y técnicas de la evaluación necesitaremos un poco más de tiempo para acercarlas a ello.
- ¿El diseño del programa es riguroso y claro? ¿Los objetivos están bien definidos, la planificación está detallada?
- ¿Se ha incluido la evaluación en el diseño inicial del programa?
- ¿Hay sistema de información?
Algunos factores que dificultan la evaluabilidad pueden ser:
- Falta de cultura evaluativa.
- Precaridad económica de los servicios y programas sociales.
- Contexto de intervención extremadamente cambiante y complejo.
- Resultados a largo plazo difíciles de controlar.
- Falta de modelos evaluativos que se adapten a las características del servicio o programa.
- Posibles resistencias de las personas participantes.
Fase 2: Desarrollo del diseño evaluativo y planificación
En esta fase vamos a diseñar nuestra evaluación. En esta sección entramos más en detalles. En esta otra, puedes ver qué modalidades de evaluación son las más comunes.
Se trata de definir elementos como: nuestro marco conceptual, los objetivos de la evaluación, el objeto, los criterios evaluativos, identificar la población de estudio, la metodología que vamos a poner en práctica, etc.
También tenemos que:
- Desarrollar la cronología de nuestra investigación, calendarizar
- Desarrollar/ identificar los conceptos clave
- Elegir los criterios de calidad
- Desarrollar las preguntas evaluativas e hipótesis
Fase 3: Ejecución
En esta fase pasamos a ejecutar lo planificado. Debemos poner a prueba nuestro diseño e introducir los cambios necesarios.
Los pasos a seguir podrían ser, según nuestra planificación:
- Análisis de las fuentes de información: documentación.
- Dibujo del mapa de actores.
- Puesta en marcha de las técnicas de investigación elegidas. Realizaremos la observación, los grupos de discusión y las entrevistas según nuestra calendarización.
- Redefinición del objeto, objetivos, conceptos clave, etc. según los primeros resultados.
- Vaciado, interpretación y puesta a prueba de la hipótesis y los criterios.
- Elaboraración las propuestas de mejora en base a los resultados de nuestra evaluación.
- Elaboración del informe y elección de las formas de visualización.
- Presentación y difusión.