Diseño de evaluación de programas formativos

DISEÑO DE EVALUACIÓN DE PROGRAMAS FORMATIVOS

Las razones para evaluar un programa no se diferencian mucho de las razones de esos propios programas: contribuir a la mejora de la calidad de la oferta educativa y mejorar la satisfacción profesional brindando oportunidades para el desarrollo. Los fines o cometidos asignados son muy diferentes y varían en función del autor: desde medir el logro de los objetivos propuestos a realizar análisis de las estrategias de formación.

Sería bueno diferenciar entre investigaciones evaluativas y evaluaciones de programas formativos. En la primera se da más importancia al proceso evaluativo como medio para conocer mejor no sólo el desarrollo de un programa en sí sino sus  relaciones con otros programas y niveles de la realidad estudiada. Las segundas serían aquellas que se realizan habitualmente como parte del diseño del programa con el fin primordial de guiar y reorientar su desarrollo

En la actualidad se consideran tres grandes enfoques o perspectivas en la evaluación de programas: la perspectiva objetivista, la perspectiva subjetivista o relativista y la perspectiva crítica o dialéctica.

Las decisiones clave en el diseño de evaluaciones de programas formativos estarían formadas por la elección del modelo, proceso gradual que se va haciendo a medida que se tomas decisiones sobre los problemas prácticos de la evaluación. La formación es una actividad compleja, abierta y con un alto grado de imprevisibilidad. Su evaluación requiere un seguimiento próximo y es necesario contar con modelos flexibles que sirvan para guiar la evaluación de programas, centrados en los procesos más que en los indicadores o en los estándares. Otra de las decisiones seria la adopción de una perspectiva global, considerando tendencias generales del sistema educativo, las expectativas sociales emergentes, las nuevas demandas y roles docente. No es posible evaluar un programa formativo si no se evalúa su contexto. El diseño de evaluaciones de programas formativos debe plantearse especialmente las relaciones entre el programa de formación y el contexto de trabajo, teniendo en cuenta una triple perspectiva: entornos, tareas y características de las personas. En tercer lugar, el establecimiento de las preguntas de evaluación, propuesta que no puede intentar evaluarlo todo, debe formular las preguntas de evaluación sabiendo que siempre hay más preguntas a responder que recursos para hacerlo. En cuanto a la integración de la evaluación en la formación, debemos de potenciar una evaluación que contribuya al proceso formativo de los participantes en el programa, debido a que sería incoherente evaluar los efectos de la formación sobre la mejora de los equipos cuando aquella se plantea sobre la base de necesidades y/o incentivos individuales. La Participación de los implicados en el diseño y desarrollo de la evaluación, implica reconocer el derecho de los participantes a intervenir en la evaluación, facilitar información en el transcurso de la formación y dar la posibilidad de discutir los informes de la evaluación consensuado su utilización, el acceso a los datos, los compromisos de los diferentes participantes...

Para finalizar, el contenidos de la evaluación, lleva asignado una serie de características, las cuales hacen que resulten eficaces como son adaptación a las necesidades, condicionantes previos, clima y participación, oportunidades de aprendizaje activo, apoyo y seguimiento y contexto administrativo,

A continuación vamos a ver los distintos componentes del proceso evaluador:

Las condiciones de entrada son fundamentales en el diseño de una evaluación de programas formativos. Estas condiciones proporcionan información en relación a los sujetos, los equipos y sus organizadores, recursos, calidad del puesto de trabajo, etc. Un elemento crítico de un programa es la selección de sujetos a los que van destinada la formación. El análisis de necesidades no es una fase de la evaluación, sino un componente del diseño de programas formativos. La evaluación del programa habrá de determinar si se ha realizado y cómo esa detección de necesidades, como se ha llevado a cabo el proceso de análisis y selección de necesidades formativas.

La evaluación del diseño del programa, incluirá aspectos como: objetivos prioritarios, contenido, calidad técnica, estrategias seleccionadas, recursos asignados, evaluabilidad. Se trata ante todo de valorar en qué grado el programa de formación guarda relación con las necesidades diagnosticadas, el contexto y la situación de partida. Podemos tener en cuenta algunos criterios como la pertinencia, la relevancia, la comprensividad, contextualización, coherencia, viabilidad y evaluabilidad.

Para la evaluación del desarrollo del programa, será de utilidad disponer de algunos indicadores intermedios referidos a la eficacia del programa que ayuden a diagnosticar los cambios que se van produciendo. Algunos criterios para evaluar el desarrollo del programa son el ajuste a las previsiones, la flexibilidad y adaptación, el grado de consenso en los objetivos, procesos de toma de decisiones, la capacidad para mantener la dirección, el grado de participación de los implicados, las interacciones entre el programa y el escenario, la eficacia de apoyos externos, las percepciones de los participantes en el programa y la información de las personas que abandonan el programa.

En la evaluación del impacto del programa se deben de tener en cuenta diferentes niveles de impacto del programa a corto y largo plazo. Smith y Beno señalan dos áreas de impacto: los individuos que participan en la actividad y en la organización.

Según Joyce y Showers la evaluación de programas formativos debería apreciar cambios en el profesorado, el alumnado y el equipo/centro.

Por lo tanto, la evaluación de programas formativos debe intentar valorar sus efectos en el desarrollo personal, profesional y organizativo, la adopción de innovaciones, la utilización de los materiales y recursos ofertados en el programa, el trabajo en equipo, el sentido de eficiencia personal, los cambios en las ideas sobre enseñanza y en las percepciones sobre sus necesidades de aprendizaje, en los resultados de los alumnos, y cambios en la relación con la comunidad. Sin olvidar, que la cuestión no es evaluar el impacto sino evaluar la mejora.

Un buen programa de formación es aquel que incluye el aprendizaje de destrezas de investigación, potencia la creación de grupos de trabajo estables, promueve proyectos de innovación, y contribuye, en definitiva, a la continuidad de la formación.

Los contenidos generales de un informe de evaluación deberán incluir: la definición de la audiencia, la descripción del proceso evaluador y las conclusiones y recomendaciones.

Babio propone el siguiente esquema para estructurar el informe de evaluación de programas de formación: introducción, descripción del programa de evaluación, diseño para la evaluación del programa, resultados de la evaluación, conclusiones y orientaciones y en el último lugar los anexos.

Pero el problema no reside tanto en el contenido como en la forma en que se elaboran los informes.

Un diseño de evaluación debe contemplar el análisis del propio proceso evaluador, con el fin de valorar no solo la adecuación del diseño seguido, sino también apreciar su impacto en el programa. Lo principal que hay que considerar en la metaevaluación son la calidad en la evaluación, la validez, la fiabilidad y la legitimidad.

En la evaluación de programas formativos tienen especial relevancia las fuentes de credibilidad usadas en investigación cualitativa: el contacto directo con el desarrollo del programa, la descripción minuciosa de los procesos, la recogida de material referencial...

La metaevaluación permite desarrollar todo el potencial del propio proceso de evaluación, asegurar la calidad y legitimidad de la evaluación, identificar sesgos de la evaluación y desarrollar la dimensión crítica que toda evaluación habrá de superar antes de darla por definitiva.

Dado que la información que produce la evaluación puede ser utilizada políticamente, la evaluación de programas formativos no puede obviar su dimensión política.

Podemos encontrar dificultades como: la separación entre planificación y ejecución, la existencia de falta de coordinación horizontal y vertical, la inexistencia de una coordinación entre el sistema de control de la docencia y el diseño de las actividades de formación, la compatibilidad del nivel micro con el nivel macro de la evaluación, cómo combinar la comprensión en términos de significados y realidades concretas con la descripción en términos de indicadores, la carencia de  la tradición evaluadora, la cual hace que las instancias evaluadoras queden desbordadas para poder llevar a cabo un seguimiento riguroso de todas sus actividades, en algunos casos, la producción de la información en bruto, sin elaborar, y la falta de contraste de esta en algunos casos.

La práctica docente es desarrollada siempre dentro de un marco institucional. Existen una serie de innovaciones que se ponen en práctica sólo cuando el profesorado tiene el apoyo de sus colegas de centro. Muchos programas de formación implican un paréntesis en el trabajo cotidiano de los docentes. Una solución sería la de realizar la práctica en el mismo lugar de trabajo pero, aun así, habría que coordinarlas con el resto de actividades organizativas.

Debe ampliarse la perspectiva de la evaluación de programas, la cual no debe limitarse a responder a demandas puntuales de evaluación.

Una política racional de evaluación de programas formativos debería contener las siguientes características: integrada en los planes de formación, contextualizada en las políticas globales, descentralizada en su planificación y ejecución, coordinada con los diseños de evaluación de otras instancias territoriales y coherente con el modelo de evaluación y control global del sistema.