Son innegables la evolución y los progresos de la evaluación de programas y proyectos sociales y educativos en las últimas décadas tanto desde el punto de vista conceptual como de su práctica. El desarrollo de diferentes corrientes teóricas permiten sugerir la existencia, a veces concomitante, de varias “generaciones”1 de evaluación que fueron modificando el foco tradicional en la “medición” de resultados finales hacia los procesos que permiten explicar el logro de estos resultados. Se ha pasado de una visión en que el evaluador es un experto o especialista capaz de relevar y procesar información “objetiva” a una visión mucho más interactiva, en la que el evaluador se convierte en un facilitador entre las partes involucradas en la evaluación. En particular, desde esta visión, se trata no solo de reconocer el punto de vista y los valores del conjunto de los actores sino también de lograr involucrarlos en el proceso evaluativo. Por otra parte, aunque no se aprecie siempre en su aplicación, se la concibe hoy como proceso indisoluble de la gestión y al menos desde el deber ser, ya no se la considera como la etapa final del ciclo de vida de un proyecto sino que puede acompañar cada una de sus etapas. Desde el punto de vista de la práctica, ha quedado atrás su asociación predominante con el control y la auditoría. Aun cuando posiblemente estimulada y condicionada inicialmente por los organismos de financiamiento, su aplicación se difundió tanto en programas y proyectos gestionados desde el Estado como por organizaciones no gubernamentales, generándose así nuevos enfoques y herramientas que enriquecieron estas prácticas. Por otra parte, si bien muchas veces considerada como un instrumento, se le reconoce su contribución a una multiplicidad de finalidades entre las cuales la rendición de cuentas, la construcción de capacidades institucionales y sobre todo la posibilidad de aportar conocimientos que permitan producir cambios que ajusten y mejoren políticas, programas y proyectos tanto del ámbito público como de la sociedad civil. En una realidad reconocida como dinámica e incierta, se espera que los procesos de evaluación generen señales de alerta que permitan tomar decisiones: “Vista así, la importancia de la evaluación consiste en brindar a comunidades y organizaciones información que dé cuenta de la gestión, los recursos, procesos, productos e impactos, y traducir esta información en elemento central para la toma de decisiones sobre una intervención dada” (Quinteros, V. 2007:18). Frente a la emergencia de nuevos procesos políticos que modificaron el contexto institucional en que se piensan, diseñan, ejecutan y evalúan las políticas públicas y al surgimiento de nuevos actores y movimientos sociales que plantean exigencias de participación en las decisiones gubernamentales nacionales y locales, se ha recurrido crecientemente a enfoques pluralistas de evaluación entre las cuales el abordaje participativo es una de sus principales estrategias. Ya no se trata sólo de relevar el punto de vista de los “beneficiarios” y de los actores públicos y privados involucrados. Podemos en este sentido compartir la definición de Mokate que entiende por participación en el proceso evaluativo “un papel en la definición de preguntas sobre las cuales el proceso explorará, en el diseño del proceso, en la recopilación e interpretación de la información y en el uso de la misma. Una participación limitada a la provisión de opiniones y/o de datos es una participación sumisa que corre el riesgo de no incorporar o reflejar las perspectivas y preocupaciones de los ´participantes´. La esencia participativa del proceso tiene que reflejarse en la misma definición en lo que se propone estudiar e indagar en el monitoreo y evaluación” (Mokate, K. 2000:6). Así concebida la participación en los procesos evaluativos, la misma evaluación adquiere una nueva significación que, dependiendo de la profundidad y extensión de la participación, trasciende el ámbito del programa o proyecto para convertirse en una oportunidad de aprendizaje institucional y social. Institucional en la medida en que la reflexión sobre lo actuado se transforme en una práctica integrante de la cultura organizacional. Social en la medida en que el ejercicio de reflexión colectiva contribuye a mejorar no solo el “objeto” evaluado sino a encontrar caminos de superación para los sujetos que evalúan. Algunas corrientes de pensamiento incluso sostienen que puede cumplir con la finalidad de reforzar las capacidades y el poder (empowerment) de los que intervienen en el programa y en la evaluación, en particular cuando se trata de grupos vulnerables, para mejorar sus condiciones de vida. Ahora bien, esta visión no implica en modo alguno negar el carácter científico de la evaluación y el rol particular que tienen asignados los evaluadores (ya se trate de evaluaciones internas o externas) en este proceso. Si bien es indispensable la participación del conjunto de los involucrados, ella puede ser fructífera en la medida en que exista un diseño riguroso en términos metodológicos que permita indagar, con los instrumentos adecuados, sobre aquellas cuestiones que son sustanciales para determinar si el programa está dando respuestas a los problemas para los cuales fue diseñado. Si bien la evaluación ya no se concibe como un ejercicio intelectual patrimonio de expertos, evidentemente implica que quienes coordinan los procesos evaluativos cuenten con los conocimientos y prácticas que habiliten resoluciones técnicas validadas metodológicamente. Desde esta perspectiva, es posible apreciar, a lo largo de los capítulos que integran este libro, la potencialidad de la evaluación cualitativa, como parte de una estrategia metodológica integral, en términos de sus aportes a la recolección, construcción y análisis de datos susceptibles de reflejar las condiciones relativas a las percepciones, creencias y prácticas de los actores involucrados en los programas o proyectos, contrastar distintas perspectivas y facilitar la realización de chequeos y síntesis de los datos que se releven. Los dispositivos metodológicos y las herramientas técnicas de índole cualitativa que los autores vuelcan en los artículos de este libro son producto de sus propias experiencias y apuntan no solo a una finalidad de generación de conocimiento científico válido que, resguardando los requeridos criterios de rigor, permita alimentar los procesos decisorios y mejorar los programas. También incluyen la promoción, a través de estos dispositivos, de procesos de reflexión en espacios multiactorales en los que los participantes se convierten en protagonistas de la evaluación, y en consecuencia de una experiencia de aprendizaje. Sin desconocer el largo debate que ha atravesado el uso de evaluaciones cuantitativas vs. evaluaciones cualitativas y la dificultad para resolver técnicamente la representación de los complejos y turbulentos procesos sociopolíticos a los que está sometido todo proyecto o programa social, hoy se admite la riqueza de la combinación de estrategias mixtas en el marco de diseños integrales tanto desde el punto de vista de las dimensiones consideradas, de los actores incorporados y de la pluralidad de técnicas y fuentes utilizadas. Ello a la vez que permite triangular la información de modo de reducir la subjetividad, aumentar su confiabilidad y validar las apreciaciones evaluativas. En este sentido, los capítulos de esta obra comparten una concepción del proceso evaluativo, según el cual se trata de profundizar el conocimiento del “objeto” bajo estudio, reflexionar sobre sus atributos y factores causales visibles e “invisibles”, comprenderlos, sistematizarlos y emitir los juicios de valor que resulten de la aplicación de los instrumentos y técnicas y que sean validados por los actores significativos. Presentan además algunos ejes comunes que merecen destacarse: - La utilización de técnicas cualitativas en el marco de un diseño metodológico plural que se integre o combine con técnicas cuantitativas y que incluya la totalidad de los aspectos de la gestión de los programas con distintos focos o énfasis según los momentos de evolución de la gestión; que permita acompañar esta evolución en todas sus etapas contribuyendo a una retroalimentación permanente entre la evaluación y la programación y que admita reajustes en su diseño y ejecución. - La consideración, como parte integrante de la indagación metodológica, de dimensiones relativas al contexto socio-económico, cultural y político de los programas y a las estructuras y procesos organizacionales de las instituciones en las que se insertan. - La apelación a la participación y compromiso de los actores en el proceso no solo por su valor instrumental sino por la posibilidad de aprendizaje institucional y social que involucra. Cada capítulo, además de explicitar y desarrollar esta perspectiva, la enriquece con el aporte y descripción de diseños metodológicos e instrumentos técnicos específicos, producto del desempeño de los autores como evaluadores en proyectos y programas sociales y educativos gestionados tanto por el Estado como por organizaciones de la sociedad civil. En el primero, “Luces y sombras de la evaluación. La evaluación cualitativa de programas y proyectos socioeducativos”, Graciela Cardarelli presenta algunos elementos de su experiencia en evaluación de dos programas y proyectos en el campo de Organizaciones de la Sociedad Civil que promueven gestiones asociadas con grupos de base y el Estado en sus diferentes niveles y que privilegian el componente educativo con sentido integral. En particular, reseña las características y condiciones de aplicación de algunas técnicas cualitativas adoptadas que constituyeron un aporte significativo en el proceso global de evaluación de dichos programas: los estudios de casos que permiten indagar en profundidad las percepciones y comportamientos de los actores para captar sus determinaciones familiares y socio-institucionales; las historias o relatos de vida, técnica tradicional de los estudios antropológicos pero que este caso se toman a los entrevistados como “portavoces, testigos y protagonistas de posiciones colectivas de ciertos procesos vitales” y finalmente una técnica innovadora denominada seguimiento de la trayectoria de las alianzas que resultó muy eficaz para lo comprensión de las lógicas político-institucionales que subyacen a los programas. En todos los casos resultan iluminadoras las consideraciones relativas a las condiciones requeridas para su aplicación rigurosa. El segundo remite a la evaluación de programas educativos de gestión estatal. En “Algunas reflexiones sobre las estrategias evaluativas para programas gestionados desde el Estado”, las autoras reseñan los diseños metodológicos y algunos dispositivos aplicados en dos experiencias que han permitido combinar aproximaciones cuantitativas y cualitativas para llevar adelante los procesos evaluativos desde el momento del diseño hasta el análisis y devolución de los resultados a las distintas audiencias. La evaluación de programas educativos de alcance nacional en un país como la Argentina plantea una serie de desafíos para captar y profundizar en el análisis de realidades muy diversas desde el punto de vista institucional y político. Resulta particularmente relevante en los ejemplos presentados el uso de tipologías como herramienta para comparar los casos incluidos en una muestra cualitativa y a la vez realizar inferencias a unidades que tienen perfiles similares, según los criterios incluidos en la construcción de la tipología. El siguiente capítulo refiere nuevamente al campo de las organizaciones no gubernamentales. En “Evaluación diagnóstica sobre servicios de salud de una organización no gubernamental para sus asociadas”, Olga Nirenberg presenta el marco conceptual y detalla los pasos metodológicos seguidos en la realización de una evaluación diagnóstica, focalizada en el componente de salud, de las intervenciones de una ONG en dos provincias argentinas. Esta evaluación fue encarada con el objetivo de contar con lineamientos relativos al modelo deseable de provisión de salud acorde con los principios y las prácticas institucionales de la ONG, las necesidades y demandas de las asociadas y las características predominantes de la oferta local. Fue implementada mediante la combinación y complementación de una variedad de técnicas cuantitativas y cualitativas entre las cuales se destaca la de los grupos focales y con una modalidad participativa y multiactoral. Más allá de fundamentar las acciones a encarar y de brindar el parámetro comparativo para los diferentes momentos evaluativos, la relevancia de esta experiencia remite a su valor agregado en términos de promover la construcción de un ámbito para el aprendizaje social de los participantes, así como un espacio de oportunidad para el “empoderamiento” de quienes debían intervenir luego en los procesos de ejecución. En el último, se pasa de la evaluación diagnóstica a la evaluación de procesos. Mario Robirosa, en “La evaluación del proceso de gestión de un proyecto social” pone el acento, en el marco de una evaluación ex post y mediante “mirada retrospectiva, sintética y dinámica”, en la importancia de fundamentar y explicar la historia de un proyecto en su contexto valorando, más allá de los registros de monitoreo existentes, los aportes de las personas involucradas en el proceso. Presenta dos herramientas de su autoría, aplicadas en diferentes situaciones, con diferentes tipos de actores y sobre temáticas diversas asociadas con acciones educativas y de desarrollo comunitario, que han probado ser muy eficaces para confirmar o rever procedimientos de los responsables en la gestión de sus proyectos y para explicar los logros y fracasos en los resultados obtenidos. Ambas consisten en realizar una actividad de reconstrucción ordenada de la historia del proyecto, identificando hitos y hechos significativos, confrontando distintas miradas y elaborando consensos, de modo de lograr una evaluación colectiva del proceso en un tiempo breve y cuyos participantes resultan ser los protagonistas de esta evaluación así como de la experiencia de aprendizaje resultante. Esperamos que las experiencias vertidas en este libro permitan apreciar las oportunidades que brinda la evaluación cualitativa, siempre en el marco de un diseño integral y sobre todo mediante el uso de técnicas participativas, para abrir las puertas a evaluaciones rigurosas y viables que contribuyan al mejoramiento de las intervenciones y sobre todo a un aprendizaje de quienes son en última instancia sus destinatarios y actores principales de las transformaciones sociales y educativas que se persiguen. Suele decirse que “la participación se aprende participando” en distintas esferas de la vida cotidiana, social e institucional, aun cuando éstas sean catalogadas como instancias “micro”. También en nuestra experiencia en este campo se ha podido constatar que difícilmente desaparezcan del imaginario y la práctica social los aprendizajes significativos surgidos de los procesos participativos experimentados, en especial los estilos democráticos de deliberación, decisión y relacionamiento adquiridos por los actores durante el procesamiento integral de los proyectos y programas. Es por lo tanto en el desarrollo de estas formas interactivas donde debe ponerse el mayor énfasis metodológico y práctico. Por último, agradezco especialmente a Josette Brawerman por su importante colaboración en la coordinación general del libro. Graciela Cardarelli