Evaluación cualitativa, La

Evaluación cualitativa, La

Perspectivas metodológicas. Aplicaciones en programas y proyectos sociales y educativos


$ 295,00

Frente a la emergencia de nuevos procesos políticos que modificaron el contexto institucional en que se diseñan, ejecutan y evalúan las políticas públicas, y al surgimiento de nuevos actores y movimientos sociales que plantean exigencias de participación en las decisiones gubernamentales, se ha recurrido crecientemente a enfoques pluralistas de evaluación, entre los cuales el abordaje participativo es una de sus principales estrategias.
A lo largo de este libro se presenta la potencialidad de la evaluación cualitativa como parte de una estrategia metodológica integral, en términos de sus aportes a la recolección, construcción y análisis de datos susceptibles de reflejar las condiciones relativas a las percepciones, creencias y prácticas de los actores involucrados en los programas o proyectos evaluados.
Los dispositivos metodológicos y las herramientas técnicas de índole cualitativa que los autores vuelcan apuntan no solo a una finalidad de generación de conocimiento científico, también incluyen la promoción de procesos de reflexión en los que los participantes se convierten en protagonistas de la evaluación.

Capítulo 1.
Luces y sombras de la evaluación. La evaluación cualitativa de programas y proyectos socioeducativos.
Graciela Cardarelli
I. La perspectiva de evaluación adoptada
II. Las Organizaciones de la Sociedad Civil y la evaluación
III. Un panorama sobre los abordajes cuantitativos y cualitativos
IV. Los senderos teórico-metodológicos de la evaluación
V. Los abordajes cualitativos
VI. Reflexiones finales

Capítulo 2.
Algunas reflexiones sobre las estrategias evaluativas para programas gestionados desde el Estado.
Josette Brawerman, Liliana Raggio y Violeta Ruiz
I. La importancia de la evaluación desde la gestión estatal
II. Acerca de los abordajes cuantitativos y cualitativos en la evaluación
III. Distintas modalidades de combinación de ambas estrategias en la evaluación de programas
IV. El Programa del Mejoramiento del Sistema Educativo
V. El Programa “Quiero Ser” de Prevención Integral sobre el
Uso Indebido de Drogas en el Ámbito Educativo
VI. Reflexiones sobre la experiencia

Capítulo 3.
Evaluación diagnóstica sobre servicios de salud de una organización no gubernamental para sus asociadas.
Olga Nirenberg
I. Caracterización del objeto de la evaluación
II. Pilares conceptuales. Estrategia de la APS, enfoque promocional y empoderamiento
III. Enfoque metodológico
IV. Someras conclusiones y recomendaciones

Capítulo 4.
La evaluación del proceso de gestión de un proyecto social.
Mario C. Robirosa
I. Las instancias evaluativas de los proyectos
II. La evaluación de proceso. Recopilando participativamente la memoria histórica
III. Técnicas que sistematizan la trayectoria histórica de los proyectos
IV. Mejorar la calidad organizativa

Graciela Cardarelli

Licenciada y Magister en Sociología, Universidad Católica Argentina, con posgrados en políticas sociales y planificación social en ILPES Chile y CIDES OEA, Buenos Aires. Es miembro fundador y profesional del Centro de Apoyo al Desarrollo Local (CEADEL), Buenos Aires, Argentina. Ha sido consultora de programas de diversas organizaciones públicas y privadas nacionales e internacionales en temas de planificación y evaluación social con énfasis en educación y desarrollo infantil y adolescente tales como Fundación Kellogg, Fundación Arcor, UNICEF Argentina, SUM (Servicio Universitario Mundial); Ministerio de Salud de la Nación, Secretaría de Salud de la Provincia del Neuquén entre otros. En particular ha coordinado la Evaluación de Impacto del Programa de Conjuntos Integrados de Proyectos (CIP), con énfasis en Niñez y Juventud, en Bolivia, Perú y Ecuador (Fundación Kellogg), y el equipo de evaluación de proyectos correspondientes al “Fondo de estímulo a la innovación en Proyectos de infancia y juventud en espacios locales rurales”, (Fundación ARCOR). Actualmente es consultora del Proyecto para la Ampliación de los Enfoques Evaluativos de la Calidad Educativa en escuelas públicas primarias, medias y del nivel inicial. UNICEF/CEADEL. Ha sido docente de grado y postgrados de la UCA, la Universidad San Andrés, la UBA, UNER y UNGS en materias de Planificación y Evaluación Social. Es autora de varios libros y numerosos artículos en temas de planificación y evaluación de intervenciones.

Ver más

Olga Nirenberg

Socióloga argentina, residente en Buenos Aires, es Doctora en Ciencias Sociales Summa Cum Laude (UBA, 2005) y Diplomada en Salud Pública (UBA, 1976). Miembro fundadora del Centro de Apoyo al Desarrollo Local - CEADEL, desde 1986 hasta la fecha. En el marco de un convenio entre UNICEF Argentina y CEADEL, coordina el Proyecto de Autoevaluación de la Calidad Educativa (IACE) en escuelas públicas primarias y secundarias. En la Organización Panamericana de la Salud, OPS/OMS Argentina, es integrante del Grupo de Expertos en Enfoque de Curso de Vida. Es consultora externa de otros programas de UNICEF Argentina y de la Fundación ARCOR. Durante los años 2010 y 2011, fue consultora en la Secretaría de la Gestión Pública, Presidencia de la Nación, en el diseño e implementación de un curso online para funcionarios de dirección sobre monitoreo y evaluación de políticas, programas y proyectos. En el ámbito internacional, coordinó el equipo de evaluación del Plan de Acción de Salud Integral de Adolescentes de la Organización Panamericana de la Salud (OPS - Washington, D.C.). Fue consultora de la Organización Mundial de la Salud (OMS) para programas participativos de adolescencia y se desempeñó como evaluadora de programas de la Fundación W.K. Kellogg. Realiza docencia en maestrías y posgrados de universidades nacionales y privadas de la Argentina. Publicó varios libros y artículos en temas de planificación y evaluación de intervenciones sociales.

Ver más

Josette Brawerman

Socióloga recibida en la Universidad de Buenos Aires con curso de post-grado en Planificación de Recursos Humanos (IEDES; Paris, 1968). Es consultora con más de 25 años de experiencia profesional en planificación, diseño y evaluación de políticas y proyectos sociales y de salud, con énfasis en programas centrados en la infancia y adolescencia, nutrición y salud materno-infantil, y educación. Se ha desempeñado en diversas instituciones nacionales en Argentina y ha sido contratada por organizaciones internacionales como OEA, UNICEF, Banco Mundial, BID, PNUD, IDRC-Canadá, IPEC/OIT, Cruz Roja Alemana y ECHO. En particular ha participado o coordinado actividades de evaluación de programas sociales tales como el Programa Nacional de Promoción Social Nutricional, el PROAME, el PROMIN, el Proyecto de Mejoramiento del Sistema Educativo (PROMSE), el Programa Quiero Ser (SEDRONAR) así como programas de erradicación del Trabajo Infantil de países centroamericanos. En los últimos años ha sido consultora del área de evaluación de programas de IIPE-UNESCO Regional Buenos Aires. Es docente en formulación, gestión y evaluación de programas y proyectos sociales en varias Maestrías en Políticas Sociales en la Argentina. Es coautora de dos libros sobre estos temas.

Ver más

Liliana Raggio

Doctora de la Universidad de Buenos Aires. Área Antropología Social (2013). Magister Scientiarum en Administración Pública de la Facultad de Ciencias Económicas de la UBA. Licenciada en Ciencias Antropológicas de la UBA. Es profesora Adjunta en la Carrera de Ciencias Antropológicas e Investigadora del Instituto de C. Antropológicas en la Facultad de Filosofía y Letras de la UBA. Se desempeñó en los Posgrados de Antropología Social y Salud Pública de la UBA y de Economía Social de la UNGS. Co-dirige Proyectos de Investigación UBACYT y Maestrandos. Entre los años 1997 y 2004 ha sido Coordinadora del Área de Investigación de la UNGS. Se desempeña desde hace más de una década como consultora de organismos públicos, nacionales e internacionales en la gestión y evaluación de programas sociales tales como el PROMIN, el Proyecto de Mejoramiento del Sistema Educativo (PROMSE), el Programa Quiero Ser (SEDRONAR), el Proyecto para la Ampliación de los Enfoques Evaluativos de la Calidad Educativa UNICEF/CEADEL. Ha publicado artículos sobre la temática en libros y revistas especializadas.

Ver más

Mario Robirosa

Arquitecto (UBA, 1958) y sociólogo (estudios de posgrado en Francia, 1958-1960, y en Cornell University, EE.UU., 1965-1967). Cuenta con una vasta experiencia en asistencia técnica, consultorías, monitoreos y evaluaciones de proyectos en Argentina y diversos países para organismos internacionales, fundaciones nacionales e internacionales, organismos públicos y universidades de Argentina, Uruguay, Brasil, México así como organizaciones no gubernamentales y de base en Argentina, Paraguay y Uruguay. Ha sido Coordinador Regional para América Latina y el Caribe del Programa UNESCO-FLACSO de Capacitación para la Gestión de Asentamientos Humanos y Coordinador técnico del proyecto FNUAP-FUDAL “Análisis poblacional de la Argentina”, Ha realizado también actividades de investigación en el Centro de Estudios Avanzados de la UBA y en el Centro de Estudios Urbanos y Regionales, Instituto Torcuato Di Tella. Es Co-autor (con G. Cardarelli y A. Lapalma) de Turbulencia y Planificación Social, Buenos Aires, UNICEF y Siglo XXI de España, 1990; y ha publicado artículos y capítulos en muchos libros. Ha sido docente en los últimos años en posgrados de Universidad de Buenos Aires, de Universidad de San Andrés y CEDES y de Universidad de Lanús y FLACAM.

Ver más

Violeta Ruiz

Socióloga argentina, es Magister en Sociología de Flacso y cuenta con una prolongada experiencia profesional en el planeamiento y evaluación de políticas y programas sociales, con énfasis en programas dirigidos a la infancia y adolescencia, la participación comunitaria y la educación. Trabajó en diversos organismos del gobierno de la nación en Argentina y para organizaciones internacionales como UNICEF, PNUD, OIT-IPEC, la Fundación Kellogg y la Cruz Roja Alemana. Tiene experiencia de trabajo en varios países de América Latina, entre ellos Argentina, Bolivia, Brasil, Colombia, Costa Rica, El Salvador, México, Nicaragua, Perú, República Dominicana y Venezuela. Actualmente es coordinadora de evaluación de programas de IIPE-UNESCO Regional Buenos Aires. Es docente de evaluación de programas e de proyectos sociales en diversas Maestrías en políticas sociales en Argentina. Es coautora de dos libros referidos a estos temas.

Ver más

Son innegables la evolución y los progresos de la evaluación de programas y proyectos sociales y educativos en las últimas décadas tanto desde el punto de vista conceptual como de su práctica. El desarrollo de diferentes corrientes teóricas permiten sugerir la existencia, a veces concomitante, de varias “generaciones”1 de evaluación que fueron modificando el foco tradicional en la “medición” de resultados finales hacia los procesos que permiten explicar el logro de estos resultados. Se ha pasado de una visión en que el evaluador es un experto o especialista capaz de relevar y procesar información “objetiva” a una visión mucho más interactiva, en la que el evaluador se convierte en un facilitador entre las partes involucradas en la evaluación. En particular, desde esta visión, se trata no solo de reconocer el punto de vista y los valores del conjunto de los actores sino también de lograr involucrarlos en el proceso evaluativo. Por otra parte, aunque no se aprecie siempre en su aplicación, se la concibe hoy como proceso indisoluble de la gestión y al menos desde el deber ser, ya no se la considera como la etapa final del ciclo de vida de un proyecto sino que puede acompañar cada una de sus etapas.

Desde el punto de vista de la práctica, ha quedado atrás su asociación predominante con el control y la auditoría. Aun cuando posiblemente estimulada y condicionada inicialmente por los organismos de financiamiento, su aplicación se difundió tanto en programas y proyectos gestionados desde el Estado como por organizaciones no gubernamentales, generándose así nuevos enfoques y herramientas que enriquecieron estas prácticas. Por otra parte, si bien muchas veces considerada como un instrumento, se le reconoce su contribución a una multiplicidad de finalidades entre las cuales la rendición de cuentas, la construcción de capacidades institucionales y sobre todo la posibilidad de aportar conocimientos que permitan producir cambios que ajusten y mejoren políticas, programas y proyectos tanto del ámbito público como de la sociedad civil. En una realidad reconocida como dinámica e incierta, se espera que los procesos de evaluación generen señales de alerta que permitan tomar decisiones: “Vista así, la importancia de la evaluación consiste en brindar a comunidades y organizaciones información que dé cuenta de la gestión, los recursos, procesos, productos e impactos, y traducir esta información en elemento central para la toma de decisiones sobre una intervención dada” (Quinteros, V. 2007:18).

Frente a la emergencia de nuevos procesos políticos que modificaron el contexto institucional en que se piensan, diseñan, ejecutan y evalúan las políticas públicas y al surgimiento de nuevos actores y movimientos sociales que plantean exigencias de participación en las decisiones gubernamentales nacionales y locales, se ha recurrido crecientemente a enfoques pluralistas de evaluación entre las cuales el abordaje participativo es una de sus principales estrategias.

Ya no se trata sólo de relevar el punto de vista de los “beneficiarios” y de los actores públicos y privados involucrados. Podemos en este sentido compartir la definición de Mokate que entiende por participación en el proceso evaluativo “un papel en la definición de preguntas sobre las cuales el proceso explorará, en el diseño del proceso, en la recopilación e interpretación de la información y en el uso de la misma. Una participación limitada a la provisión de opiniones y/o de datos es una participación sumisa que corre el riesgo de no incorporar o reflejar las perspectivas y preocupaciones de los ´participantes´. La esencia participativa del proceso tiene que reflejarse en la misma definición en lo que se propone estudiar e indagar en el monitoreo y evaluación” (Mokate, K. 2000:6).

Así concebida la participación en los procesos evaluativos, la misma evaluación adquiere una nueva significación que, dependiendo de la profundidad y extensión de la participación, trasciende el ámbito del programa o proyecto para convertirse en una oportunidad de aprendizaje institucional y social. Institucional en la medida en que la reflexión sobre lo actuado se transforme en una práctica integrante de la cultura organizacional. Social en la medida en que el ejercicio de reflexión colectiva contribuye a mejorar no solo el “objeto” evaluado sino a encontrar caminos de superación para los sujetos que evalúan. Algunas corrientes de pensamiento incluso sostienen que puede cumplir con la finalidad de reforzar las capacidades y el poder (empowerment) de los que intervienen en el programa y en la evaluación, en particular cuando se trata de grupos vulnerables, para mejorar sus condiciones de vida.

Ahora bien, esta visión no implica en modo alguno negar el carácter científico de la evaluación y el rol particular que tienen asignados los evaluadores (ya se trate de evaluaciones internas o externas) en este proceso. Si bien es indispensable la participación del conjunto de los involucrados, ella puede ser fructífera en la medida en que exista un diseño riguroso en términos metodológicos que permita indagar, con los instrumentos adecuados, sobre aquellas cuestiones que son sustanciales para determinar si el programa está dando respuestas a los problemas para los cuales fue diseñado. Si bien la evaluación ya no se concibe como un ejercicio intelectual patrimonio de expertos, evidentemente implica que quienes coordinan los procesos evaluativos cuenten con los conocimientos y prácticas que habiliten resoluciones técnicas validadas metodológicamente.

Desde esta perspectiva, es posible apreciar, a lo largo de los capítulos que integran este libro, la potencialidad de la evaluación cualitativa, como parte de una estrategia metodológica integral, en términos de sus aportes a la recolección, construcción y análisis de datos susceptibles de reflejar las condiciones relativas a las percepciones, creencias y prácticas de los actores involucrados en los programas o proyectos, contrastar distintas perspectivas y facilitar la realización de chequeos y síntesis de los datos que se releven.

Los dispositivos metodológicos y las herramientas técnicas de índole cualitativa que los autores vuelcan en los artículos de este libro son producto de sus propias experiencias y apuntan no solo a una finalidad de generación de conocimiento científico válido que, resguardando los requeridos criterios de rigor, permita alimentar los procesos decisorios y mejorar los programas. También incluyen la promoción, a través de estos dispositivos, de procesos de reflexión en espacios multiactorales en los que los participantes se convierten en protagonistas de la evaluación, y en consecuencia de una experiencia de aprendizaje.

Sin desconocer el largo debate que ha atravesado el uso de evaluaciones cuantitativas vs. evaluaciones cualitativas y la dificultad para resolver técnicamente la representación de los complejos y turbulentos procesos sociopolíticos a los que está sometido todo proyecto o programa social, hoy se admite la riqueza de la combinación de estrategias mixtas en el marco de diseños integrales tanto desde el punto de vista de las dimensiones consideradas, de los actores incorporados y de la pluralidad de técnicas y fuentes utilizadas. Ello a la vez que permite triangular la información de modo de reducir la subjetividad, aumentar su confiabilidad y validar las apreciaciones evaluativas.

En este sentido, los capítulos de esta obra comparten una concepción del proceso evaluativo, según el cual se trata de profundizar el conocimiento del “objeto” bajo estudio, reflexionar sobre sus atributos y factores causales visibles e “invisibles”, comprenderlos, sistematizarlos y emitir los juicios de valor que resulten de la aplicación de los instrumentos y técnicas y que sean validados por los actores significativos. Presentan además algunos ejes comunes que merecen destacarse:

- La utilización de técnicas cualitativas en el marco de un diseño metodológico plural que se integre o combine con técnicas cuantitativas y que incluya la totalidad de los aspectos de la gestión de los programas con distintos focos o énfasis según los momentos de evolución de la gestión; que permita acompañar esta evolución en todas sus etapas contribuyendo a una retroalimentación permanente entre la evaluación y la programación y que admita reajustes en su diseño y ejecución.

- La consideración, como parte integrante de la indagación metodológica, de dimensiones relativas al contexto socio-económico, cultural y político de los programas y a las estructuras y procesos organizacionales de las instituciones en las que se insertan.

- La apelación a la participación y compromiso de los actores en el proceso no solo por su valor instrumental sino por la posibilidad de aprendizaje institucional y social que involucra.



Cada capítulo, además de explicitar y desarrollar esta perspectiva, la enriquece con el aporte y descripción de diseños metodológicos e instrumentos técnicos específicos, producto del desempeño de los autores como evaluadores en proyectos y programas sociales y educativos gestionados tanto por el Estado como por organizaciones de la sociedad civil.

En el primero, “Luces y sombras de la evaluación. La evaluación cualitativa de programas y proyectos socioeducativos”, Graciela Cardarelli presenta algunos elementos de su experiencia en evaluación de dos programas y proyectos en el campo de Organizaciones de la Sociedad Civil que promueven gestiones asociadas con grupos de base y el Estado en sus diferentes niveles y que privilegian el componente educativo con sentido integral. En particular, reseña las características y condiciones de aplicación de algunas técnicas cualitativas adoptadas que constituyeron un aporte significativo en el proceso global de evaluación de dichos programas: los estudios de casos que permiten indagar en profundidad las percepciones y comportamientos de los actores para captar sus determinaciones familiares y socio-institucionales; las historias o relatos de vida, técnica tradicional de los estudios antropológicos pero que este caso se toman a los entrevistados como “portavoces, testigos y protagonistas de posiciones colectivas de ciertos procesos vitales” y finalmente una técnica innovadora denominada seguimiento de la trayectoria de las alianzas que resultó muy eficaz para lo comprensión de las lógicas político-institucionales que subyacen a los programas. En todos los casos resultan iluminadoras las consideraciones relativas a las condiciones requeridas para su aplicación rigurosa.

El segundo remite a la evaluación de programas educativos de gestión estatal. En “Algunas reflexiones sobre las estrategias evaluativas para programas gestionados desde el Estado”, las autoras reseñan los diseños metodológicos y algunos dispositivos aplicados en dos experiencias que han permitido combinar aproximaciones cuantitativas y cualitativas para llevar adelante los procesos evaluativos desde el momento del diseño hasta el análisis y devolución de los resultados a las distintas audiencias. La evaluación de programas educativos de alcance nacional en un país como la Argentina plantea una serie de desafíos para captar y profundizar en el análisis de realidades muy diversas desde el punto de vista institucional y político. Resulta particularmente relevante en los ejemplos presentados el uso de tipologías como herramienta para comparar los casos incluidos en una muestra cualitativa y a la vez realizar inferencias a unidades que tienen perfiles similares, según los criterios incluidos en la construcción de la tipología.

El siguiente capítulo refiere nuevamente al campo de las organizaciones no gubernamentales. En “Evaluación diagnóstica sobre servicios de salud de una organización no gubernamental para sus asociadas”, Olga Nirenberg presenta el marco conceptual y detalla los pasos metodológicos seguidos en la realización de una evaluación diagnóstica, focalizada en el componente de salud, de las intervenciones de una ONG en dos provincias argentinas. Esta evaluación fue encarada con el objetivo de contar con lineamientos relativos al modelo deseable de provisión de salud acorde con los principios y las prácticas institucionales de la ONG, las necesidades y demandas de las asociadas y las características predominantes de la oferta local. Fue implementada mediante la combinación y complementación de una variedad de técnicas cuantitativas y cualitativas entre las cuales se destaca la de los grupos focales y con una modalidad participativa y multiactoral. Más allá de fundamentar las acciones a encarar y de brindar el parámetro comparativo para los diferentes momentos evaluativos, la relevancia de esta experiencia remite a su valor agregado en términos de promover la construcción de un ámbito para el aprendizaje social de los participantes, así como un espacio de oportunidad para el “empoderamiento” de quienes debían intervenir luego en los procesos de ejecución.

En el último, se pasa de la evaluación diagnóstica a la evaluación de procesos. Mario Robirosa, en “La evaluación del proceso de gestión de un proyecto social” pone el acento, en el marco de una evaluación ex post y mediante “mirada retrospectiva, sintética y dinámica”, en la importancia de fundamentar y explicar la historia de un proyecto en su contexto valorando, más allá de los registros de monitoreo existentes, los aportes de las personas involucradas en el proceso. Presenta dos herramientas de su autoría, aplicadas en diferentes situaciones, con diferentes tipos de actores y sobre temáticas diversas asociadas con acciones educativas y de desarrollo comunitario, que han probado ser muy eficaces para confirmar o rever procedimientos de los responsables en la gestión de sus proyectos y para explicar los logros y fracasos en los resultados obtenidos. Ambas consisten en realizar una actividad de reconstrucción ordenada de la historia del proyecto, identificando hitos y hechos significativos, confrontando distintas miradas y elaborando consensos, de modo de lograr una evaluación colectiva del proceso en un tiempo breve y cuyos participantes resultan ser los protagonistas de esta evaluación así como de la experiencia de aprendizaje resultante.

Esperamos que las experiencias vertidas en este libro permitan apreciar las oportunidades que brinda la evaluación cualitativa, siempre en el marco de un diseño integral y sobre todo mediante el uso de técnicas participativas, para abrir las puertas a evaluaciones rigurosas y viables que contribuyan al mejoramiento de las intervenciones y sobre todo a un aprendizaje de quienes son en última instancia sus destinatarios y actores principales de las transformaciones sociales y educativas que se persiguen.

Suele decirse que “la participación se aprende participando” en distintas esferas de la vida cotidiana, social e institucional, aun cuando éstas sean catalogadas como instancias “micro”. También en nuestra experiencia en este campo se ha podido constatar que difícilmente desaparezcan del imaginario y la práctica social los aprendizajes significativos surgidos de los procesos participativos experimentados, en especial los estilos democráticos de deliberación, decisión y relacionamiento adquiridos por los actores durante el procesamiento integral de los proyectos y programas.

Es por lo tanto en el desarrollo de estas formas interactivas donde debe ponerse el mayor énfasis metodológico y práctico.

Por último, agradezco especialmente a Josette Brawerman por su importante colaboración en la coordinación general del libro.

Graciela Cardarelli

También le puede interesar

Formulación y evaluación de intervenciones sociales


Olga Nirenberg
$ 430,00

Educación, ciudadanía y participación


Aguilera, Calderón y otros
$ 232,00

Cuánto duran los aprendizajes adquiridos?


Jorge Petrosino
$ 200,00

Intervenciones en primera infancia


Feder, Maquieira y otros
$ 300,00