CONVIRTIENDO EL "MONSTRUO" EN ALIADO
1. PRECISIÓN CONCEPTUAL
1.1. CONCEPTO DE EVALUACIÓN:
Es un proceso integrado y continuo que mide y analiza el cumplimiento de un seguimiento sistemático de acciones, del logro de resultados y de las relaciones entre los dos.
1.2. EVALUACIÓN DE PROCESOS O MONITOREO:
Es el seguimiento sistemático de la ejecución de las actividades, la entrega de productos y el uso de recursos, programados para cumplir con determinado objetivo, a fin de obtener a tiempo información sobre las limitaciones, ventajas o falencias de la gestión de la iniciativa social evaluada.
1.3. EVALUACIÓN DE RESULTADOS:
Análisis riguroso y retrospectivo del valor de la gestión, sus productos e impactos en el ámbito social, a fin de obtener información para la toma de decisiones en situaciones futuras.
1.4. CARACTERÍSTICAS DEL MONITOREO Y EVALUACIÓN EN LOS PROGRAMAS SOCIALES:
- La evaluación puede ser externa o interna a la gerencia, ya que no requiere de complejos sistemas de información o exhaustivas investigaciones de “expertos en evaluación”.
- La evaluación no es un fin en sí mismo; es más bien un instrumento que genera información útil para la toma de decisiones.
- La evaluación forma parte del proceso integral de gestión, por lo tanto se inicia en el momento mismo en que se identifica el problema que una iniciativa pretende enfrentar.
- Una de las finalidades de la evaluación será obtener información útil que permita ajustar el diseño o gestión de la iniciativa de modo tal que ésta GENERE EL VALOR SOCIAL QUE LA SOCIEDAD ESPERA DE DICHA INICIATIVA.
1.5. COMENTARIO RESPECTO DE LAS DIFERENCIAS ENTRE EL MONITOREO Y LA EVALUACIÓN DE RESULTADOS:
Una de las principales diferencias que he hallado es acerca de las limitaciones con que cada proceso se topa. En el caso del monitoreo, hallamos que la evaluación no puede escapar del marco del plan de trabajo. Tal plan es considerado como el camino correcto para lograr el objetivo social que motivó la iniciativa. Podríamos decir que, de alguna manera, el monitoreo es “ciego” ante el impacto social de la iniciativa social que se está evaluando. En cambio la evaluación de resultados nos permite tener una “visión más amplia”, pues toma el plan de trabajo como una hipótesis y no considera que necesariamente sea el camino correcto para cumplir con el objetivo.
2. FACTORES QUE LIMITAN LA ACCIÓN DE LA EVALUACIÓN DE LOS PROGRAMAS SOCIALES
2.1. PARADIGMAS GERENCIALES:
El paradigma tradicional de la gerencia social se basa en el enfoque de actividades: la gerencia se concibe como el conjunto de actividades predefinidas en un plan de trabajo cuyo fin máximo es la entrega de un bien o servicio. Las actividades se vuelven fines en sí mismos, lo que origina una desconexión entre la gestión de la iniciativa y el cumplimiento de los objetivos sociales que motivaron esa iniciativa. La población objetivo queda así olvidada y la gestión se limita a actividades que son fácilmente controlables por el equipo gestor.
Este estilo gerencial sólo requiere de monitoreo. No hay interés natural en realizar ni encargar una evaluación de resultados debido a que la eficiencia de la gestión se mide sólo por el cumplimiento del plan de trabajo, sin importar su impacto a nivel social.
Inclusive los objetivos sociales que motivaron la iniciativa son vistos por el equipo gestor como “oscuro” o difícil de definir debido a su complejidad (por ejemplo: acabar con la “exclusión”). A mi parecer, este tipo de gerencia social es el que predomina en la actualidad en nuestro país tanto en la administración pública como en la administración privada, ya que es el que más se adecua al modelo económico actual. Centrarse en el cumplimiento de actividades permite a los gestores de iniciativas sociales defenderse de una evaluación de resultados que no es afín a sus intereses.
2.2. APLICACIÓN DEL MONITOREO Y LA EVALUACIÓN:
La evaluación tradicional de los procesos gerenciales ha sido realizada normalmente por terceros, debido a que no hay incentivos naturales por parte del equipo gestor para realizarla. Además, esta evaluación suele ser realizada de manera ex post, con lo que los resultados de ella no sirven para realizar diseños o reajustes de la gestión, y será utilizada en futuras políticas si es que se logran difundir sus resultados. Esta aparente inutilidad de la evaluación hace que los gerentes la vean como una fiscalización, una auditoría, en suma como un control externo a la gestión y no como un aliado.
Si de alguna manera se piensa cambiar esta imagen de la evaluación, creo que los gerentes deben entender que la iniciativa social que ellos emprenden tiene por finalidad mejorar un aspecto de la vida de la población objetivo y que la evaluación es un instrumento que les sirve para verificar si tal objetivo ha sido cumplido o no.
2.3. NATURALEZA DE LAS INICIATIVAS SOCIALES:
Toda iniciativa social presenta las siguientes características:
- Es un “tecnología blanda”: lo que quiere decir que una determinada combinación de insumos y actividades no ha de conducir necesariamente al logro de los objetivos trazados, ya que toda iniciativa en el ámbito social se halla influenciada por las condiciones del entorno (geográficas, económicas, culturales, etc.)
- La atribución de los logros a la gestión de la iniciativa es particularmente difícil: todo programa o propuesta social es, en última instancia, una hipótesis de relaciones causales. Las variables asociadas con los resultados de nuestra iniciativa pueden ser afectadas por diversas iniciativas o dinámicas en cualquier momento. La certeza de que las acciones que hemos llevado a cabo son la causa de los resultados hallados es muy difícil de establecer.
- Estas características han contribuido a construir una “mística de complejidad” alrededor de la evaluación, que contribuye a su vez a una resistencia hacia ella por parte de los gestores sociales.
3. DESAFÍOS PARA EL MONITOREO Y EVALUACIÓN DE LOS PROGRAMAS SOCIALES
3.1. Primer desafío: la especificación de un marco conceptual de la política, programa o proyecto que se propone monitorear y evaluar, para indicar claramente los resultados esperados y explicitar las relaciones causales supuestas.
3.1.1 ¿QUÉ ES EL MARCO CONCEPTUAL?
Un marco conceptual es la especificación de las relaciones esperadas entre un conjunto de conceptos, los cuales se refieren a los objetivos de una iniciativa y a la forma cómo proponemos lograr tales objetivos. Todo marco conceptual se construye a partir de la especificación de una TRANSFORMACIÓN DESEADA, que viene a ser la determinación de qué aspecto de la vida de nuestra población objetivo queremos que cambie. Tal transformación deseada se constituye en el OBJETIVO FINAL de nuestra iniciativa. Este concepto es equivalente a lo que Cohen y Franco llaman IMPACTOS, toda vez que ambos deben ser susceptibles de ser atribuidos al desempeño de la iniciativa. Además, Cohen y Franco proponen el término EFECTOS para denominar a todos aquellos acontecimientos afectados por la iniciativa, pero que no necesariamente esperábamos que fueran influidos por ella; esto debido a la naturaleza misma de las iniciativas sociales.
Para lograr el objetivo final se plantean OBJETIVOS INTERMEDIOS. Estos se refieren a ala participación de la población en una determinada actividad o al consumo por parte de ella de un determinado bien o servicio. Asimismo, para lograr los objetivos intermedios vamos a tener que hacer ciertas inversiones y elaborar estrategias, las mismas que van a constituir los OBJETIVOS OPERATIVOS de nuestra iniciativa. Y , por último, para lograr estos objetivos operativos vamos a requerir del cumplimiento de ciertas TAREAS y ACTIVIDADES y del uso de ciertos RECURSOS e INSUMOS que van a generar COSTOS. Siguiendo la terminología de Cohen y Franco, podemos incluir dentro del concepto PRODUCTOS a los bienes y servicios que la población ha de consumir en pos del logro de los objetivos intermedios. Y llamaremos PROCESOS a toda acción o tarea realizada para el logro de nuestros objetivos. Cohen y Franco no planten términos para designar a los objetivos operativos (inversiones y estrategias) ni para designar insumos, recursos o costos. En ese sentido, su terminología adolece de vacíos conceptuales, pues no permite designar elementos que son parte real del desempeño de la iniciativa.
3.2. Segundo desafío: la superación de la brecha – tanto real como percibida – entre lo “cualitativo” y lo “cuantitativo” en la especificación de objetivos y la evaluación.
3.2.1 ¿CUÁL ES LA DIFERENCIA ENTRE LA NATURALEZA CUALITATIVA Y CUANTITATIVA DE LOS PROCESOS SOCIALES?
Tres argumentos suelen ser citados para explicar la brecha entre “lo cualitativo” y “lo cuantitativo”:
a. Los fenómenos afectados por las iniciativas sociales son de naturaleza cualitativa y, por ende, no se prestan al análisis o evaluación cuantitativa.
Generalmente, bajo la etiqueta de “naturaleza cualitativa” lo que queremos decir es que los fenómenos sociales son de naturaleza compleja o multidimensional, y que, por ende, no se prestan a la cuantificación. Pero sucede que muchas veces, bajo esa misma etiqueta, lo que se quiere encubrir es la ambigüedad de los objetivos planteados, objetivos que no han sido bien especificados en un marco conceptual. En realidad, todos los fenómenos sociales tienen tanto de cualitativo como de cuantitativo y lo más recomendable es que se profundice en ambas dimensiones a fin de obtener un buen análisis y una mejor evaluación.
b. Los métodos cualitativos de recolección de datos son más idóneos para la exploración de las iniciativas sociales.
Si bien los métodos cualitativos y cuantitativos son distintos, esto no significa que exista una brecha entre lo cualitativo y lo cuantitativo. Precisamente, saber que son diferentes nos permite buscar complementariedades entre ambos métodos. Hay que comprender que si bien ambos métodos son diferentes, esto no quiere decir que sean incompatibles.
c. El enfoque del análisis cuantitativo se basa en una forma de entender y explorar el mundo profundamente diferente de la forma que el método cualitativo lo entiende y lo explora. Por tanto, están irremediablemente separados.
El enfoque cuantitativo se asocia con el paradigma positivista, mientras que el enfoque cualitativo se asocia con el paradigma fenomenológico. No obstante las diferencias epistemológicas que las sustentan, es posible hacer una investigación combinando métodos de ambas escuelas. Así lo demuestran, por un lado, los estudios de Reichardt y Cook cuando concluyen que adherirse a uno de los dos paradigmas filosóficos no implica adherirse a su método. Por otro lado, la “tesis de compatibilidad” de Kenneth Howe confirma que una investigación es improcedente si no están presentes en ella tanto elementos cuantitativos como cualitativos.
Por tanto, aunque este tercer argumento da a conocer las diferencias más marcadas entre ambos tipos de análisis, ello no significa que no podamos hacer una práctica investigativa cada vez más enriquecida y rigurosa mediante la combinación de elementos de ambos métodos.
3.3. Tercer desafío: la identificación y concertación de indicadores e informaciones relevantes, tomando en cuenta el marco conceptual y las diversas perspectivas e intereses asociados con los resultados y las relaciones causales esperados.
3.3.1. ¿QUÉ SON LOS INDICADORES?
En el proceso de evaluación y monitoreo se sintetiza información relevante sobre el desempeño de la iniciativa. La expresión que permite realizar esta síntesis es llamada INDICADOR. Un indicador tiene que reflejar entonces un análisis y una síntesis de datos tanto cualitativos como cuantitativos relevantes para nuestro propósito, toda vez que hemos aceptado que los fenómenos afectados por las iniciativas sociales poseen dimensiones cuantitativas y cualitativas a la vez. Además, todo indicador debe ser construido pensando en que debe servir para un mejor entendimiento de la iniciativa evaluada y para que sea útil en el contexto del diálogo de políticas. En este sentido, se dice que un buen indicador posee las siguientes características:
Ø Es preciso, porque es claramente entendible.
Ø Es sensible, porque es afectado por la iniciativa que se está evaluando.
Ø Es relevante y apropiado para los usuarios de la información, porque refleja fenómenos que se buscan entender y porque los usuarios de la información confían en la información que el indicador proporciona.
Ø Es práctico, porque el costo de recopilar los datos que el indicador va a sintetizar debe ser razonable.
3.4. Cuarto desafío: la definición y manejo efectivo de flujos de la información generada por el proceso evaluativo y la introducción de estrategias e incentivos que promueven el uso de dicha información.
3.4.1. CULTURA GERENCIAL
Aquí tenemos cuatro características de una cultura gerencial que contribuyen a optimizar el uso de la información evaluativa:
1. Una cultura gerencial que permita la equivocación y el ajuste: la gerencia orientada hacia objetivos sociales daría lugar a la innovación y consideraría a la evaluación como un herramienta que permite realizar ajustes durante la ejecución de la iniciativa, a fin de hallar el camino idóneo para el logro de los objetivos trazados.
2. Un contexto gerencial en el que los reciben la información tengan la autoridad suficiente dentro de la organización para utilizarla y hacer la modificaciones del caso, siempre en función de los objetivos deseados.
3. Un contexto en que los incentivos gerenciales y organizacionales favorezcan la utilización de la información: Los incentivos pueden ser de varios tipos: premios en forma de pago, reconocimientos o en forma de los criterios que se utilizarán en las evaluaciones de desempeño. Tales incentivos marcarían valores meta en función de los datos o informaciones generados por el proceso evaluativo y harían que los gerentes se concentren en lo que realmente importa: el cumplimiento de los objetivos especificados en el marco conceptual del proceso evaluativo.
4. Un contexto gerencial en el que existan mecanismos de ajuste: sólo será posible emplear la información generada por la evaluación si el equipo gestor posee la capacidad suficiente de elaborar mecanismos de ajuste, es decir, el equipo gestor deberá poseer mecanismos para la reasignación de recursos, para la redefinición de estrategias o para la modificación de las características del bien o servicio ofrecido.
3.4.2. MEDIDAS QUE PROPONE LA AUTORA PARA PROMOVER EL USO DE LA INFORMACIÓN EVALUATIVA:
a. Definición de valores objetivo y valores de referencia: cuando no hay experiencia en trabajar con un dato o indicador específico se pueden emplear referencias las cuales pueden ser estándares especificados por algún referente técnico o por experiencias previas.
b. Vinculación de los indicadores o informaciones con los procesos decisorios: a medida que los datos e indicadores sean empleados en los procesos decisorios, adquirirán relevancia inmediata en la toma de decisiones. Asimismo, debido al monitoreo de las actividades, se prestará atención a algunas de ellas para su reajuste, lo cual estimulará la labor gerencial.
c. Especificación de “puntos de decisión”: consiste en establecer una condición para el cumplimiento de cierto objetivo, lo cual puede ser fijado en plazos de tiempo o en base a valores objetivo de ciertos indicadores.
d. Definición de pactos, contratos de gestión o desempeño: El pacto o contrato de gestión o de desempeño puede comprometer a los gerentes o al equipo gestor en el logro de determinadas metas, medidas por datos incluidos en los procesos evaluativos.
e. Reconocimiento, incentivos para el cumplimiento de objetivos: se trata de definir reconocimientos o incentivos vinculados con datos o indicadores incorporados en los procesos evaluativos.
f. Desincentivos en caso de no cumplir: así como se debe incentivar el cumplimiento, también se puede sancionar el incumplimiento. Explicitar las consecuencias del incumplimiento puede hacer que el equipo gestor guíe sus esfuerzos a cumplir sistemáticamente sus funciones.
Dr. C. Manrique.
