Progress and challenges in the evaluation of public policies on sub-national governments (Spanish)

Submitted by jyuan@worldbank.org on Tue, 04/12/2016 - 13:26
Image
avan

Despite important progress in the institutionalization of M&E systems at  the national level, subnational governments in Latin America still lack the institutional and organizational capacity to monitor and evaluate an increasing number of programs, policies and services they are in charge of. This is a policy area for urgent ​​action, yet with ample growth potential and application in Latin American governments.

Pdf as plain
Avances y retos de la evaluación
de políticas públicas en gobiernos
subnacionales
Pablo Sanabria
(coordinador)
www.clear-la.org
ISBN 978-607-9367-60-2
9 786079 367602
Avances y retos de la evaluación
de políticas públicas en gobiernos subnacionales
00-INPA-CLEAR PRELIMINARES.indd 1 03/09/2015 17:39:43
00-INPA-CLEAR PRELIMINARES.indd 2 03/09/2015 17:39:43
Pablo Sanabria
(coordinador)
Avances y retos
de la evaluación de políticas
públicas en gobiernos subnacionales
Con textos de
Mónica Ballescá
María Laura Porrini
Julieta Caccaviello
Nuria García Wolff
Fernando Santiago
México, D. F., 2015
Regional Centers for
Learning on Evaluation and Results
00-INPA-CLEAR PRELIMINARES.indd 3 03/09/2015 17:39:43
Primera edición, 2015
Sanabria, Pablo
(coordinador)
Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Edición: Oliver Peña Habib
Centro CLEAR para América Latina
Centro de Investigación y Docencia Económicas, A. C. (CIDE)
Red Interamericana de Educación en Administración Pública (INPAE)
D. R. Centro de Investigación y Docencia Económicas, A. C.
Carretera México-Toluca 3655
Lomas de Santa Fe, Álvaro Obregón
México, D. F., 01210
Se prohíbe la reproducción total o parcial de esta obra —incluido el diseño tipográfico y de
portada—, sea cual fuere el medio, electrónico o mecánico, sin el consentimiento por escrito
de la editorial.
Los autores son los responsables únicos de las opiniones y los datos contenidos en este libro; no
representan el punto de vista del cide ni del Centro CLEAR para América Latina ni de la Red
INPAE como instituciones.
ISBN: 978-607-9367-60-2
Impreso en México
Printed in Mexico
00-INPA-CLEAR PRELIMINARES.indd 4 03/09/2015 17:39:43
Introducción 5
Introducción
Pablo Sanabria1
La evaluación de políticas públicas constituye un área urgente de acción, todavía
con amplio potencial de crecimiento y aplicación en los gobiernos latinoamericanos.
Un trabajo comparativo de 2012, sobre la institucionalización de la
evaluación como estrategia gubernamental, mostraba cómo apenas cinco países
de la región ofrecían marcos institucionales para la evaluación de políticas públicas.2
Aunque diversos estudios han ilustrado ampliamente la contribución de la
evaluación a la mejora de la gestión pública, la rendición de cuentas y la generación
de valor público, aún queda largo camino por recorrer para que la evaluación
de políticas públicas se convierta en una realidad de los Estados de la región.
Como sugiere David Arellano Gault en una publicación sobre la docencia
en evaluación de políticas públicas en América Latina,3
la evaluación es una de
las actividades primordiales en el proceso de las políticas; ofrece aprendizajes y
retroalimentación, que permiten una apreciación iterativa, y ajustar la vigencia
y pertinencia de las acciones gubernamentales a las cambiantes necesidades
de la sociedad. América Latina requiere mecanismos prácticos para mejorar la
1 Doctor en administración y política públicas por la American University. Es profesor de gestión y
políticas públicas de la Escuela de Gobierno Alberto Lleras Camargo de la Universidad de los Andes y vicepresidente
para Latinoamérica de la International Research Society for Public Management (irspm). Sus
áreas de interés son la gestión pública, la gestión del capital humano en el sector público, el gobierno local,
la descentralización y las relaciones intergubernamentales, innovación en el sector público, corrupción y
análisis de políticas públicas (correo electrónico: psanabri@uniandes.edu.co). 2 Osvaldo Néstor Feinstein, “La institucionalización de la evaluación de políticas públicas en América
Latina”, Presupuesto y Gasto Público, 68 (2012), pp. 41-52. 3 David Arellano Gault, “Introducción: la enseñanza de la evaluación de políticas públicas”, en Alejandra
Ríos Cázares (coord.), La evaluación de políticas públicas en América Latina: métodos y propuestas
docentes, México, cide-clear-inpae, 2014, p. 10.
00-INTRODUCCION SANABRIA.indd 5 03/09/2015 17:40:13
6 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
efectividad de las políticas públicas. La evaluación es uno de esos mecanismos
prácticos con alto potencial de fortalecer la gestión y eliminar vicios como el
clientelismo, la corrupción y el uso inefectivo de recursos escasos en soluciones
que no se basan en evidencia.
Actualmente, hay creciente interés por fortalecer dichos procesos de seguimiento
y evaluación en gobiernos subnacionales, porque se espera que éstos
contribuirán a aumentar la efectividad de las políticas. Dada la mayor cercanía
de los gobiernos territoriales (regionales, provinciales, estatales o municipales)
con el ciudadano, se presupone que éstos pueden comprender mejor las necesidades
colectivas de sus jurisdicciones y formular, en consecuencia, estrategias
más pertinentes y adaptadas a estas necesidades particulares. Éste no es un tema
menor en países diversos y con grandes variaciones culturales, económicas y
sociales dentro de sus territorios. La evaluación en el ámbito subnacional, entonces,
aparece como una herramienta que puede asegurar el alcance de los
objetivos gubernamentales más adecuados a las poblaciones en el territorio.
En ese contexto, la adopción de la evaluación de políticas públicas como
una estrategia de fortalecimiento institucional en el orden subnacional, y de
generación de capacidades estatales descentralizadas, constituye un reto importante
para las naciones de América Latina. De hecho, diversos países han buscado
el desarrollo de una estrategia de abajo arriba (bottom-up) para adoptar una
cultura de evaluación mediante la mejora de las capacidades de evaluación en
los gobiernos subnacionales. Este esfuerzo requiere fortalecimiento institucional,
apoyo financiero desde el gobierno nacional, generación de capacidades en
los recursos humanos y, no menos importante, voluntad política.
Esta publicación reúne una serie de trabajos presentados por investigadores
latinoamericanos en la X Conferencia de la Red Interamericana de Educación
en Administración Pública (inpae), la cual tuvo lugar en Buenos Aires
a finales de mayo de 2014, en el Instituto del Conurbano de la Universidad
Nacional General Sarmiento. En esta conferencia, con el tema central de las
políticas públicas en gobiernos subnacionales, se desarrolló un panel especial
titulado “Los avances y retos para el seguimiento y la evaluación de políticas pú-
blicas en gobiernos subnacionales”. Esta edición, en virtud del apoyo brindado
por el Centro clear para América Latina, recopila una selección de ponencias
pronunciadas en este panel a partir de experiencias argentinas y mexicanas. Los
trabajos permiten no sólo entender las particularidades de los procesos subnacionales
de evaluación, sino también las profundas semejanzas que enfrentan
nuestros sistemas, dadas nuestras trayectorias similares (path dependence) y
nuestros rasgos administrativos y legales comunes.
00-INTRODUCCION SANABRIA.indd 6 03/09/2015 17:40:13
Introducción 7
En una revisión del caso de Jalisco en México, Mónica Ballescá busca analizar
la experiencia de dicho estado en la construcción de un sistema de seguimiento
y evaluación. La autora inicia con un análisis de la evolución de los
mecanismos de seguimiento y evaluación en los ámbitos nacional y subnacional
en México, para adentrarse luego en la historia de estas herramientas de evaluación
en el contexto particular de Jalisco. La autora describe el modelo conceptual
y el sistema de Monitoreo de Indicadores del Desarrollo (mide) Jalisco,
que incluye 160 indicadores para evaluar y dar seguimiento al Plan Estatal de
Desarrollo, identificando retos como el mayor acompañamiento institucional y
la necesidad de vincular los sistemas de seguimiento con los procesos presupuestales.
Posteriormente, la autora describe el sistema de evaluación de programas
y políticas públicas del estado, así como las diferentes evaluaciones que se han
llevado a cabo para los planes de desarrollo y programas fundamentales de la
administración. Finaliza con la descripción de una serie de acciones tomadas
por el gobierno estatal para mejorar su sistema de seguimiento y evaluación a
partir de las experiencias previas, concluyendo que los gobiernos subnacionales
enfrentan retos mayores al contar con menos cooperación internacional y al tener
que generar nuevas capacidades institucionales para adaptarse a los procesos
de descentralización.
Por su parte, María Laura Porrini analiza el papel de los procesos de colaboración
interinstitucional en la construcción de sistemas de seguimiento y
evaluación, a partir del caso del municipio de Villa María en la provincia argentina
de Córdoba. La autora se enfoca en analizar los procesos conjuntos de selección
de dimensiones e indicadores de evaluación y, particularmente, en cómo el
surgimiento de redes de colaboración público-privadas se convierte en escenarios
que no sólo han facilitado la descentralización, sino que han permitido el
trabajo conjunto del gobierno y la sociedad en la atención de problemas sociales
en el ámbito subnacional. La autora explora los retos provenientes de esos nuevos
escenarios de evaluación, por ejemplo, en lo relacionado con la definición
conjunta de metodologías y formas de intervención. Porrini concluye recabando
importantes lecciones para la evaluación de experiencias locales similares al
caso de Villa María.
El capítulo elaborado por Julieta Caccaviello, Nuria García y Fernando
Santiago busca describir el papel de un organismo de control, la Auditoría General
de la Ciudad Autónoma de Buenos Aires, en los procesos de evaluación de
políticas públicas. Los autores inician describiendo el papel que dicha entidad
ha desempeñado en el contexto del sistema de control argentino y sus funciones
particulares en la capital de la república. Los autores destacan que la Auditoría
00-INTRODUCCION SANABRIA.indd 7 03/09/2015 17:40:13
8 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
General ha creado espacios concertados y colegiados de evaluación, buscando
un enfoque interdisciplinario y técnico. A partir de ello, identifican aportes sistémicos,
estratégicos y operativos que, desde su perspectiva, surgen de estos
arreglos institucionales, así como las limitaciones que encuentran al estudiar
este caso. Los autores concluyen señalando la necesidad de institucionalizar la
evaluación en este ámbito subnacional por medio de la participación, interdisciplinariedad
y formación de capacidades, tanto en la Auditoría como en el resto
del gobierno de la ciudad.
Así, esta compilación reúne experiencias subnacionales significativas para
la búsqueda de modelos y procesos de evaluación de políticas, proceso en el cual
todas han enfrentado no pocos retos. Tres aspectos destacan en las experiencias
estudiadas. En primer lugar, el papel de la participación ciudadana como mecanismo
que demanda acciones y resultados del gobierno, y que puede ayudar a
fortalecer el desarrollo de los arreglos institucionales y organizacionales para la
evaluación de políticas públicas subnacionales. En segundo, la aparición de nuevos
escenarios de gobernanza, que incluyen actores gubernamentales y no gubernamentales
—involucrados tanto en la prestación como en la evaluación de
políticas públicas en el territorio—, ha introducido nuevos retos, pero también
oportunidades, en la generación de capacidades regionales de evaluación. Por
último, los casos analizados revelan la necesidad de generar formas efectivas de
coordinación entre el ámbito subnacional y el nacional, que afecten positivamente
la capacidad técnica e interdisciplinaria de los gobiernos subnacionales en
la construcción de sistemas de evaluación.
En este sentido, las experiencias reflejan que los esfuerzos orientados a
facilitar la adopción de la evaluación como actividad permanente de los gobiernos
subnacionales representan grandes retos, pero también traen importantes
beneficios. Estos esfuerzos se hacen aún más exigentes en un complejo entorno
descentralizador como el latinoamericano, en el que los gobiernos subnacionales
a menudo encuentran problemas para alcanzar la convergencia deseada
desde el ámbito nacional y en el que, a su vez, los gobiernos nacionales tienen
dificultades para alcanzar la contingencia y adaptación en políticas y programas
adecuados a las realidades territoriales y locales. En ese contexto, la mejora de
las acciones gubernamentales en América Latina está intrínsecamente atada al
fortalecimiento de las capacidades subnacionales de evaluación. Fortalecer la
evaluación de la acción gubernamental desde sus bases en el territorio constituye,
quizá, un área fundamental de trabajo futuro para funcionarios públicos, expertos
y académicos, si se quiere alcanzar el objetivo de crear en nuestra región
gobiernos efectivos, más cercanos al ciudadano y a sus necesidades.
00-INTRODUCCION SANABRIA.indd 8 03/09/2015 17:40:14
Introducción 9
Bibliografía
Arellano Gault, David, “Introducción: la enseñanza de la evaluación de políticas
públicas”, en Alejandra Ríos Cázares (coord.), La evaluación de políticas
públicas en América Latina: métodos y propuestas docentes, México, cideclear-inpae,
2014, pp. 7-12.
Feinstein, Osvaldo Néstor, “La institucionalización de la evaluación de políticas
públicas en América Latina”, Presupuesto y Gasto Público, 68 (2012),
pp. 41-52.
00-INTRODUCCION SANABRIA.indd 9 03/09/2015 17:40:14
00-INTRODUCCION SANABRIA.indd 10 03/09/2015 17:40:14
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 11
Construyendo un sistema de monitoreo y evaluación
para un gobierno subnacional. La experiencia de Jalisco,
México*
Mónica Ballescá1
Introducción
El desempeño gubernamental es un nudo gordiano de la legitimación democrá-
tica. Los avances en el restablecimiento de la legalidad en los procesos de elección
democrática resultan insuficientes frente a la demanda de intervenciones
gubernamentales de calidad eficientes y eficaces. En las últimas dos décadas, se
han registrado ajustes significativos en el enfoque de la gestión pública. La mayor
inestabilidad de las economías ante la globalización y la reducción de la tolerancia
de los contribuyentes a los aumentos en la carga tributaria han caracterizado
la creciente demanda por una disciplina fiscal.
Desde finales de la década de 1980, la mayor exigencia de disciplina fiscal
se ha acompañado de expectativas también crecientes de mejores condiciones
de bienestar y calidad de vida. En América Latina, la brecha entre las demandas
sociales y la capacidad del gobierno para satisfacerlas fue mucho más visible,
* Ponencia presentada en la X Conferencia del inpae, titulada “Políticas públicas en gobiernos subnacionales”,
Buenos Aires, 28-30 de mayo, 2014. 1 Economista y doctora en ciencias sociales, profesora de cátedra en la Universidad de Guadalajara.
Actual Directora General de Monitoreo y Evaluación en la Secretaría de Planeación, Administración y Finanzas
del Gobierno de Jalisco. La autora agradece los comentarios del equipo de evaluación del Gobierno
de Jalisco, en especial a Estuardo Gómez, al Centro clear para América Latina, así como a Mateo y Juan
Carrillo. Las opiniones expresadas en este documento pertenecen a la autora y no reflejan los puntos de
vista del Gobierno del Estado de Jalisco o cualquiera de sus entidades, ni la de los colaboradores.
01-INPA-CLEAR BALLESCA.indd 11 03/09/2015 17:40:40
12 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
porque había que luchar contra condiciones de pobreza que se agravaban y las
capacidades institucionales eran limitadas. Esto provocó que se pusiera mayor
énfasis en la mayor eficiencia de la asignación y el ejercicio de los recursos pú-
blicos. Para responder a las demandas de eficiencia, se ha destacado la necesidad
de que las rutinas de los gobiernos y las instituciones públicas se orienten a la
gestión por resultados, y no sólo al cumplimiento de la normatividad.2
La orientación a resultados del gobierno —es decir, el enfoque de gobernar
generando resultados de alto valor social— propone un nuevo patrón de gestión
pública que pase del control administrativo y el cumplimiento de ordenamientos
normativos a otro modelo de tipo gerencial, basado en el logro de resultados.
Desde esta perspectiva, las investigaciones evaluativas y de monitoreo de las
intervenciones gubernamentales se ha situado como una de las fuentes de información
para mostrar los resultados y orientar las decisiones directivas para
alcanzarlos.
Las prácticas y los sistemas de monitoreo y evaluación (M y E) pueden
detener muchos objetivos y usos que abarcan el control del presupuesto, del
desempeño de funcionarios o instituciones, el seguimiento a objetivos nacionales,
la transparencia en la acción pública o la rendición de cuentas. Weiss explica
que los procesos evaluativos han alcanzado dimensiones más ambiciosas que la
mera generación de información para orientar la toma de mejores decisiones:
“Se pueden utilizar muchos aspectos de una evaluación: ideas y percepciones, se-
ñales que se transmiten por el hecho mismo de evaluar, los procesos de aprendizaje
al colaborar en una evaluación, la selección de indicadores de resultados
que anuncian el éxito e, incluso, el diseño del estudio. La utilización abarca
amplia gama de efectos de múltiples tipos de usuarios”.3
En América Latina, la institucionalización y práctica de los sistemas de evaluación
es un proceso en marcha desde hace más de una década, con experiencias
y prácticas aisladas, así como algunas otras con rutinas y normativas más
consolidadas. El diagnóstico publicado por el Banco Interamericano de Desarrollo
(bid) de Roberto García y Mauricio García4
reconoce que, en la región,
hasta 2010 sólo Brasil, Chile, Colombia y México contaban con sistemas de
monitoreo y evaluación suficientemente desarrollados para aportar a la orientación
de gestión por resultados; algunos de los demás países tenían sistemas con
2 Roberto García López y Mauricio García Moreno, La gestión para resultados en el desarrollo. Avances y
desafíos en América Latina y el Caribe, Washington, D. C., bid, 2.a
ed., 2010. 3 Carol H. Weiss, “Have we Learned Anything New About the Use of Evaluation?”, American Journal
of Evaluation, vol. 19, núm. 1, 1998, p. 2. 4 Roberto García López y Mauricio García Moreno, op. cit.
01-INPA-CLEAR BALLESCA.indd 12 03/09/2015 17:40:40
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 13
distintos grados de madurez, aunque la mayoría se encuentra en una fase inicial.
No obstante, el informe reconoce que en los cuatro países mencionados, aún es
limitado el uso de la información del seguimiento y la evaluación para orientar
las mejores decisiones presupuestales y de gestión pública.
Ante esta realidad, y frente al desafío de la gran atención que demandan
los sistemas nacionales de monitoreo y evaluación, se han eclipsado las experiencias
subnacionales, caracterizadas por cada vez más atribuciones directas y
mayores responsabilidades en la prestación de bienes y servicios públicos de gran
impacto público. Maldonado y Galíndez sostienen que los intercambios de conocimientos
entre países latinoamericanos se han enfocado en la innovación, en
las complementariedades y sinergias para mejorar los gobiernos nacionales, pero
“estos espacios han tendido a obviar los ámbitos subnacionales del gobierno y
el enorme potencial del aprendizaje que supone este laboratorio natural de experiencias
locales. Por lo general, éstas son muy poco conocidas en espacios
internacionales, a pesar de que ofrecen respuestas creativas a los dilemas del
desarrollo de la región”.5
Por ello, este documento, elaborado en el marco de la
X Conferencia la Red Interamericana de Educación en Administración Pública
(inpae), recoge la experiencia práctica que se ha tenido en los últimos años sobre
monitoreo y evaluación de políticas públicas en el estado mexicano de Jalisco,
situado en el occidente del país, cuarta economía local y también la cuarta
entidad más poblada.6
Si bien en varios gobiernos subnacionales hay prácticas de monitoreo y
evaluación, el caso de Jalisco es relevante por su presencia socioeconómica en el
país, así como por las prácticas que ha desarrollado en los últimos años, que gozan
de reconocimiento nacional y regional como buenas prácticas, además de
situarse entre las entidades con mayor desarrollo en la construcción de un sistema
de monitoreo y evaluación. Según el Diagnóstico del avance en monitoreo y
evaluación en las entidades federativas que publicó el Consejo Nacional de Eva-
5 Claudia Maldonado Trujillo y Cristina Galíndez Hernández (eds.), Monitoreo, evaluación y gestión por
resultados. Aprendizaje y cooperación sur-sur para la innovación: el papel de los actores subnacionales, México,
clear-cide, 2013, p. 13. 6 México es un país federal compuesto por un Distrito Federal y 31 entidades federativas, llamadas
estados y equivalentes a una provincia, además de los más de 2,000 municipios en el territorio nacional.
Jalisco, con sus 125 municipios, es la cuarta entidad federativa con más habitantes según el Censo de población
y vivienda 2010; es también el cuarto estado con mayor aportación al producto interno bruto del país
(después del Distrito Federal, el Estado de México y Nuevo León, según el Banco de Información Económica
del Instituto Nacional de Estadística y Geografía, inegi). Con una población total de 7,350,682
personas y una edad media de veinticinco años, más de 60% de los habitantes del estado habitan en la zona
metropolitana de Guadalajara, su capital.
01-INPA-CLEAR BALLESCA.indd 13 03/09/2015 17:40:40
14 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
luación de la Política de Desarrollo Social (coneval) en 2013, Jalisco obtuvo
la sexta posición nacional en los componentes prácticos y normativos, con un
índice global de 66.7 puntos porcentuales, lo que significa un incremento de
28.5 por ciento respecto a 2011.7
Así pues, en el primer apartado del presente documento se analiza el contexto
nacional de las reformas normativas, los ajustes a la arquitectura institucional
y la construcción de un sistema de evaluación para la administración
pública federal, así como un breve esbozo de las prácticas subnacionales en Mé-
xico. Del segundo al quinto apartado, se estudian las reformas y estrategias desarrolladas
en los últimos años en Jalisco. El segundo apartado describe de manera
introductoria los ejercicios de monitoreo y evaluación en Jalisco en el marco del
enfoque de gestión por resultados. El tercer apartado describe los avances en la
integración del sistema de Monitoreo de Indicadores del Desarrollo de Jalisco
(mide), el cual, con una plataforma pública, actualiza mensualmente 382 indicadores
sobre seguridad pública, educación, salud, pobreza, empleos, competitividad,
entre otros. Estos indicadores se incluyeron en el principal instrumento
de planeación del estado, junto con una definición de metas cuantitativas para
la administración en turno en su etapa inicial, de medio término y final. En el
apartado cuarto se identifican tres fases en el proceso de creación del sistema de
evaluación subnacional, dando paso al quinto apartado, que detalla lo acontecido
en los últimos dos años, que representan un posible punto de inflexión en
la consolidación del sistema estatal de evaluación. Cabe destacar que, en este
bienio, se concretan ajustes normativos y la práctica evaluativa registrada en dos
ejes: por un lado, la construcción de evaluabilidad de los programas públicos, a
partir del fortalecimiento de sus bases normativas y técnicas, de las capacidades
institucionales y las acciones para incorporar decisiones técnicas independientes
en la estrategia evaluativa; por otro, las prácticas de evaluación orientadas a
mejorar la efectividad de los programas públicos, manifestadas en las crecientes
evaluaciones externas a programas gubernamentales tanto de la política social
como de desarrollo económico. Finalmente, se concluye con una reflexión sobre
las lecciones aprendidas del caso de Jalisco, que podrían ser relevantes para otros
gobiernos subnacionales de la región; asimismo, se identifican algunos retos del
seguimiento y la evaluación en los que aún es preciso avanzar.
7 coneval, Diagnóstico del avance en monitoreo y evaluación en las entidades federativas, México, coneval,
2013.
01-INPA-CLEAR BALLESCA.indd 14 03/09/2015 17:40:40
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 15
1. Monitoreo y evaluación gubernamental en México
El enfoque de gestión pública para resultados tiene antecedentes en los años
ochenta en países desarrollados, pero en América Latina es una práctica relativamente
reciente.8
En México, durante la década de 1990, comienzan los primeros
indicios de la introducción del paradigma de la nueva gestión pública orientada
a resultados. La génesis de este modelo se basó, principalmente, en las experiencias
de búsqueda por una comprensión más exhaustiva sobre la pobreza, fortalecidas
desde finales de los años noventa, y que idearon nuevas metodologías
para su medición y monitoreo, así como de las evaluaciones emprendidas para
conocer los efectos de los programas y, de esta manera, poder identificar cuá-
les debían abandonarse.9
Sin embargo, no es hasta la segunda mitad de la dé-
cada de 2000 que se adoptan reformas legales claras y ordenamientos administrativos
secundarios, y los avances en monitoreo y evaluación de la política
social se generalizan a otras políticas sectoriales, que han logrado caracterizar
a México como pionero en la región en el uso de metodologías sistemáticas para
evaluar los resultados y el desempeño.
Como ejemplo de las reformas, las modificaciones a la Ley de General de
Desarrollo Social crearon el coneval y lo facultaron para normar y coordinar
la evaluación de la política y los programas de desarrollo social; asimismo, destaca
la Ley Federal de Presupuesto y Responsabilidad Hacendaria, que facultó a la
Secretaría de Hacienda y Crédito Público (shcp) y a la Secretaría de la Función
Pública (sfp) para implementar el Sistema de Evaluación del Desempeño (sed).
Adicionalmente, se aprueba la Ley General de Contabilidad Gubernamental,
la elaboración y ejecución de los Planes Anuales de Evaluación (pae) en la administración
pública federal, la creación del presupuesto basado en resultados
con el Sistema de Evaluación del Desempeño (PbR-sed), así como la emisión
de los Lineamientos Generales para la Evaluación de los Programas Federales
(véase Figura 1).
Sin duda, uno de los catalizadores del proceso de institucionalización del
monitoreo y la evaluación en México fue la creación del coneval, que por sus
características únicas —concretamente su independencia, capacidades técnicas
y mandato legal— ha podido avanzar en la construcción de un sistema de eva-
8 Roberto García López y Mauricio García Moreno, op. cit. 9 José F. Tapia, “Los pilares de la gestión para resultados de desarrollo en México”, en Fortaleciendo la
gestión para resultados en el desarrollo en México: oportunidades y desafíos, México, clear-cide-Red Nacional
coplac GpRD, 2013, pp. 21-23.
01-INPA-CLEAR BALLESCA.indd 15 03/09/2015 17:40:40
16 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
luación de la política social y, a la vez, ejercer influencia importante sobre el
desarrollo de la gestión basada en resultados en el gobierno federal.10
En la primera década del siglo veintiuno, el tema del monitoreo y la evaluación
adquirió estatus legal con prácticas de rendición de cuentas y rutinas
generalizadas en el gobierno federal. En 2000, al tener un Congreso (parlamento)
con mayoría políticamente distinta a la del ejecutivo, se estableció en
el Decreto de Presupuesto de Egresos de la Federación la obligatoriedad de realizar
evaluaciones de los programas sujetos a reglas de operación, identificados
como programas sociales. Sin embargo, no es hasta 2002 que se inicia la entrega
formal de evaluaciones de programas al Congreso de la Unión y a la shcp, actores
fundamentales en la toma de decisiones presupuestarias.11
A la par de las obligaciones legales de evaluar todos los programas sociales
federales, ocurrieron transformaciones en la estructura programático-presupuestal
de la administración pública federal y adecuaciones jurídicas con la
participación del poder legislativo. A partir de 2007, la coordinación interinstitucional
entre el coneval, la shcp y la sfp, así como las reformas a la Ley Federal
de Presupuesto y Responsabilidad Hacendaria, dieron un nuevo impulso al
proceso de monitoreo y evaluación gubernamental en México (véase Figura 1).
Si bien la estrategia de evaluación en la administración pública federal tiene
sus orígenes en los programas sociales —primero con las evaluaciones al programa
Oportunidades, luego con las evaluaciones sistematizadas que impulsó
el coneval—, en los siguientes años se extendió al ámbito presupuestal bajo el
modelo de presupuesto basado en resultados (PbR),12 focalizando el seguimien-
10 Creado en 2006 por decreto presidencial, el coneval opera como organismo público descentralizado
de la Secretaría de Desarrollo Social (Sedesol), con los mandatos normativos de medir la pobreza y
evaluar la política social; cuenta con una junta de gobierno compuesta por académicos independientes.
En 2014, se le otorgó autonomía constitucional y, al momento de escribir estas líneas, está pendiente la
legislación secundaria para su funcionamiento (Benjamín Hill, “La experiencia de la implementación
del presupuesto con base en resultados en México”, en Claudia Maldonado Trujillo y Cristina Galíndez
Hernández [eds.], op. cit., pp. 53-58). 11 No obstante, en México la evaluación del programa Prospera (antes Oportunidades) es el antecedente
más claro en el ámbito de la práctica y el uso de la evaluación. El programa opera desde 1988 como
principal política de combate a la pobreza; es un programa que, con adaptaciones y nuevos componentes,
mantiene en su esencia la entrega de transferencias monetarias condicionadas a ciertas conductas en materia
de salud y educación. Inaugurado hacia finales de los años ochenta como “Solidaridad”, la estrategia
ha cambiado su nombre en 1997 a “Progresa”, en 2000 a “Oportunidades” y en 2014 a “Prospera”. Los
distintos nombres han coincidido con cambios en la administración del gobierno federal (Gonzalo Hernández
Licona, “Construyendo un Sistema de Evaluación del Desempeño para el desarrollo social”, en
ibid., pp. 61-68).
12 El presupuesto basado en resultados se concibe como un instrumento que permite apoyar las decisiones
presupuestarias en información que incorpora sistemáticamente los resultados del ejercicio de los
01-INPA-CLEAR BALLESCA.indd 16 03/09/2015 17:40:40
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 17
Figura 1. Marco normativo del sistema de monitoreo y evaluación en México
Fuente: elaboración propia a partir de normatividades del marco jurídico nacional.
2013
Lineamientos para dictaminar y dar seguimiento a los programas derivados del Plan
Nacional de Desarrollo 2013-2018. Establecen los elementos y características a contener los
programas sectoriales, regionales, especiales e institucionales que deriven del pnd, además de
regular el procedimiento de dictamen y determinar los criterios para el proceso de monitoreo
de los mismos.
Guía técnica de elaboración de los Programas Derivados del pnd, que incluye criterios
y lineamientos para la construcción de un sistema de métricas clave orientado a promover,
presentar y reportar el avance en términos de las grandes prioridades del país derivadas del
sistema nacional de planeación, con el fin de monitorear el avance nacional del desarrollo.
2004
Ley de Desarrollo Social. Introdujo mejores
prácticas de política social y estándares
internacionales de M y E.
2005
Creación del Consejo Nacional de Evaluación
de la Política de Desarrollo Social.
2006
Ley Federal de Presupuesto y Responsabilidad Hacendaria. Primera visión
articulada de un sistema de gestión por resultados a nivel gubernamental
fue expresada, en particular con la creación del Sistema de Evaluación de
Desempeño (sed) que implica la adopción del modelo de presupuesto basado
en resultados con la generación de indicadores para monitoreo de cada
programa presupuestario en el país.
30 de marzo de 2007
shcp, sfp y coneval.
Lineamientos Generales para
la Evaluación de los Programas
Federales de la Administración
Pública Federal.
Programa Anual de Evaluación,
ediciones 2007-2013.
2013
Plan Nacional de Desarrollo (pnd)
Inclusión por primera vez de indicadores (14) de monitoreo del desarrollo del país.
2012
Ley General ade Contabilidad
Gubernamental
Capítulo V (adicionado dof
12-11-2012). De la Información
Financiera Relativa a la
Evaluación y Rendición de
Cuentas.
01-INPA-CLEAR BALLESCA.indd 17 03/09/2015 17:40:41
18 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
to de indicadores de programas presupuestales y extendiendo metodologías de
evaluación a programas públicos no sociales.
Como ejemplo de la ampliación del sistema de evaluación más allá de los
programas sociales, Cejudo precisa que, en ese año, el Programa Anual de Evaluación
(pae) —documento en el que el coneval, la shcp y la sfp establecen las
evaluaciones por realizar cada año— contempló 189 evaluaciones: 173 de consistencia
y resultados, 12 de diseño, 2 de procesos y 2 comprensivas del gasto.
“La atención centrada en los programas sociales se ha ampliado a otros programas
del gobierno federal, relacionados con infraestructura, energía, seguridad
pública, entre otros”.13
La nueva administración para el período 2013-2018 ha mantenido la política
de seguimiento de indicadores de los programas presupuestales; la práctica
de evaluación externa técnica obligatoria continúa concretándose mediante el
pae, coordinado de manera tripartita por los órganos mencionados, así como
los procedimientos para expandir la práctica de monitoreo de indicadores en la
composición programático-presupuestal y las acciones de evaluación técnica independiente
en los gobiernos estatales y municipales del país.
1.1. Monitoreo y evaluación subnacional en México
La ola descentralizadora durante la década y media del siglo actual en México
provocó, entre otros fenómenos, que los gobiernos subnacionales adquirieran
una serie de responsabilidades y atribuciones que ampliaron la participación directa
en la prestación de bienes y servicios públicos de gran relevancia para el
bienestar de la población.
Junto con las nuevas atribuciones y la participación en la prestación de
bienes y servicios, se crearon reformas normativas y ordenamientos administrativos
secundarios centrales, que han impulsado la homologación de contabilidad
en los órdenes de gobierno nacional, estatal y municipal. Adicionalmente,
las demandas de mayor calidad, transparencia y evidencia sobre la efectividad
de la acción gubernativa local han motivado a distintos gobiernos estatales en
recursos públicos y motiva a las instituciones públicas a lograrlos, con el objetivo de mejorar la calidad del
gasto público federal y promover una rendición de cuentas más adecuada (Guía para la construcción de la
matriz de indicadores para resultados, México, schp-sfp-coneval, 2011). 13 Guillermo Cejudo, “De las recomendaciones a las acciones: el uso de la evaluación en la mejora del
desempeño del gobierno”, en Guillermo Cejudo y Claudia Maldonado Trujillo (eds.), De las recomendaciones
a las acciones. La experiencia del Premio 2011: Programas Federales Comprometidos con el Proceso de
Evaluación, México, cide-clear-sfp, 2011, p. 12.
01-INPA-CLEAR BALLESCA.indd 18 03/09/2015 17:40:41
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 19
México a realizar ajustes organizacionales y desarrollar proyectos y herramientas
originales de medición, evaluación y resultados del desempeño.
Hay diversas mediciones y diagnósticos que reflejan el avance en monitoreo
y evaluación de los gobiernos subnacionales en México. El coneval, en sus
diagnósticos de estos avances, ha identificado el desarrollo que las entidades federativas
han tenido en la creación de normatividad en monitoreo y evaluación
de su política social y en la puesta en práctica de estos elementos para transparentar
los recursos y rendir cuentas de los resultados de la política social.14
La shcp, en tres ejercicios de diagnóstico sobre el grado de avance en la
implementación del modelo de presupuesto basado en resultados y evaluación
del desempeño en los estados mexicanos,15 ha dado a conocer el grado de las
capacidades existentes en los ámbitos clave de la gestión del gasto y del estado
en el que se encuentra la implementación del presupuesto basado en resultados
(PbR) en los gobiernos locales. Adicionalmente, diversos centros de investigación
no gubernamentales, principalmente promotores de la transparencia y
la rendición de cuentas, han impulsado en los últimos años mediciones de los
avances en la implementación de instrumentos de seguimiento de programación
y gasto presupuestal, entre ellos ARegional16 y el Instituto Mexicano para
la Competitividad (imco).
Delgado-Garza y Fernández señalan que los gobiernos subnacionales han
emprendido esfuerzos para crear un marco institucional y generar capacidad organizacional
y técnica que promueva un gasto público más efectivo, eficiente y
de mayor calidad.17 Éstos se remontan a 1992, en los ejercicios de coordinación
hacendaria en México impulsados por los secretarios (ministros) de finanzas estatales.
Si bien estos autores reconocen avances en el desarrollo de sistemas y herramientas
para vincular los procesos de planeación y presupuesto con la medición
del desempeño, señalan que una de las principales debilidades es la normativa o
jurídica, que deja los avances técnicos, metodológicos y organizacionales registrados
sin perspectiva de mediano plazo.
14 coneval, Diagnóstico de avance en monitoreo y evaluación en las entidades federativas, México, coneval,
2011 y 2013.
15 Diagnóstico sobre el grado de avance de la implementación del PbR-sed en las entidades federativas,
México, shcp, 2014. 16 ARegional ha diseñado y difundido en los últimos ocho años el índice de transparencia y disponibilidad
de la información fiscal de las entidades federativas (itdif ). Por su parte, el Instituto Mexicano para
la Competitividad (imco), con el índice estatal de transparencia presupuestaria, mide las entidades con
mayor transparencia presupuestaria y aquellas que mantienen mayor opacidad. 17 Salvador Delgado-Garza y Eduardo Fernández Delgado, “Avances y retos de la gestión por resultados
en los gobiernos subnacionales”, en Fortaleciendo la gestión para resultados..., op. cit., pp. 46-55.
01-INPA-CLEAR BALLESCA.indd 19 03/09/2015 17:40:41
20 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
En el mismo sentido, el diagnóstico sobre el seguimiento y la evaluación
en los gobiernos subnacionales del coneval se destaca que el avance en
los gobiernos provinciales o estatales es heterogéneo, y la mayor brecha se ubica
en el área normativa. El análisis de coneval considera dos componentes: uno
normativo y otro práctico. El primero es el de mayor rezago promedio nacionalmente,
al registrase un valor de 27.7 respecto al máximo establecido en 51.8,
es decir una diferencia de 24.1 puntos respecto de la brecha de 23.3 puntos
registrada en el componente de la práctica en evaluación y monitoreo en los gobiernos
subnacionales de México.
La incorporación de políticas de monitoreo y evaluación en la gestión pú-
blica de cualquier gobierno demanda un intenso y sostenido trabajo técnico y
de capacidades institucionales en instancias ejecutoras para avanzar en prácticas
incrementales de rutinas para la generación, y mucho más para el uso, de conocimiento
y evidencia con fines de política pública. Además, sin duda alguna,
una estrategia de monitoreo y evaluación para la mejora de la gestión pública
requiere una decidida visión y disposición de la alta dirección gubernativa, que
dé relevancia a la generación de información y evidencia investigativa, la cual
oriente potencialmente sus decisiones político-administrativas.
Contar con esquemas articulados e institucionalizados de monitoreo y
evaluación es crucial para promover el aprendizaje organizacional de las dependencias
e instituciones públicas, a la vez que facilita el diálogo entre los actores
políticos y establece rutinas y parámetros de comparación que permitan la confrontación
de ideas.18
2. Seguimiento y evaluación en Jalisco
México es un país federal con cambio de gobierno cada seis años; se integra
por 32 entidades federativas: 31 estados y un Distrito Federal, los cuales, para
propósito de este documento, se definen como los del ámbito subnacional. Los
estados, a su vez, se dividen en municipios, y el Distrito Federal en delegaciones.
Los gobiernos estatales celebran elecciones cada seis años y los municipales
cada tres.
En la última década, el monitoreo y la evaluación han registrado prácticas
crecientes y reformas normativas en Jalisco. Específicamente, a partir de la
18 David Arellano, Walter Lepore, Emilio Zamudio y Felipe Blanco, “Enfoque de marco lógico como
un componente para el sistema de evaluación del desempeño”, en su libro Sistemas de evaluación del desempeño
para organizaciones públicas: ¿cómo construirlos efectivamente?, México, cide, 2012.
01-INPA-CLEAR BALLESCA.indd 20 03/09/2015 17:40:41
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 21
modificación a la Ley de Planeación para el Estado de Jalisco y sus Municipios
(2007), se formaliza la construcción de un sistema de monitoreo y evaluación,
se crean áreas administrativas con atribuciones específicas y se realizan tableros
de indicadores presupuestarios y de desarrollo, así como ejercicios evaluativos a
políticas públicas.
El marco normativo para monitoreo y evaluación se centra en la Ley de
Planeación para el Estado de Jalisco y sus Municipios (2007), que establece
que ambas prácticas estarán a cargo de una Unidad de Evaluación, atribución
que recae sobre la Dirección General de Monitoreo y Evaluación de la Subsecretaría
de Planeación y Evaluación, dentro de la Secretaría de Planeación,
Administración y Finanzas; dicha instancia deberá garantizar la participación de
técnicos, académicos y profesionistas expertos en la materia de los sectores pú-
blico, privado y social. Asimismo, establece la coordinación y la cooperación
intergubernamental, por medio del flujo de información que se solicite a las
entidades y dependencias del Poder Ejecutivo respecto a los logros y avances en
el cumplimiento de las metas contenidas en sus planes, programas y proyectos
de los que sean responsables conforme a sus atribuciones.
Cabe destacar que, aun cuando en 2013 se registró un cambio del poder
político en la administración subnacional, se mantuvieron y evolucionaron prácticas
en monitoreo de indicadores del desarrollo, además de profundizarse la
normatividad secundaria en materia de evaluación de programas y políticas pú-
blicas, fortaleciendo la institucionalización y mostrando al parecer un punto
de inflexión. Desde la perspectiva hacendaria, en la última década —como se
mencionó en el primer apartado—, el gobierno federal adoptó el modelo de
presupuesto basado en resultados, que asume la elaboración y el seguimiento a
indicadores construidos en programas presupuestales, y Jalisco no fue la excepción.
Si bien el seguimiento y control de hacienda pública no es el objetivo de
este documento, cabe destacar que Jalisco desarrolló, de manera pionera en el
país durante los años noventa, un conjunto de herramientas y sistemas informá-
ticos de monitoreo y control de gasto.
En 1997, se introdujo el Sistema Integral de Información Financiera (siif ),
que opera en la actualidad con ajustes y adecuaciones. Entonces, el siif logró
algo novedoso para las haciendas subnacionales: tener en tiempo real la
información integrada en red del avance en el ejercicio del presupuesto, la inversión
pública, los egresos, caja, contabilidad, pagos de contribuyentes por
Internet, bancos, así como en oficinas recaudadoras metropolitanas y foráneas,
así como el control de adquisiciones de bienes y servicios. La generación de
un marco institucional y el impulso a las capacidades técnicas promovía, en
01-INPA-CLEAR BALLESCA.indd 21 03/09/2015 17:40:41
22 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
última instancia, un gasto público más efectivo, eficiente y de mayor calidad.
El enfoque de modernización hacendaria dio origen al tránsito del modelo de
presupuesto por objeto del gasto a un esquema de presupuesto por programas.
En 1999, por primera vez, se hace una vinculación programático-presupuestal
al Plan Estatal de Desarrollo, aspirando a un modelo de monitoreo y control
financiero orientado a mejorar el desempeño del gasto gubernamental.
Así también, en 1999 se hizo público un tablero dinámico que daba seguimiento
al ejercicio del gasto e indicadores de desempeño de los llamados
Programas Operativos Anuales (poa), que, según la normatividad mexicana,
constituían el modelo de programación y presupuesto del gasto de las entidades
gubernamentales del poder ejecutivo. El sistema dio seguimiento presupuestario
de 2009 a 2013 como plataforma pública de indicadores de desempeño y
cumplimiento de metas.19
En 2014, según la normatividad nacional, entró en vigor el modelo de programas
presupuestarios; Jalisco reestructuró la arquitectura y la práctica de programación
y asignación presupuestaria que implicó la elaboración de matrices
de indicadores con base en la metodología de marco lógico. Para la administración
pública federal, la shcp difunde en su portal de información; en el caso de
Jalisco, al momento de elaboración de este documento, no está disponible como
sistema público.
3. Monitoreo de indicadores de desarrollo (mide), Jalisco
En México, los gobiernos electos de los órdenes federal, estatal y municipal
operan tradicionalmente con procesos sistemáticos de planeamiento, que derivan
en la elaboración de los llamados planes de desarrollo: el Plan Nacional de
Desarrollo en lo federal, el Plan Estatal de Desarrollo en lo estatal, y planes
municipales de desarrollo para las alcaldías. Estos instrumentos se emiten regularmente
al inicio de cada gobierno, cada seis años para gobiernos federal y
estatales, cada tres para gobiernos municipales.
En el caso de Jalisco, el Plan Estatal de Desarrollo contiene indicadores
cuantitativos vinculados a los objetivos de desarrollo y dan seguimiento a metas
establecidas en una visión de corto y mediano plazo para los alcances de
la presente administración (2013-2018), así como para el largo plazo (2033).
19 Sistema público disponible y consultado el 13 de enero 2015 en https://seplan.app.jalisco.gob.mx/
table/panelCiudadano/index/.
01-INPA-CLEAR BALLESCA.indd 22 03/09/2015 17:40:41
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 23
Desde 2007, se estableció un modelo y una plataforma informática de carácter
público para el monitoreo de indicadores y el cumplimiento de sus metas. Entre
2007 y 2008, se definió un conjunto de 116 indicadores que se incluyeron en
el Plan Estatal de Desarrollo. Jalisco, 2007-2030. Hacia 2010, se había desarrollado
un sistema dinámico de monitoreo a 108 indicadores, principalmente
de resultados y de impacto en el desarrollo, en el tablero de indicadores entonces
denominado “Tablín”. En 2013, con la actualización del Programa estatal
de desarrollo. Jalisco, 2013-2033, el tablero evolucionó al sistema de Monitoreo
de Indicadores del Desarrollo (mide) Jalisco y se amplió a 160 el número
de indicadores incluidos en el principal instrumento de planeación de la acción
gubernativa subnacional.
La integración de los nuevos indicadores de seguimiento a los objetivos
de desarrollo en el nuevo sistema mide se dio en el proceso de elaboración
del plan de gobierno, que incluyó, además de revisiones de diagnósticos existentes,
ejercicios de consulta participativa mediante foros temáticos con especialistas
de la academia, de organizaciones civiles y profesionales. En general, se
conjuntó una base aproximada de 500 mediciones posibles para los objetivos
de desarrollo; estas mediciones potenciales del programa estatal se sometieron
a discusión y análisis técnico-estadísticos20 con la participación del centro
de investigación privado México Evalúa, resultando la incorporación de 160
indicadores.
Además de estos indicadores, se definieron otros 222 complementarios,
que permiten una interpretación sectorial y de mayor profundidad sobre el desarrollo
del estado. Los indicadores complementarios corresponden a medidas
de nivel menos agregado y algunos son de gestión, propuestos por las instituciones
gubernamentales como indicadores que permiten valorar gestiones estraté-
gicas para el logro de resultados.
A finales de 2014, el sistema de Monitoreo de Indicadores del Desarrollo
(mide) Jalisco contenía 382 indicadores,21 160 de ellos clasificados como parte
20 La Subsecretaría de Planeación y Evaluación, junto con las tres instancias de información estadística (territorial,
económica y demográfica) del gobierno del estado (seijal, coepo e Instituto de Información Territorial),
integró la Mesa Técnica de Revisión de Indicadores (Metrijal), que, a partir de análisis de criterios de
relevancia, claridad, seguimiento, confiabilidad de fuentes, comparabilidad y pertinencia para la toma de decisiones,
seleccionó entre las propuestas los indicadores por incluir en el Plan Estatal de Desarrollo. 21 Los indicadores de más alto nivel (resultados e impacto) son principalmente de fuentes externas al
gobierno, producidos por el inegi, el pnud, el coneval o instituciones de prestigiada y reconocida referencia
nacional. Los indicadores de menor nivel corresponden principalmente a registros administrativos.
Aproximadamente 70% de los indicadores tiene actualización anual, trimestral, mensual o semanal; el
resto tiene actualización incluso censal, dependiendo de la fuente original.
01-INPA-CLEAR BALLESCA.indd 23 03/09/2015 17:40:41
24 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
del Plan Estatal de Desarrollo y 222 como complementarios.22 Es de destacar,
con el propósito de poner en perspectiva esta práctica subnacional, que frente
a la incorporación de 160 indicadores de seguimiento al Plan Estatal de Desarrollo
de Jalisco, el gobierno federal mexicano incluyó apenas 14 mediciones
cuantitativas en el Plan Nacional de Desarrollo, 2013-2018.
El sistema mide Jalisco está coordinado por la Subsecretaría de Planeación
y Evaluación, por medio de su Unidad de Evaluación, constituida en la Dirección
General de Seguimiento y Evaluación,23 y opera con tres enfoques:24
1. Como una plataforma de trabajo que vincula virtualmente a 36 instituciones
del poder ejecutivo estatal, las cuales reportan la información
mensualmente.
22 Véase http://seplan.app.jalisco.gob.mx/indicadores.
23 La coordinación del sistema implica un proceso de permanente diálogo con las entidades y dependencias
del gobierno que son responsables de validar y dar seguimiento mensual a los indicadores y las
metas. 24 mide Jalisco recibió el reconocimiento en 2013 del coneval como la mejor práctica en México en
sistemas de indicadores del desarrollo. En 2014, recibió mención honorífica en el II Reconocimiento de
Buenas Prácticas Subnacionales en Políticas Públicas de Desarrollo Social en América Latina.
Figura 2. Estructura de indicadores del desarrollo en el sistema mide Jalisco
Fuente: elaboración propia con información de la Dirección de Monitoreo de Indicadores de la Secretaría
de Planeación, Administración y Finanzas, 2013.
1º nivel
• 6 dimensiones del desarrollo ped Jalisco
• 26 indicadores
2º nivel
• 36 temas sectoriales en ped Jalisco
• 134 indicadores
Total de indicadores vigentes
en Plan Estatal de Desarrollo: 160
3º nivel
• 222 indicadores complementarios
Total de indicadores mide Jalisco:
382
01-INPA-CLEAR BALLESCA.indd 24 03/09/2015 17:40:42
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 25
2. Como sistema que contribuye al enfoque de gobierno abierto, al tener
sus bases de datos en formatos accesibles a la consulta y descarga,
además de contar con una aplicación descargable para dispositivos
móviles iOS y Android; en tanto instrumento de rendición de cuentas,
considera la publicación en tiempo real de la información capturada,
permitiendo al ciudadano la consulta en línea.
3. Finalmente, aspira a ser un sistema de información estratégica, al establecer
las prioridades de acción de la gestión pública, metas claras
y públicas de la acción gubernativa y medir el avance en su cumplimiento.
El modelo conceptual detrás del diseño del sistema mide Jalisco está inspirado
en dos enfoques analíticos: gobernanza25 y gestión orientada a resultados
para el desarrollo. Con base en ambos, mide Jalisco propone un modelo
que amplía la cadena tradicional26 de valor, vinculada con la acción pública, que
identifica los impactos directos que produce la intervención gubernamental en
una lógica causal. Así, da seguimiento a indicadores que reflejan tanto las condiciones
de bienestar y desarrollo, que son la suma de la acción colectiva, como el
desempeño medido según los resultados o productos directos de la intervención
del gobierno.
En el modelo mide Jalisco —sustentado en la teoría causal del enfoque
de política pública y el enfoque de marco lógico—, los impactos27 se clasifican
como directos (los provenientes de una política o acción del gobierno) o como
socialmente agregados (que representan la suma de efectos registrados por la
acción colectiva de distintas instancias gubernamentales, así como por agentes
privados y sociales).
En materia de gobernanza, y con el fin de promover la participación de
expertos independientes externos en la definición de la estrategia de seguimiento
de los indicadores del desarrollo del estado y sus metas, el 21 de marzo de
2014, bajo decreto gubernamental número 003/2014, se conformó el Consejo
Ciudadano mide Jalisco como un órgano auxiliar de la administración pública,
25 Véase Luis F. Aguilar, Gobernanza y gestión pública, México, fce, 2006. 26 Lynda G. Morra Imas y Ray C. Rist, The Road to Results: Designing and Conducting Effective Development
Evaluations, Washington, D. C., Banco Mundial, 2009. 27 Los impactos se entienden como el efecto principal y último que genera en las personas o el colectivo
una acción o un conjunto de acciones públicas o privadas de bienestar. En el caso de la gestión gubernamental,
se identifican como la alteración de las condiciones de bienestar y desarrollo existentes a partir de
una política o acción pública, entendida ésta como intervención que, orientada por una teoría de cambio,
destina intencionalmente recursos presupuestales, humanos y materiales.
01-INPA-CLEAR BALLESCA.indd 25 03/09/2015 17:40:42
26 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
facultado para emitir recomendaciones colegiadas.28 Como órgano de consulta
y asesoría, el Consejo Ciudadano aspira a contribuir a la definición de indicadores
y metas, así como a evaluar el funcionamiento del sistema y la evolución
de sus indicadores, para emitir recomendaciones sobre su monitoreo. Según
el decreto de creación y el folleto público,29 está integrado por miembros de la
sociedad civil y de instituciones públicas, considerados idóneos para este perfil
por su prestigio, experiencia y conocimientos profesionales. Los miembros
pueden ser actores gubernamentales, expertos independientes e instituciones
civiles, aunque sólo los externos tienen derecho a voto.
Sin embargo, una de las áreas de mejora para consolidar el sistema de monitoreo
es que los objetivos de planeación en mide Jalisco y sus indicadores no
se vinculan con el presupuesto de manera sistemática. En este sentido, hace falta
que, con el enfoque de teoría causal de política pública, se genere información
para orientar la decisiones directivas de énfasis gubernativo de recursos humanos,
materiales y financieros.
El Gobierno de Jalisco incorporó a la estructura programático-presupuestal
los criterios establecidos por el gobierno nacional, que eliminan el sistema
de los poa para transitar al de programas presupuestarios. Para el ejercicio
2014, primer año de su implementación, el Decreto de Presupuesto de Egresos
señala la existencia cercana a 660 programas presupuestarios, para los cuales se
elaboraron matrices de indicadores con la metodología de marco lógico, lo cual
trajo el nuevo reto de articular y sistematizar los diversos modelos de monitoreo
del desarrollo y de los programas presupuestarios. Otro de los retos más
importantes es la formación de capacidades técnicas para la generación de información
con estándares de calidad y verificación. En sí misma, la cultura de
medición es incipiente, pero lo es aún más la cultura de la calidad en la producción
de información emanada de rutinas de registros, con fines estadísticos y de
monitoreo.
4. Evaluación de políticas públicas en Jalisco
En la construcción del sistema de evaluación de programas y políticas públicas
en Jalisco se pueden identificar, por lo menos, tres etapas de ejercicios evaluati-
28 Información consultada y disponible el 10 de enero de 2015 en http://sepaf.jalisco.gob.mx/gestionestrategica/seguimiento.
29 Información disponible y consultada el 16 de enero de 2015 en http://sepaf.jalisco.gob.mx/gestion-estrategica/seguimiento/consejo-ciudadano-mide.
01-INPA-CLEAR BALLESCA.indd 26 03/09/2015 17:40:42
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 27
vos, marcos normativos y rutinas administrativas. El primero abarca hasta 2007
y se caracteriza por las referencias genéricas en las normativas locales, por ejercicios
atomizados y esporádicos de evaluación con escaso registro y documentación.
Govela, Román y Flores señalan que no fue hasta 2001 que se realizó,
por primera vez, una evaluación sobre el diseño y la integración del Plan Estatal
de Desarrollo, 2001-2007.
30 Por su parte, García Vázquez y Gómez Morán, en
distintos estudios sobre las tendencias en la investigación de los asuntos pú-
blicos en la comunidad científica jalisciense entre 1990 y 2010, coinciden en
que son escasos los ejercicios evaluativos y el registro que se tiene de ellos.31 La
mayoría de los estudios citados en estos textos versan sobre diseño institucional,
así como sobre la relevancia y priorización de la agenda gubernamental a partir
de la evaluación de los problemas públicos.
La segunda etapa se podría ubicar entre 2008 y 2012, cuando algunas reformas
normativas, principalmente la Ley de Planeación para el Estado de Jalisco
y sus Municipios (2007) y su Reglamento, explicitaron la práctica del monitoreo
y la evaluación, así como la conformación de una unidad administrativa
responsable. En estos años se registraron procesos evaluativos concentrados en
valoraciones globales de resultados sobre los grandes problemas públicos. En ellas,
los objetos de estudio fueron, principalmente, los planes agregados de planeación,
como el Plan Estatal de Desarrollo y los programas sectoriales, caracterizados
por un enfoque de múltiples actores y de intervenciones agrupadas de
distintas entidades gubernamentales.
De 2009 a 2012, se registraron dos ejercicios formales de evaluación del
Plan Estatal de Evaluación, coordinados por la extinta Secretaría de Planeación,
que en 2013 se fusionó con la Secretaría de Finanzas y la de Administración. El
primer ejercicio de evaluación del ped en 2009 se hizo mediante un proceso de
percepción ciudadana32 sobre el cumplimiento de los objetivos, así como sobre
el diseño del documento y el cumplimiento de las metas de los indicadores incluidos.
El segundo ejercicio evaluativo, realizado en 2012, replicó el primero,
30 Roberto Govela, Ignacio Román Morales y Rodrigo Flores Elizondo, Planes, políticas y actores econó-
micos en Jalisco en el marco de la liberalización económica, Guadalajara, iteso, 2004. 31 Véanse Estuardo Gómez Morán, “Perspectivas teóricas en el estudio de las políticas públicas” y Nancy
García Vázquez, “Estudio introductorio”, ambos en Nancy García y Alberto Arellano Ríos (coords.), Ciencia
política y políticas públicas en Jalisco. Teoría y metodología, Zapopan, El Colegio de Jalisco, 2013, pp. 73-
100 y 67-72, respectivamente. 32 Véanse los documentos de evaluación del ped Jalisco en la página oficial del Gobierno del Estado
de Jalisco, en la sección de evaluación en la Secretaría de Planeación, Administración y Finanzas. Información
consultada y disponible el 25 de abril de 2014 en http://sepaf.jalisco.gob.mx/gestion-estrategica/
evaluacion/evaluaciones-ped.
01-INPA-CLEAR BALLESCA.indd 27 03/09/2015 17:40:42
28 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
mostrando conclusiones categorizadas, discriminadas en fortalezas y oportunidades,
así como debilidades y amenazas.33
Asimismo, desde la Secretaría de Planeación y la de Administración se impulsaron
ejercicios de evaluación sobre la calidad de los servicios y la satisfacción
de usuarios. Los ejercicios realizados fueron 18 servicios evaluados en 200, 22
en 2010, 28 en 2011 y 44 en 2012, último año en que se aplicaron. No obstante,
desde la perspectiva de política pública, y teniendo como unidad de análisis
un programa público de intervención gubernamental, durante esos años hubo
ejercicios aislados de evaluación a programas públicos de apoyo.
Entre 2009 y 2010, se contrataron evaluaciones externas para los programas
estatales Mejora tu Casa, 3 × 1 Estatal y Fondo de Infraestructura Social Bá-
sica (fise) con base en los criterios para las evaluaciones de consistencia y resultados
emitidos por el coneval. En 2012, una entidad externa evaluó el fondo
de fomento productivo de mayor presupuesto en el gobierno estatal: el Programa
Productividad Jalisco, en sus modalidades de apoyos al comercio nacional,
al comercio exterior, así como para la incubación y aceleración de proyectos
empresariales. El mismo año, también se realizó una evaluación externa sobre
33 Gobierno del Estado de Jalisco, Plan Estatal de Desarrollo (ped). Jalisco, 2013-2033, Guadalajara,
Gobierno de Jalisco, 2013, p. 54.
Cuadro 1. Evaluaciones realizadas al ped Jalisco 2007-2030
Evaluación Año Entidad responsable Recomendaciones/
de evaluar Conclusiones
Informe de evaluación 2009 Secretaría de Planeación 42
del ped Jalisco 2030
Evaluación autónoma 2009 Consejo Económico y 92
al diseño del ped Social de Jalisco (cesjal)
Evaluación del Plan Estatal 2012 Secretaría de Planeación 460
de Desarrollo, 2007-2030

Breve análisis sobre el Plan 2013 Académicos 11
Estatal de Desarrollo de la Universidad
Jalisco 2030 de Guadalajara
Fuente: Gobierno del Estado de Jalisco, Plan Estatal de Desarrollo. Jalisco, 2013-2033, 2013, p. 54.
01-INPA-CLEAR BALLESCA.indd 28 03/09/2015 17:40:42
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 29
el diseño y los resultados de los recursos invertidos por el Fondo de Desarrollo
Regional (Fondereg) 2007-2012, que opera con recursos federalizados.34
Sin embargo, la extinción de la Coordinación General de Políticas Públicas
para el primer grupo de programas evaluados, así como el cambio de gobierno
para las evaluaciones realizadas en 2012, parece haber limitado la posibilidad
de establecer una agenda sistematizada de evaluación de políticas públicas. Pese
a los innegables avances en la normatividad y las prácticas evaluativas de los
servicios públicos, los planes y programas de desarrollo, los de algunos programas
públicos y la construcción de un sistema de evaluación quedaron como
asignatura pendiente. Permanecen distantes las rutinas y los procedimientos de
planeación, contratación y difusión de las evaluaciones; faltaron metodologías
orientadas a la obtención de información, hallazgos que brindaran conocimientos
concretos para mejorar la gestión y, en los casos en que se generaron evidencias
y recomendaciones de mejora, estuvieron ausentes los mecanismos de
utilización para orientar las decisiones de los operadores y directivos.
García Vázquez encontró, en su estudio de la investigación académica local
sobre políticas públicas entre 1990 y 2010, que apenas 18% corresponde a aná-
lisis de tipo evaluativo, mientras que más de 70% son análisis de agenda pública
o implementación de políticas.35 Gómez Morán detalla que, prácticamente,
ninguna de las investigaciones evaluativas identificadas tiene como objeto de
estudio un programa o intervención gubernamental; la mayoría refiere a trabajos
sobre problemas públicos agregados, principalmente en política social, “sin
establecer una vinculación puntual con alguna acción concreta del gobierno, de
tal forma que no se valoran los resultados que efectivamente tienen las políticas…;
se sitúan en un estilo analítico semejante al de los estudios de la agenda,
en el sentido de que la pretención de mostrar resultados está encaminada más
a reforzar la acción del gobierno”.36
Finalmente, se puede identificar, en los últimos dos años, la tercera etapa
de construcción de un sistema evaluativo subnacional en Jalisco. Entre 2013
y 2014, se robusteció el marco jurídico con criterios técnicos en normativas
secundarias, manuales para mejorar las condiciones de evaluabilidad y prácticas
evaluativas incrementales para políticas y programas públicos. Como ejemplo
de esos nuevos elementos normativos y de práctica, se encuentra la promulga-
34 Información consultada el 12 de mayo de 2015 y disponible en http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/estudios-investigaciones.
35 Nancy García Vázquez, “Estudio…”, art. cit., p. 158.
36 Eduardo Gómez Moran, art. cit., p. 95.
01-INPA-CLEAR BALLESCA.indd 29 03/09/2015 17:40:42
30 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
ción, a rango de decreto obligatorio, de los Lineamientos Generales de Seguimiento
y Evaluación, así como el Programa Anual de Evaluación (pae).
5. El proceso de construcción de un sistema de evaluación
En los últimos dos años (2013-2014), se han realizado ajustes normativos y
de arquitectura institucional, y se han registrado ejercicios evaluativos a programas
y políticas públicas como en ningún año. Las prácticas, rutinas, los procedimientos
y las normativas secundarias podrían colocarse como elementos
de un periodo de inflexión en la construcción de un sistema de evaluación
subnacional.
Según la normatividad vigente, la Unidad de Evaluación del Gobierno de
Jalisco es la Dirección General de Seguimiento y Evaluación, perteneciente a la
Subsecretaría de Planeación y Evaluación de la Secretaría de Planeación, Administración
y Finanzas. En el área de evaluación, dicha unidad se integra por dos
direcciones de área: evaluación de resultados e impacto y evaluación del desempe-
ño. La Unidad de Evaluación es la responsable de establecer los lineamientos
generales de los ejercicios de evaluación aplicables para las dependencias e instituciones
del gobierno subnacional, tanto para los ejercicios evaluativos realizados
o contratados por ella, así como para los realizados y contratados por las
dependencias ejecutoras.
El trabajo en la construcción del sistema evaluativo en estos años ha versado
sobre dos ejes: 1) propiciar condiciones de evaluabilidad institucional;
2) establecer procesos de mejora de la efectividad de los programas públicos con
prácticas evaluativas.37 El primer eje se agrupa en tres ámbitos de acción: a) las
relacionadas con las bases normativas y técnicas; b) las orientadas a robustecer
las capacidades institucionales; c) las de fortalecimiento de las decisiones técnicas
independientes de la estrategia evaluativa. Las rutinas y los procesos del
segundo eje se han concentrado en la planeación, contratación de entidades
evaluativas externas y el desarrollo de evaluaciones de diseño, procesos, consistencia
y resultados, así como en la generación de agendas de mejora de la
gestión pública y su seguimiento.38
37 Subsecretaría de Planeación y Evaluación, Informe anual de evaluación en el Gobierno de Jalisco, Guadalajara,
Gobierno de Jalisco (mimeo). 38 Ibidem.
01-INPA-CLEAR BALLESCA.indd 30 03/09/2015 17:40:42
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 31
5.1. Mejora de condiciones para la evaluabilidad
Para propiciar mejores condiciones de evaluabilidad, y considerando los programas
públicos como el objeto primordial de evaluación para incidir en la mejora
de la efectividad de la gestión gubernativa, el Gobierno de Jalisco, por medio
de su Unidad de Evaluación, realizó un inventario de las acciones y los programas
públicos que en su diseño y operación pretenden modificar capacidades y
condiciones socioeconómicas en individuos o grupos de individuos.
El inventario de programas públicos y acciones derivó en el desarrollo de
un sistema público de información que concentra datos estratégicos sobre el diseño,
la gestión y los alcances de cada programa público, convirtiéndose en el
universo potencial de evaluación. Este sistema está disponible en línea39 y se ha
vuelto una fuente de información de alta demanda ciudadana por su fácil acceso
y la pertinencia de sus contenidos para obtener los beneficios ofrecidos por el
gobierno estatal.
5.1.1. Bases normativas y técnicas
Con la finalidad de establecer bases técnicas y ordenadas para la realización de
los ejercicios de evaluación, se publicaron en junio de 2014 los Lineamientos
Generales de Seguimiento y Evaluación de los Programas Públicos del Gobierno
de Jalisco, de observancia obligatoria; su finalidad es señalar los criterios para
la conceptualización y el seguimiento de las evaluaciones, además del procedimiento
para su utilización mediante compromisos de mejora, derivados de las
recomendaciones sugeridas por evaluaciones.
El modelo de evaluación que se define en los Lineamientos Generales considera
tanto programas públicos sustentados en una teoría de cambio como el
Plan Estatal de Desarrollo (ped) y sus políticas públicas. La tipología de evaluaciones
establecida incorpora los avances metodológicos y técnicos que ha hecho
el coneval en la última década en México. Jalisco tomó como referencia los
modelos de evaluación de este órgano nacional, adaptándolos al contexto local
y proponiendo, a su vez, nuevos modelos, como el de evaluación de resultados.
El énfasis en la utilización de los resultados de los procesos evaluativos se incluye
también en los Lineamientos Generales y en el modelo de la estrategia de
evaluación. Se contemplan como objetos de investigación evaluativa tanto los
39 Véase https://programas.app.jalisco.gob.mx.
01-INPA-CLEAR BALLESCA.indd 31 03/09/2015 17:40:42
32 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Figura 5. Alcances de los Lineamientos Generales de Monitoreo
y Evaluación de Programas Públicos del Gobierno de Jalisco
Fuente: Subsecretaría de Planeación y Evaluación, Informe anual de evaluación en el Gobierno de Jalisco,
Guadalajara, Gobierno de Jalisco, 2015.
instrumentos agregados de planeación como el ped y los programas sectoriales
derivados, y se destaca la evaluación externa de los programas públicos.
Así también, entre las acciones para propiciar mejores condiciones de evaluabilidad
—en su componente de bases técnicas y normativas—, la estrategia
de evaluación subnacional ha establecido procesos para mejorar la calidad y
consistencia de un instrumento de práctica extendida en México, que contempla
las rutinas y prácticas de gestión de programas gubernamentales, así como
también se constituye en un elemento de alta demanda en materia de transparencia
de la gestión del gobierno mexicano: las reglas de operación (rop).
Las rop de los programas públicos son un documento que se elabora como
práctica común de los programas que entregan apoyos monetarios o en especie a
un grupo focalizado de beneficiarios. Se publican, por lo general, de manera anual
y son un instrumento de múltiples propósitos; se difunden en medios oficiales y
sus destinatarios finales son los potenciales beneficiarios, para que puedan consultar
en ellos las normas de decisión y distribución de recursos. Con todo,
también han servido a los funcionarios de los programas, tanto para directivos
Definen los objetos de estudio
(programas públicos)
Se definen actores y procesos
de evaluación
Tipos y alcances de las
evaluaciones
Proceso para la formalización de
agenda de aspectos de mejora
Difusión y transparencia
de los resultados
Lineamientos
Generales
de Monitoreo y
Evaluación de
Programas
Públicos
01-INPA-CLEAR BALLESCA.indd 32 03/09/2015 17:40:42
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 33
como para operadores, al permitirles tener información homologada sobre cuá-
les son los objetivos y mecanismos de actuación. Así, la mejora de las reglas de
operación es relevante para el fortalecimiento de las capacidades evaluativas.
Las rop son instrumentos multipropósito que reúnen en un solo documento los
elementos de la compleja estructura de los marcos de actuación, al tiempo que
se erigen como referentes del diseño de las intervenciones públicas, y que por lo
tanto representan un elemento necesario para la realización de cualquier de tipo
de evaluación. De ahí que… se [considere] importante trabajar en mejorar su
calidad.40
Como parte del fortalecimiento de las capacidades evaluativas de los programas,
en 2013 y 2014 se realizaron análisis valorativos sobre la consistencia y
40 Subsecretaría de Planeación y Evaluación, “Diagnóstico 2014 de Reglas de Operación de los programas
públicos del Gobierno de Jalisco”, disponible en http://sepaf.jalisco.gob.mx/gestion-estrategica/
evaluacion/reglas-de-operacion.
Figura 6. Objetos y tipos de evaluación, y agendas de mejora de la gestión
Fuente: Subsecretaría de Planeación y Evaluación, Informe anual de evaluación en el Gobierno de Jalisco,
Guadalajara, Gobierno de Jalisco, 2015.
Los principales objetos de evaluación serán
los programas públicos y las políticas públicas
(representadas por el ped y sus programas
sectoriales).
Los tipos de evaluación que se
contemplan cubrirán tanto los
programas públicos como las
políticas públicas.
Plan Estatal de
Desarrollo y programas
sectoriales
Programas
públicos
Estratégicas
Impacto
Consistencia
y resultados
Satisfacción
de beneficiarios
Resultados
Operación
Diseño
Procesos de mejora derivados de
recomendaciones de las evaluaciones
Criterios
Aspectos de mejora
Claridad
Justificación
Relevancia
Factibilidad
Actividades
Responsables
Plazos
Medios de verificación
01-INPA-CLEAR BALLESCA.indd 33 03/09/2015 17:40:43
34 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
calidad de la información.41 Los llamados “diagnósticos de reglas de operación”,
publicados en ambos años, sirvieron como una guía para que los operadores de
los programas, así como sus áreas jurídicas y de planeación, elaboraran documentos
más claros y consistentes e incorporaran datos básicos sobre quién opera
y cómo se operan los programas públicos.
Esta guía contempla tres secciones principales. La primera considera una
introducción y la descripción básica del programa público. La segunda se refiere
a los objetivos, la zona geográfica que cubre o cubrirá el programa, la población
objetivo, las características de los apoyos monetarios o en especie, los perfiles
de los beneficiarios y los procesos de operación e instrumentación que detallan
plazos, rutinas de selectividad y los responsables de ejecución necesarios
para el desarrollo del programa. La sección tercera, correspondiente a los mecanismos
de verificación de resultados y transparencia, contempla indicadores
de desempeño y resultados proyectados, la existencia o no de ejercicios de evaluación
y, finalmente, los mecanismos para transparentar y difundir los resultados.42
5.1.2. Fortalecimiento de las capacidades institucionales
Las políticas de seguimiento y evaluación son, casi sin excepción, procesos
graduales y, en el mejor de los casos, incrementales, en las cuales la adopción de
prácticas y rutinas orientadas a la efectividad gubernativa exige la profesionalización
de los servidores públicos. El ejercicio de mejora continua enfrenta el
reto de la fragilidad de los servicios civiles de carrera en la administración pú-
blica y los movimientos continuos de los recursos humanos relacionados con
los procesos político-electorales. En estos contextos, la profesionalización es un
factor clave para la generación de información y evidencia pertinentes sobre
la gestión gubernativa y, más aún, para que su utilización oriente la toma de
decisiones.
En 2014, para fortalecer las capacidades técnicas institucionales, se llevaron
a cabo cursos de capacitación, en colaboración con el coneval, con asisten-
41 Subsecretaría de Planeación y Evaluación, “Diagnóstico 2013 de Reglas de Operación de los programas
públicos del Gobierno de Jalisco”, http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/reglas-de-operacion.
42 Subsecretaría de Planeación y Evaluación, “Guía para la elaboración de reglas de operación de los
programas del Gobierno de Jalisco”, http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/reglasde-operacion.
01-INPA-CLEAR BALLESCA.indd 34 03/09/2015 17:40:43
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 35
cia técnica para la realización de matrices de indicadores para resultados (mir)
con base en la metodología de marco lógico (mml) para 19 programas públicos.
Según el Informe anual de evaluación, se capacitó a 117 funcionarios de diez dependencias
con la finalidad de que 19 de sus programas públicos contaran con
una herramienta de diseño consistente, que permita la realización de ejercicios
de evaluación en el futuro.43
Asimismo, entre 2013 y 2014, una veintena de funcionarios públicos de
nivel directivo, tanto del gobierno estatal como de gobiernos municipales, participaron
en el Diplomado en Políticas Públicas y Evaluación, organizado por
el Centro clear para América Latina y el Centro de Investigación y Docencia
Económicas (cide) en el Distrito Federal.
5.1.3. Incorporación de decisiones técnicas independientes en la estrategia
evaluativa
Más allá de las características específicas de gestión de los programas públicos,
y con el objetivo de mejorar las condiciones de evaluabilidad —mediante el
fortalecimiento de la estrategia general de evaluación con rigor metodológico
y técnico—, se destaca la creación del Consejo Técnico Independiente para la
Evaluación de Políticas Públicas (Consejo Técnico Evalúa Jalisco).
En mayo de 2013, a tres meses de iniciado el nuevo gobierno, el titular del
Gobierno de Jalisco44 instaló el Consejo Técnico Evalúa Jalisco como organismo
consultivo tripartito que orienta, con recomendaciones colegiadas, la estrategia
de evaluación encabezada por la Secretaría de Planeación, Administración y
Finanzas, mediante la Subsecretaría de Planeación y Evaluación a través de su
Unidad de Evaluación.45 El Consejo Técnico Evalúa Jalisco está compuesto por
académicos de las seis instituciones académicas públicas y privadas más prestigiadas
en el estado, así como por el Centro clear para América Latina y las tres
instituciones del Gobierno Federal con atribuciones en la política nacional de
evaluación: el coneval, la Secretaría de Hacienda y Crédito Público y la Secretaría
de la Función Púbica. Además, cinco funcionarios estatales son también
miembros. Sólo los participantes externos de las instituciones académicas y los
43 Subsecretaría de Planeación y Evaluación, Informe anual de evaluación en el Gobierno de Jalisco, Guadalajara,
Gobierno de Jalisco, 2014. 44 Jorge Aristóteles Sandoval Díaz, gobernador constitucional de Jalisco, 2013-2018.
45 Información consultada y disponible el 18 de mayo de 2014 en http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/comite-tecnico-independiente-evaluacion.
01-INPA-CLEAR BALLESCA.indd 35 03/09/2015 17:40:43
36 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
funcionarios regionales y federales tienen derecho a voz y voto; los funcionarios
locales sólo tienen voz, con excepción del presidente por sus funciones de
conducción.
Los miembros son académicos pertenecientes al Sistema Nacional de Investigadores
y de reconocida trayectoria científica e independiente: Luis F. Aguilar
Villanueva, Agustín Escobar Latapí, Nancy García, Daniel Carrasco, Guillermo
Zepeda Leucona y Nora Ampudia. Del Gobierno Federal están los titulares de la
Unidad de Evaluación del Desempeño de la shcp y su homólogo en la sfp, así
como el Secretario Ejecutivo del coneval.
En julio de 2014, el Consejo Técnico Evalúa Jalisco emitió dos recomendaciones
colegiadas para el gobierno del estado. La primera versó sobre la definición
de los programas públicos prioritarios; se exhortó a su evaluación sistemática
durante el gobierno actual para la mejora de su gestión y para potenciar
sus resultados. La recomendación propone que el ejercicio de priorización tome
en consideración, entre otros, los siguientes criterios:
1. Contribución al logro de los objetivos y las metas de desarrollo establecidos
en el Plan Estatal de Desarrollo, 2013-2033.
2. Cobertura en relación con la población atendida.
3. Presupuesto estatal o federal.
4. Importancia estratégica para el gobierno en labores de 2013 a 2018.
La segunda recomendación llamó a contemplar en los procesos de asignación
presupuestal un esquema que permita contar con los recursos financieros
suficientes para la realización anual de las evaluaciones, de modo que se establezcan,
en los Proyectos de Presupuesto de Egresos que se integren y remitan
al Congreso del Estado, los montos necesarios para garantizar la realización de
las evaluaciones externas que se determinen en la priorización de los programas
públicos estatales y que se deban contemplar en los Programas Anuales de Evaluación.
5.2. Mejora de la efectividad de los programas públicos con prácticas
evaluativas
Como se señaló, la estrategia evaluativa de los últimos dos años presenta elementos
que parecieran ser un punto de inflexión en la construcción del sistema
de evaluación de programas y políticas públicas orientado a mejorar la efectivi-
01-INPA-CLEAR BALLESCA.indd 36 03/09/2015 17:40:43
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 37
dad de la gestión gubernamental. La estrategia contempla evaluaciones externas,
cuya realización se ofrece a los postulantes mediante concurso. El proceso
de evaluación contempla que, tras la investigación evaluativa, la entidad externa
presenta un informe preliminar para permitir la réplica de los operadores y directivos
de los programas, quienes pueden cuestionar o aclarar dudas sobre el
informe, las conclusiones y las recomendaciones emitidas.
Concluido el proceso de réplica y revisión de este informe en versión de
trabajo, el evaluador incorpora las observaciones de los responsables del programa,
así como de la Unidad de Evaluación en la versión final. Emitidas las
recomendaciones del evaluador, los directivos del programa las admiten o rechazan
estableciendo, de manera formal, una agenda de trabajo para incorporar
los hallazgos de mejora en la gestión del programa. En caso de rechazar recomendaciones,
los operativos y directivos del programa emiten una justificación,
que puede argumentar desde la falta de competencia jurídica hasta restricciones
financieras o de tecnología. Estas últimas son las razones más recurrentes en
las prácticas registradas.
En 2013, se realizaron evaluaciones externas a tres programas públicos
prioritarios, tanto por su componente presupuestal como por emanar de compromisos
públicos de la administración entrante. Éstos fueron los programas
Apoyo a Mujeres Jefas de Familia, Desayunos Escolares y Apoyo al Transporte
para Estudiantes. El alcance y los objetivos de cada evaluación son distintos para
cada caso: para el primero, se practicó una evaluación sobre línea base y diseño;
para los dos restantes, evaluaciones de diseño, de procesos y de operación.
En 2014, la práctica de procesos evaluativos se incrementó y consolidó
su oficialización. El 3 de junio de ese año se publicó, en el Periódico Oficial
del Estado de Jalisco, el Programa Anual de Evaluación (pae), que establece los
programas públicos sujetos a evaluaciones externas y la obligación de transparentar
sus hallazgos y recomendaciones de mejora, así como la elaboración,
implementación y publicación de las agendas de mejora derivadas de las recomendaciones.
El pae 2014 contempló la realización de siete procesos evaluativos: tres a
cargo de la Subsecretaría de Planeación y Evaluación, en su carácter de Unidad
de Evaluación del Gobierno del Estado, y cuatro a cargo de las dependencias
ejecutoras responsables de los programas. De estas evaluaciones, una no se realizó;
sin embargo, se efectuaron evaluaciones externas a tres programas más que
no se habían incluido.
Para 2015, como parte del proceso incremental, y a partir de las recomendaciones
del Consejo Técnico Evalúa Jalisco, el gobierno del estado contempla
01-INPA-CLEAR BALLESCA.indd 37 03/09/2015 17:40:43
38 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales Cuadro 2. Evaluaciones externas a programas públicos de Jalisco y agendas de mejora, 2013- 2014 Programa público Programa Apoyo a Mujeres Jefas de Familia Programa Desayunos Escolares Programa Apoyo al Transporte para Estudiantes Salvando Vidas Fondos de Desarrollo Cultural Capacitación, Certificación y Microemprendimiento ecos Música para el Desarrollo Proyecta Una computadora por familia Apoyos a Organizaciones
de la Sociedad Civil
Mochila con los útiles
Inventario
de Programas Públicos
Tipo de evaluación
Línea base
y evaluación de diseño
Evaluación específica (diseño,
procesos y operación)
Evaluación específica (diseño,
procesos y operación)
De resultados
De diseño
De consistencias
y resultados
De diseño
De diseño
De resultados
De procesos
De resultados
Estudio de consistencia
de programas
Dependencia o entidad
ejecutora del programa
Secretaría de Desarrollo
e Integración Social
Sistema para el Desarrollo
Integral de la Familia (dif ) Jalisco
Secretaría de Desarrollo
e Integración Social
Secretaría de Movilidad
Secretaría de Cultura
Secretaría de Trabajo
y Previsión Social
Secretaría de Cultura
Secretaría de Desarrollo
e Integración Social
Secretaría de Planeación,
Administración y Finanzas
Dependencia coordinadora
de la evaluación
Secretaría de Planeación,
Administración y Finanzas
Secretaría de Cultura
Secretaría de Desarrollo
e Integración Social
Secretaría de Planeación,
Administración y Finanzas
Año
de evaluación
2013
2013
2013
2014
2014
2014
2014
2014
2014
2014
2014
2014
Aspectos de mejora
formalizados en una agenda
15
20
11
En proceso
En proceso
En proceso
En proceso
En proceso
En proceso
En proceso
En proceso
En proceso
Fuente: elaboración propia con información de la Secretaría de Planeación, Administración y Finanzas del Gobierno de Jalisco. Información electrónica disponible y consultada el
30 de abril de 2015en http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/evaluaciones-programas-apoyo.
01-INPA-CLEAR BALLESCA.indd 38 03/09/2015 17:40:43
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 39
la realización de una veintena de evaluaciones externas a programas públicos
prioritarios con reglas de operación. Asimismo, contempla destinar un porcentaje
del presupuesto asignado a cada programa público; sin embargo, al momento
de concluir este documento, no es de conocimiento público el Programa
Anual de Evaluación 2015.
Conclusiones
La construcción de un sistema de seguimiento y evaluación es un proceso gradual,
pero indispensable, para orientar la toma de decisiones políticas y administrativas
en torno a qué aspectos de cuáles intervenciones funcionan y en qué
Cuadro 3. Programa Anual de Evaluación, Jalisco 2014
Dependencia
coordinadora
de la evaluación
Subsecretaría de
Planeación y Evaluación
Subsecretaría de
Planeación y Evaluación
Subsecretaría de
Planeación y Evaluación
Secretaría de Cultura
Secretaría de Desarrollo
e Integración Social
Secretaría de Desarrollo
e Integración Social
Secretaría de Desarrollo
Económico
Programa público
Salvando Vidas
Fondos de Desarrollo Cultural
Programa Estatal de Capacitación,
Certificación y Microemprendimiento
para buscadores de Empleo
ecos Música para el Desarrollo
Organismos de la Sociedad Civil
Una computadora por familia
Productividad Jalisco; categoría
de apoyo al comercio exterior,
Ferias Nacionales
Tipo de
evaluación
De resultados
De diseño
De consistencia
y resultados
De diseño
De procesos
De consistencia
y resultados
De resultados
Dependencia
o entidad evaluada
Secretaría de Movilidad
Secretaría de Cultura
Secretaría del Trabajo
y Previsión Social
Secretaría de Cultura
Secretaría de Desarrollo
e Integración Social
Secretaría de Desarrollo
e Integración Social
Secretaría de Desarrollo
Económico
Fuente: elaboración propia con información de la Secretaría de Planeación, Administración y Finanzas
del Gobierno de Jalisco. Información electrónica disponible y consultada el 30 de abril de 2015 en http://
sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/evaluaciones-programas-apoyo
01-INPA-CLEAR BALLESCA.indd 39 03/09/2015 17:40:43
40 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
medida logran su objetivo. Sin duda, la demanda y las presiones de lograr mayor
efectividad gubernamental, así como de reconocer que los recursos públicos
son escasos, hacen de la elaboración y el uso de las evaluaciones una práctica
relevante.
En América Latina, el avance en el desarrollo y la incorporación de sistemas
de monitoreo y evaluación en los ámbitos nacionales es heterogéneo y ha
sido una práctica en marcha durante la última década. En este aspecto, la región
se caracteriza por experiencias y prácticas de poca madurez, con excepción de
Brasil, Chile, Colombia y México, donde se registran los sistemas más sólidos,
aunque todavía con sus limitaciones.46 Ante este escenario, los retos de los gobiernos
subnacionales parecen aún mayores, al gozar de menos beneficios de la
cooperación internacional y frente a los desafíos que representa la descentralización
de responsabilidades. Con todo, también algunos gobiernos subnacionales
se reconocen como espacios de buenas prácticas innovadoras.
Para el gobierno estatal de Jalisco, el sistema de seguimiento y evaluación
ha significado un proceso de construcción, del que se presentan avances innegables
que podrían constituirse como referentes de buenas prácticas para otros
gobiernos subnacionales de la región. Entre las lecciones aprendidas del caso de
Jalisco, la primera es la fortaleza que se adquiere al incorporar normatividades
primarias y secundarias, así como al diseñar instrumentos técnico-metodológicos
claros y explícitos sobre los objetos de monitoreo y evaluación, constituidos
en planes de desarrollo, programas y políticas públicas.
Si bien los modelos, las metodologías y técnicas tienden a lograr consenso
en torno a las evaluaciones de programas públicos (principalmente, los sociales),
los sistemas de monitoreo y evaluación son dinámicos y diferentes por
sus contextos sociales, políticos y territoriales. La experiencia internacional ha
demostrado que los modelos metodológicos no escapan de la prueba y el error,
por lo que los procesos de los sistemas de monitoreo y evaluación se vuelven
inevitablemente graduales. Además, cabe reconocerlo, a pesar de que los enfoques
metodológicos son claros, e incluso a pesar de que éstos son transparentes
y públicos, no es sencillo llegar al consenso político y administrativo en torno a
qué evaluar, quién coordinará la evaluación ni cómo evaluar.
La segunda lección es sobre el fomento de las capacidades técnicas especializadas
entre los servidores públicos de rangos directivos y operativos. Para institucionalizar
las prácticas de monitoreo y evaluación, es crucial, además del establecimiento
de un andamiaje normativo, la profesionalización de los recursos
46 Roberto García López y Mauricio García Moreno, op. cit.
01-INPA-CLEAR BALLESCA.indd 40 03/09/2015 17:40:43
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 41
humanos facultados jurídicamente o por práctica. La profesionalización, tanto en
las áreas responsables de coordinar las evaluaciones como en las operadoras de los
programas y políticas, facilita la sistematización de rutinas y procesos evaluativos.
En Jalisco, si bien se cuenta en la unidad central de evaluación (la Dirección
General de Monitoreo y Evaluación de la Secretaría de Planeación, Administración
y Finanzas) con personal experto, éste no resulta suficiente; se requieren
contrapartes igualmente expertas en las instituciones públicas gestoras que funjan
como unidades internas de evaluación, que cooperen de manera sustancial
en la conducción del proceso evaluativo, en los requerimientos de información
para la investigación, así como con la posterior integración y el seguimiento de
las agendas de mejora. Hasta el momento, las áreas dentro de las dependencias
públicas que fungen como unidades internas de evaluación son las jefaturas, departamentos
o direcciones de planeación. La coordinación intergubernamental
entre las áreas técnicas de planeación con funciones evaluativas es indispensable
para la apropiación y, en consecuencia, el desarrollo de los procesos administrativos.
La profesionalización y la integración de estos funcionarios públicos
es clave para la construcción y el desarrollo de un sistema de monitoreo y evaluación.
Sin duda, el reto de la profesionalización y la integración de equipos
técnicos expertos o mínimamente enterados y coadyuvantes en los procesos
evaluativos es un desafío en contextos de administraciones públicas con nulos o
limitados ejercicios de servicios civiles de carrera y con rutinas de alta movilidad
de los recursos humanos, producto de los procesos político-electorales.
La tercera lección aprendida en Jalisco es la necesidad de incidir, desde el
gobierno subnacional, en el desarrollo de una comunidad o “mercado” local de
evaluadores, que sea adecuada para responder profesionalmente a los procesos
evaluativos. Para el caso mexicano, la práctica evaluativa se ha concentrado,
durante la última década, en más de una centena de programas nacionales que
por normatividad tienen la obligación de evaluarse cada año. La gran demanda
del gobierno federal por evaluadores expertos se satisface, principalmente, con
proveedores radicados en la capital del país, lo que ha resultado en la escasa
experiencia e infrecuente práctica de los profesionales y académicos que no residen
en la Ciudad de México. Así, para la estrategia evaluativa del Gobierno
de Jalisco, ha sido un reto identificar capacidades locales de expertos y profesionales
que satisfagan una demanda creciente de investigaciones evaluativas,
experimentando grandes diferencias en los costos de contratar evaluadores de
programas nacionales comparados con los de programas de menor cobertura
territorial, por lo que los gobiernos subnacionales tienen el reto de incentivar la
gestación de un mercado de evaluadores.
01-INPA-CLEAR BALLESCA.indd 41 03/09/2015 17:40:43
42 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
La cuarta lección se refiere a la coordinación y relación intergubernamental
entre el ámbito nacional y el subnacional. Si bien hay normatividades nacionales
que establecen el tipo de sistema de monitoreo y evaluación que deben
desarrollar los gobiernos subnacionales, esto es claramente aplicable para los
programas que ejercen recursos federales, pero no para los de recursos estatales.
No obstante, la estrategia evaluativa de Jalisco ha incorporado los sólidos avances
nacionales; incluso, en la creación del Consejo Técnico Independiente para
la Evaluación de las Políticas Públicas, se incorporó al coneval como miembro
con derecho a voz y voto, a la Secretaría de Hacienda y Crédito Público, a la
Secretaría de la Función Pública y al Centro clear para América Latina, constituyéndose
como práctica pionera en el país.
La quinta lección es el tránsito que hay de las recomendaciones a las acciones
de mejora. Evaluar no es un proceso sencillo; más allá de lograr la colocación
de la agenda evaluativa como un proceso indispensable y útil para lograr
la eficiencia gubernativa, así como el desarrollo de capacidades técnicas entre
funcionarios y expertos evaluadores locales, el proceso administrativo en el caso
de Jalisco ha sido una dura batalla. Llegar a informes finales de evaluaciones
de calidad, con hallazgos significativos y útiles, es por sí mismo un desafío. Sin
embargo, esto es apenas la mitad del trabajo; el reto es convertir las recomendaciones
y la evidencia en acciones concretas de mejora para las intervenciones
públicas.
Es importante reconocer que los procesos de monitoreo y evaluación conllevan
el riesgo de burocratizarse a tal grado que la atención se centre más en el
proceso mismo de la evaluación que en su utilización para la mejora continua. La
evaluación y el seguimiento son herramientas, por lo que deben evitar tener
como único objetivo la mera generación de conocimiento e información, cayendo
en la tiranía de los informes que en nada resultan útiles para la mejora de la
gestión. La información emanada de los procesos de monitoreo y evaluación
debe siempre aspirar a identificar las intervenciones más efectivas, para con
ellas orientar la toma de decisiones que impulsen el desarrollo y el bienestar de
la sociedad. Cejudo señala que el segundo conjunto de desafíos comprende los
relacionados con la capacidad que tienen las organizaciones encargadas de
atender las recomendaciones que producen las evaluaciones.47 Entre estos retos
se encuentra convertir la evaluación en un proceso internalizado en la gestión de
los órganos públicos, y no sólo en un tema secundario que debe atenderse por
obligación o por presión externa, sino por la utilidad concreta y práctica para
47 Guillermo Cejudo, art. cit.
01-INPA-CLEAR BALLESCA.indd 42 03/09/2015 17:40:43
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 43
mejorar la acción pública o para orientar la toma de decisiones. Elaborar agendas
de mejora, a las que pueda darse seguimiento como mecanismos de cambio
para lograr los objetivos deseados, es un gran desafío que ya ha comenzado a
enfrentarse, pero que habrá que documentar y cuidar en lo sucesivo.
Finalmente, la sexta lección es sobre la transparencia. La práctica evaluativa
en Jalisco ha logrado que todos los informes y las agendas de mejora sean
públicos y estén disponibles en Internet. Este proceso de apertura y transparencia
es un reto social, mediático y gubernamental. El diálogo con periodistas y
otros actores sociales sobre lo que evalúan instancias externas independientes,
sobre los resultados de las evaluaciones y las agendas de mejora, sin duda, abona
a la cultura social de la evaluación como proceso de cambio y mejora continua.
El uso social de la información y el conocimiento derivado de los procesos
de monitoreo y evaluación involucra al gobierno en términos de rendición
de cuentas y de su utilización para mejorar, pero también involucra a actores
especializados y ciudadanos dedicados a analizar, estudiar e incidir sobre la efectividad
gubernamental.
Bibliografía
Aguilar, Luis F., Gobernanza y gestión pública, México, fce, 2006.
Arellano, David, Walter Lepore, Emilio Zamudio y Felipe Blanco, “Enfoque
de marco lógico como un componente para el sistema de evaluación del
desempeño”, en su libro Sistemas de evaluación del desempeño para organizaciones
públicas: ¿cómo construirlos efectivamente?, México, cide, 2012.
Cejudo, Guillermo, “De las recomendaciones a las acciones: el uso de la evaluación
en la mejora del desempeño del gobierno”, en Guillermo Cejudo
y Claudia Maldonado Trujillo (eds.), De las recomendaciones a las acciones.
La experiencia del Premio 2011: Programas Federales Comprometidos con el
Proceso de Evaluación, México, cide-clear-sfp, 2011.
coneval, Diagnóstico de avance en monitoreo y evaluación en las entidades federativas,
México, coneval, 2011 y 2013.
——, Diagnóstico del avance en monitoreo y evaluación en las entidades federativas,
México, coneval, 2013.
Delgado-Garza, Salvador y Eduardo Fernández Delgado, “Avances y retos de
la gestión por resultados en los gobiernos subnacionales”, en Fortaleciendo
la gestión para resultados en el desarrollo en México: oportunidades y desafíos,
México, clear-cide-Red Nacional coplac GpRD, 2013.
01-INPA-CLEAR BALLESCA.indd 43 03/09/2015 17:40:43
44 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
García López, Roberto y Mauricio García Moreno, La gestión para resultados en
el desarrollo. Avances y desafíos en América Latina y el Caribe, Washington,
D. C., bid, 2.a
ed., 2010.
García Vázquez, Nancy, “Estudio introductorio”, en Nancy García y Alberto
Arellano Ríos (coords.), Ciencia política y políticas públicas en Jalisco. Teoría
y metodología, Zapopan, El Colegio de Jalisco, 2013.
Gobierno del Estado de Jalisco, Plan Estatal de Desarrollo (ped). Jalisco, 2013-
2033, Guadalajara, Gobierno de Jalisco, 2013.
Gómez Morán, Estuardo, “Perspectivas teóricas en el estudio de las políticas pú-
blicas”, en Nancy García y Alberto Arellano Ríos (coords.), Ciencia política
y políticas públicas en Jalisco. Teoría y metodología, Zapopan, El Colegio de
Jalisco, 2013.
Govela, Roberto, Ignacio Román Morales y Rodrigo Flores Elizondo, Planes,
políticas y actores económicos en Jalisco en el marco de la liberalización econó-
mica, Guadalajara, iteso, 2004.
Guía para la construcción de la matriz de indicadores para resultados, México,
schp-sfp-coneval, 2011.
Hernández Licona, Gonzalo, “Construyendo un Sistema de Evaluación del
Desempeño para el desarrollo social”, en Claudia Maldonado Trujillo y
Cristina Galíndez Hernández (eds.), Monitoreo, evaluación y gestión por
resultados. Aprendizaje y cooperación sur-sur para la innovación: el papel de
los actores subnacionales, México, clear-cide, 2013.
Hill, Benjamín, “La experiencia de la implementación del presupuesto con
base en resultados en México”, en Claudia Maldonado Trujillo y Cristina
Galíndez Hernández (eds.), Monitoreo, evaluación y gestión por resultados.
Aprendizaje y cooperación sur-sur para la innovación: el papel de los actores
subnacionales, México, clear-cide, 2013.
Maldonado Trujillo, Claudia y Cristina Galíndez Hernández (eds.), Monitoreo,
evaluación y gestión por resultados. Aprendizaje y cooperación sur-sur para la
innovación: el papel de los actores subnacionales, México, clear-cide, 2013.
Morra Imas, Lynda G. y Ray C. Rist, The Road to Results: Designing and Conducting
Effective Development Evaluations, Washington, D. C., Banco
Mundial, 2009.
shcp, Diagnóstico sobre el grado de avance de la implementación del PbR-sed en
las entidades federativas, México, shcp, 2014.
Subsecretaría de Planeación y Evaluación, “Diagnóstico 2013 de Reglas de
Operación de los programas públicos del Gobierno de Jalisco”, http://
sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/reglas-de-operacion.
01-INPA-CLEAR BALLESCA.indd 44 03/09/2015 17:40:44
Construyendo un sistema de monitoreo y evaluación para un gobierno subnacional 45
——, “Diagnóstico 2014 de Reglas de Operación de los programas públicos del
Gobierno de Jalisco”, disponible en http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/reglas-de-operacion.
——, “Guía para la elaboración de reglas de operación de los programas del
Gobierno de Jalisco”, http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/reglas-de-operacion.
——, Informe anual de evaluación en el Gobierno de Jalisco, Guadalajara, Gobierno
de Jalisco (mimeo).
——, Informe anual de evaluación en el Gobierno de Jalisco, Guadalajara, Gobierno
de Jalisco, 2014.
Tapia, José F., “Los pilares de la gestión para resultados de desarrollo en México”,
en Fortaleciendo la gestión para resultados en el desarrollo en México: oportunidades
y desafíos, México, clear-cide-Red Nacional coplac GpRD,
2013.
Weiss, Carol H., “Have we Learned Anything New About the Use of Evaluation?”,
American Journal of Evaluation, vol. 19, núm. 1, 1998.
01-INPA-CLEAR BALLESCA.indd 45 03/09/2015 17:40:44
01-INPA-CLEAR BALLESCA.indd 46 03/09/2015 17:40:44
El municipio de Villa María (Córdoba, Argentina) 47
La construcción de una metodología de evaluación
de políticas formuladas desde la colaboración
interinstitucional: el caso del municipio
de Villa María (Córdoba, Argentina)
1María Laura Porrini*
1. Introducción: el proceso de construcción del sistema
de seguimiento y evaluación
En este artículo se exponen los resultados del proceso de construcción de un
sistema de seguimiento cuyo objetivo fue facilitar al municipio de Villa María
(Córdoba, Argentina) la medición de ciertos estándares de calidad de vida de
la ciudad. Villa María se ubica en el centro geográfico de la república argentina,
cuenta con 80,000 habitantes y es cabecera del departamento General San Martín
(provincia de Córdoba).
Villa María es punto neurálgico del desarrollo económico del interior del
país, en tanto está atravesada por dos vías de comunicación cardinales: la ruta
nacional 9 (que une Córdoba con Buenos Aires) y la 158, que conecta el Mercosur.
Además, Villa María se erige como una de las principales cuencas lecheras
del país; es sede de importantes industrias agropecuarias, metalmecánicas,
alimenticias y tecnológicas. Estas características hacen de la ciudad un polo en
crecimiento de rasgos particulares, con gran capacidad de articulación en sus
procesos de desarrollo.
* Instituto Federal de Gobierno de la Facultad de Ciencia Política y Relaciones Internacionales de la
Universidad Católica de Córdoba.
01-INPA-CLEAR PORRINI.indd 47 03/09/2015 17:41:28
48 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Estas particularidades, que parecerían indicar que Villa María es un “buen
lugar para vivir”, exigen identificar los rasgos distintivos que podrían determinar
la calidad de vida, apuntando tanto a la medición de ciertos estándares en
la población —para lo cual se diseñó un sistema de indicadores de calidad de
vida— como al análisis de las políticas públicas que inciden en la cristalización
de esa calidad de vida. Y es justamente este aspecto el que justifica la construcción
de una metodología de evaluación de políticas formuladas desde la colaboración
interinstitucional.
Sobre esta base, el punto de partida del proceso fue la definición conceptual
de “calidad de vida”, adoptándose la perspectiva de la Comisión Económica
para América Latina y el Caribe (CEPAL), según la cual se trata de un término
multidimensional que se expresa tanto en el plano objetivo, que refiere al goce
de buenas condiciones de vida, como en el subjetivo, que alude a la satisfacción
de la ciudadanía con las condiciones objetivas en las cuales se desenvuelve
su vida diaria y se satisfacen sus necesidades cotidianas.
A partir de la generación de un consenso entre diversos actores clave de la
ciudad —entre los que se incluye el municipio— en torno a este concepto, se
propuso el diseño de una batería de indicadores agrupados en doce dimensiones
de la calidad de vida: vivienda, empleo, comunidad, educación, ambiente,
compromiso cívico, salud, satisfacción personal, seguridad, vida y trabajo, ingreso
y accesibilidad. La batería propuesta, centrada tanto en aspectos objetivos
como subjetivos de la calidad de vida, se compone por 67 indicadores que se
sometieron a procesos sucesivos de validación, en los que participaron tanto
representantes del municipio como de la academia y de la sociedad civil (véase
Anexo I).
Una vez consensuado el sistema de información, se procedió a recopilar los
datos necesarios para alimentar cada indicador, haciendo uso de diversas técnicas
de recolección: administración de una encuesta de 1,200 casos —zonificada
en cuatro áreas predefinidas de la ciudad de Villa María—, análisis documental
y consultas a informantes clave. Este primer relevamiento posibilitó trazar una
línea de base, que ayudó a identificar áreas de mejora, requiriendo tanto el análisis
de la situación específica de cada una de las cuatro áreas de la ciudad como de
las políticas públicas que inciden sobre esas situaciones particulares.
Ahora bien, al explorar las políticas públicas pensadas para incidir sobre
esas situaciones desde una perspectiva integral, es posible advertir que en su
gestión —desde su diseño hasta su implementación— ya no interviene sólo
el actor estatal. Tamargo expresa esta idea, aseverando que “nuevos actores y
movimientos sociales interpelan y demandan al Estado, expresando además su
01-INPA-CLEAR PORRINI.indd 48 03/09/2015 17:41:28
El municipio de Villa María (Córdoba, Argentina) 49
voluntad de incidir sobre la agenda pública y de gobierno, y en la toma de decisiones”;1
esto puede derivar, entre otras cosas, en políticas públicas articuladas
desde la gestión asociada.
Poggiese denomina gestión asociada a los
modos específicos de planificación y de gestión realizados en forma compartida
entre organizaciones estatales y organizaciones de la sociedad civil en su sentido
más amplio. El sistema de trabajo planificado y la relación articulada de los colectivos
que se crean para elaborar y gestionar estos proyectos o programas cogestivos,
que en sí mismos son una red, devienen en una trama social reconfigurada y
activa: una red de redes de gestión asociada.2
Y es justamente en este punto donde se advierte la necesidad de adoptar
metodologías de evaluación de las políticas públicas diferentes de las tradicionales
(que se focalizan en los resultados e impactos de las intervenciones, y no
en cómo los mecanismos o procesos mediante los cuales se gestionan esas intervenciones
potencian o desincentivan la capacidad de generar los cambios que
motivan su existencia), siendo crucial contar con metodologías de evaluación
que posibiliten valorar las políticas desde una perspectiva basada en la interinstitucionalidad.
Básicamente, la premisa de la que se parte es que, siendo la calidad
de vida un fenómeno multidimensional, en cuya mejora inciden políticas
públicas implementadas por diversas instituciones en el ámbito del municipio,
las metodologías de evaluación utilizadas para valorar tales políticas deben ser
capaces de recoger las particularidades de la gestión asociada. De otro modo, las
metodologías de evaluación no estarían valorando la capacidad de los mecanismos
de gestión usados para potenciar o desinhibir las políticas públicas, con el
fin de generar cambios en situaciones dadas.
2. El sistema de indicadores diseñado
La selección de dimensiones e indicadores constituye un desafío que implica
una toma de posición filosófica y teórica, que luego se hace evidente en el dise-
ño final del sistema. En tal sentido, sin perder de vista el objetivo del proyecto
1 María del Carmen Tamargo, Guía para el desarrollo de procesos de articulación público-privada, s. l.,
Iniciativas y Estrategias para el Desarrollo Humano Sustentable, 2012, p. 7. 2 Héctor Atilio Poggiese, Movimientos sociales, formulación de políticas y redes mixtas sociogubernamentales:
para un nuevo “saber hacer” en la gestión de la ciudad, Buenos Aires, FLACSO, 2000.
01-INPA-CLEAR PORRINI.indd 49 03/09/2015 17:41:28
50 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
de medición de la calidad de vida, el proveer información sistematizada a las
comunidades para la toma de decisiones públicas, la búsqueda y conformación
del sistema propuesto se realizó desde los criterios conceptuales y funcionales
que se detallan a continuación.
2.1. La selección de las dimensiones
En las últimas décadas, los estudios sobre crecimiento, desarrollo y bienestar han
manifestado un cuestionamiento creciente a la manera tradicional de comprender
estos conceptos y, a partir de ello, se ha propuesto una ampliación cada vez mayor
del rango de aspectos que se considera importante tener en cuenta. Tal como se
afirma en el marco del proyecto Better Life Index de la Organización para la Cooperación
y el Desarrollo Económico (OCDE), “últimamente se ha discutido mucho
cómo medir el bienestar de las sociedades: ¿es la riqueza lo único que importa o
deberíamos considerar otros aspectos, como el equilibrio entre el trabajo y nuestra
vida privada?”.3
Así, se observa que toman renovada relevancia para la sociedad
contemporánea los conceptos de desarrollo humano, calidad de vida, felicidad, entre
otros, acompañados de propuestas de estimación y medición.
De esta manera, la multidimensionalidad del desarrollo que caracteriza a
estos nuevos enfoques requiere centrar la atención en aspectos hasta ahora desatendidos
por las perspectivas tradicionales. Y es en este marco en el que la “calidad
de vida” se ha convertido en un aspecto sustantivo para la mirada reflexiva
de la sociedad contemporánea. Esto obliga a examinar su situación, sus condiciones
y potencialidades con el fin de definir y postular objetivos concretos e
indicadores que puedan servir en la evaluación de los procesos de mejora social,
constituyendo un punto de partida —la evidencia— para la construcción de
políticas efectivas.
Dada la diversidad de perspectivas y propuestas, la selección de dimensiones
para un sistema de indicadores implica siempre la toma de posición en relación
con los aspectos y valores que se priorizarán. La selección de las dimensiones,
en este caso, se realizó mediante un método de revisión y evaluación crítica
de antecedentes, orientado por el principio multidimensional de la vida y de la
pertinencia y utilidad para la toma de decisiones colectivas. Asimismo, las “dimensiones”
contienen indicadores que se constituyen en parámetros de calidad
3 OCDE, “¿Qué es tu índice para una vida mejor?”, http://www.oecdbetterlifeindex.org/es/about/better-life-initiative/,
consultado el 7 de marzo de 2015.
01-INPA-CLEAR PORRINI.indd 50 03/09/2015 17:41:28
El municipio de Villa María (Córdoba, Argentina) 51
de vida. Hacen referencia a la existencia de buenas condiciones de vida “objetivas”
y a un grado de bienestar “subjetivo”. Las estimaciones de los indicadores
suponen que a mayor valor, las condiciones de vida “objetivas” son mejores para
los ciudadanos, y que el grado de “bienestar subjetivo” es también mayor.
Así, entre los criterios que se utilizaron en la elección de dimensiones figuran:
• Su capacidad para captar el estado objetivo de la población de Villa
María.
• Su capacidad para captar el estado subjetivo de la ciudadanía.
2.2. La selección de los indicadores4
Para seleccionar los indicadores que permitieran valorar la calidad de vida en la
ciudad de Villa María, se siguió una lógica de lo general a lo particular. A partir de
las definiciones de las dimensiones, se han buscado referentes empíricos que permitieran
operacionalizar con indicadores concretos los aspectos valorados como
parte de “una vida de calidad”. La selección se realizó bajo el análisis de diversas
fuentes de información disponible, tanto nacionales como internacionales.
Considerando la cantidad de indicadores consultados y la variedad de objetivos
con los cuales aquéllos se utilizan en sus respectivos contextos, fue necesario
adoptar una serie de criterios al momento de realizar la selección, los
cuales fueron:
• La sencillez del indicador.
• El valor del indicador para informar una situación particular y la evolución
de esa situación, posibilitando así evaluar el desempeño de áreas de
acción (gubernamentales y no gubernamentales).
• La disponibilidad de acceso a las fuentes que informan los datos para el
indicador.
• La posibilidad de comparación provincial, nacional o internacional.
La adopción de estos criterios respondió al propósito de generar un sistema
de medición de la calidad de vida que fuese dinámico, en donde el análisis
4 Este subapartado sigue los lineamientos trazados en Jorge Price et al., Caja de herramientas para el
desarrollo económico local 2: normativa municipal para el desarrollo económico local. Indicadores municipales
para el desarrollo económico local, Buenos Aires, Oficina de la OIT en Argentina, 2008.
01-INPA-CLEAR PORRINI.indd 51 03/09/2015 17:41:28
52 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
pueda realizarse en un momento determinado, pero también que los datos relevados
en una primera aplicación constituyan una línea de base con la cual sea posible
comparar futuras mediciones y redireccionar las políticas públicas hacia el
logro de nuevos objetivos. Un sistema de medición entendido de esta manera
puede utilizarse como una herramienta de planificación y seguimiento en la gestión
local, dado que motiva —mediante la indagación— la toma de conciencia
de las propias prácticas y permite generar aprendizajes que podrían traducirse
en decisiones de política ajustadas a la realidad local.
Una vez relevada la situación de la ciudad en materia de calidad de vida,
se torna necesario analizar de qué modo pueden las políticas públicas incidir
en la modificación de esa situación. Y para este análisis se debe tener en cuenta
que, en la formulación y ejecución de tales políticas, ya no interviene un solo
actor; antes bien, son intervenciones caracterizadas por su gestión multiactoral
y multinivel. Tal vez, en la actualidad, el ejemplo más claro de esa intervención
interinstitucional se da en la fase de “entrega” o implementación de las políticas
públicas, pues cada vez hay más casos en los que las organizaciones no estatales
participan en la ejecución de planes o proyectos. En Argentina, ejemplos recurrentes
de esto son los planes sociales de formación para el empleo; así también,
los llamados Centros Integradores Comunitarios (CIC), espacios públicos de integración
comunitaria, construidos por iniciativa del Estado nacional en todo el
país, para el encuentro de diferentes actores que trabajan de modo intersectorial
y así promover el desarrollo local mediante la inclusión social y el mejoramiento
de la calidad de vida de las comunidades. Los CIC constituyen una instancia de
articulación entre el gobierno nacional, provincial, municipal, organizaciones
sociales o políticas y la sociedad civil, de la cual también participan los ministerios
nacionales que conforman el Consejo Nacional de Coordinación de
Políticas Sociales, para la ejecución articulada de políticas y proyectos públicos.5
La generación de estos espacios tiene intencionalidad clara: articular el trabajo
para el desarrollo local. Ahora bien, ¿se están logrando los resultados esperados?
¿Se cuenta con metodologías de análisis que permiten medir la capacidad
de esas instancias de trabajo asociado para lograr los efectos buscados?
5 Ministerio de Desarrollo Social (Argentina), “Centros Integradores Comunitarios”, http://www.desarrollosocial.gob.ar/centrosintegradorescomunitarios/169,
consultado el 7 de marzo de 2015.
01-INPA-CLEAR PORRINI.indd 52 03/09/2015 17:41:29
El municipio de Villa María (Córdoba, Argentina) 53
3. Nuevos modelos de gestión de las políticas públicas:
redes de cooperación público-privadas
Varias fuerzas que operan de manera simultánea exigen hoy la puesta en marcha
de modelos reticulares de gestión de las políticas públicas. En algunos casos, se
habla de la incidencia de los procesos de integración, que conllevan una redistribución
de algunas cuotas de poder estatal en actores interestatales, supranacionales
o regionales. En otros casos, las iniciativas de descentralización polí-
tico-administrativa que han tenido lugar en algunos contextos han signado la
aparición de nuevos órganos con nuevas competencias en la gestión de las polí-
ticas públicas, lo cual, a la vez que ha supuesto importantes avances en materia
de acercamiento de la gestión pública a la ciudadanía, ha conllevado algunas
veces la duplicación de servicios y el solapamiento de recursos.6
Finalmente,
sin restar importancia a estos dos procesos, y como ya se ha comentado arriba,
hay una tercera fuerza que en nuestro país ha ejercido un protagonismo casi
irrefutable: la aparición en escena de la sociedad civil y de sus organizaciones,
no sólo mediante representaciones y reclamos específicos, sino avanzando cada
vez más en la cogestión de ciertos asuntos que hasta hace poco parecían recaer
de manera exclusiva en la esfera estatal.
La coexistencia de estas tres fuerzas ha puesto en tela de juicio los modelos
de gestión tradicionales y, consecuentemente, la efectividad de políticas gestionadas
desde la individualidad institucional y de tipo catch all, requiriendo
“una lógica de funcionamiento que desplace enfoques centralistas por un diseño
descentralizado de las políticas públicas, las cuales deben dotarse de mayor grado
de horizontalidad, selectividad, territorialidad y capacidad de concertación
con los actores sociales”.7
Esto parecería indicar la necesidad de nuevos procesos
de gobernanza a escala territorial, que permitan multiplicar recursos, optimizar
el aprovechamiento de los activos territoriales, implementar políticas innovadoras,
facilitar la representación de los distintos sectores que conviven en la
sociedad, estimular la corresponsabilidad y, en definitiva, que permitan alcanzar
resultados que de otro modo no podrían obtenerse.
En el caso del municipio Villa María, desde hace tiempo se ha implementado
un modelo de trabajo mediante el cual diversas organizaciones de
la sociedad civil trabajan de manera conjunta con el gobierno local en el desa-
6 José Luis Osuna, Carmen Vélez, Ana Cirera y Juan Murciano, “Programación y evaluación pública:
un triángulo complejo”, Ekonomiaz. Revista Vasca de Economía, 60 (2006), pp. 76-97. 7 F. Alburquerque y M. Dini, Guía de aprendizaje sobre integración productiva y desarrollo económico
territorial, Sevilla, IDR-CSIC, 2008, p. 12.
01-INPA-CLEAR PORRINI.indd 53 03/09/2015 17:41:29
54 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
rrollo de proyectos conjuntos, movilizando los recursos disponibles al servicio
de la búsqueda de nuevas soluciones a los problemas de las comunidades
actuales.
A pesar de las ventajas que conlleva, la puesta en marcha de un modelo de
gestión con estas características no constituye una tarea fácil; no sólo desde un
punto de vista práctico —en tanto está condicionado por la voluntariedad de
la participación de los actores locales—, sino también desde un punto de vista
teórico-axiológico, pues supone que cada uno de estos actores está dispuesto
a ceder protagonismo a favor del todo, aminorando las asimetrías de poder y
favoreciendo la construcción y el desarrollo de nuevas capacidades. Estas dificultades,
junto a las visibles ventajas que acarrea la aplicación de procesos
de gestión asociada, requieren el desarrollo de metodologías de evaluación que
posibiliten captar sus contribuciones específicas y, así, maximizar su potencial,
contribuyendo a la generación de políticas públicas adaptadas a las necesidades
actuales de cada contexto de intervención.8
4. La evaluación de políticas públicas gestionadas desde
la interinstitucionalidad: aproximaciones y propuestas
Partiendo de una definición básica de la evaluación de políticas públicas, podemos
afirmar que se trata de “un área de investigación aplicada cuya finalidad
es valorar la utilidad y bondad de la intervención pública mediante la utilización
de un conjunto de técnicas que se emplean en otros campos de las ciencias
sociales”.9
Esta definición conceptualiza claramente la evaluación cuando
la gestión de las políticas objeto de análisis recae sobre un agente individual: el
foco de análisis está claro, en tanto se trata de valorar la utilidad y bondad de la
intervención pública.
Ahora bien, cuando esas políticas se gestionan desde la interinstitucionalidad,
esa concepción de la evaluación no parece suficiente para responder algunas
interrogantes que surgen de estos procesos y que tienen profunda incidencia
sobre la bondad y utilidad de la intervención pública:
8 Laura Porrini, Carmen Vélez, Juan Murciano Rosado y Carlos Bueno Suárez, “Redes de cooperación
público-privada y partenariados: retos y pistas para su evaluación. El caso de la Iniciativa Comunitaria
Equal en Andalucía”, Revista Gestión y Análisis de Políticas Públicas, 4 (2010), p. 166. 9 José Luis Osuna y Carolina Márquez (dirs.), Guía para la evaluación de políticas públicas, Sevilla,
Instituto de Desarrollo Regional, 2004, p. 2.
01-INPA-CLEAR PORRINI.indd 54 03/09/2015 17:41:29
El municipio de Villa María (Córdoba, Argentina) 55
• ¿Se han previsto mecanismos para coordinar los recursos (humanos,
técnicos, financieros) de los que disponen los coejecutores de la política?
• ¿Se ha convocado a todos los actores clave del territorio a los fines de
generar sinergias y evitar duplicidades?
• ¿Ha sido el proceso de gestión asociada lo suficientemente operativo
como para alcanzar los resultados de la manera más rápida y eficiente
posible?
• Finalmente, ¿habría sido posible alcanzar los resultados de la intervención
de no haber mediado la colaboración interinstitucional?
Ciertamente, dar respuesta a estas preguntas implica ampliar el foco de la
evaluación tradicionalmente concebida, añadiendo nuevos ámbitos de análisis.
La evaluación de las intervenciones que se desarrollan bajo la fórmula de la
gestión asociada debe orientarse no sólo al enjuiciamiento de su efectividad,
eficiencia o impacto, sino también al examen del propio mecanismo de gestión
como estrategia de desarrollo, en tanto que puede actuar como catalizador de
dicho proceso en la medida en que lo facilita o inhibe.10
5. Los nuevos ámbitos de análisis
Desde el Programa PPGA (Planificación Participativa y Gestión Asociada) de la
Facultad Latinoamericana de Ciencias Sociales (FLACSO) se esgrime que la esencia
de la gestión asociada supone la posibilidad de tomar decisiones conjuntas
entre Estado y sociedad que den lugar a acuerdos, negociaciones o concertaciones
y al diseño de propuestas, integrando visiones e intereses diferentes e incluso
contrapuestos, reconociendo y trabajando los conflictos. Esta concepción remite
a un modo de formulación de políticas públicas, a la posibilidad de construir
nuevas voluntades políticas y nuevos actores sociales colectivos,11 suponiendo
la aparición en escena de nuevos ámbitos de análisis al momento de evaluar las
políticas públicas formuladas desde estos marcos de gestión.
En relación con este tema, María del Carmen Tamargo sugiere pensar la
evaluación desde un marco referencial reflexivo, en movimiento permanente y
10 Ibid., p. 167. 11 Héctor Atilio Poggiese, Descifrar el enigma de las metrópolis con la acción intencionada de intervenir
produciendo cambios, en Catia Antonia da Silva et al. (coords.), Metrópole: governo, sociedade e território,
Río de Janeiro, DP&A, 2006.
01-INPA-CLEAR PORRINI.indd 55 03/09/2015 17:41:29
56 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Cuadro 1. Matriz de evaluación de procesos de gestión asociada (A)
Fuente: María del Carmen Tamargo, Apuntes para la evaluación..., op. cit., pp. 18-19.
Dimensiones
I. Política
(orientación valorativa)
II. Técnico-política
(operativa)
III. Relacional
(los vínculos)
IV. Desarrollo
de competencias
y aprendizajes
(el interior del proceso)
V. Efectos, resultados
(el exterior del proceso)
VI. Sustentabilidad
(el futuro)
Categorías analíticas
• Finalidad (largo plazo)
• Propósito (corto y mediano plazos)
• Las reglas de juego
• Los ámbitos (institucionalización formal o informal)
de toma de decisiones y control social
• La modalidad de coordinación y toma de decisiones
• La modalidad de gestión operativa
• Los dispositivos de gestión
• Los dispositivos de monitoreo y evaluación
La dinámica de los vínculos en los planos:
• Organizacional o institucional
• Grupal informal
• Personal
Y en forma transversal, en sus vínculos hacia adentro y hacia
afuera del proceso de gestión asociada.
Desarrollo de competencias en distintos planos:
• Operativo-instrumentales (estrategias de intervención
en el campo del desarrollo)
• De negociación y consenso (manejo del conflicto)
• Organizacionales
• Para el manejo de las relaciones interpersonales
Cambios a partir de aprendizajes del proceso en:
• La democratización de las prácticas
• La democratización de los vínculos
Efectos y resultados en los distintos sujetos de las intervenciones:
• Las personas destinatarias de las acciones
• La comunidad local, representada por diferentes formas
organizativas
• Los gobiernos locales o provinciales o el nacional
• La sociedad, el espacio de lo público (los ciudadanos
en general)
• Social
• Política
• Técnica
• Económica
01-INPA-CLEAR PORRINI.indd 56 03/09/2015 17:41:29
El municipio de Villa María (Córdoba, Argentina) 57
flexible, desde el cual se incorpora la dinámica social y el juego entre actores,
poniendo énfasis en el análisis de los procesos, para desde éstos analizar sus
efectos o resultados.12 La autora propone, para ello, una matriz de evaluación de
procesos de gestión asociada basada en seis dimensiones, a las que corresponden
diversas categorías analíticas.
La adopción de estas seis dimensiones y sus correspondientes categorías
analíticas permite una ampliación considerable de los ámbitos de análisis, focalizándose
tanto en la intervención y sus resultados (enfoque tradicional) como
en las particularidades del mecanismo gestor de esa intervención (nuevo enfoque
de la gestión asociada). Este doble foco de análisis posibilitaría extraer
lecciones clave sobre el grado de incidencia del mecanismo utilizado en la capacidad
de la política para generar los efectos esperados, permitiendo además
identificar aspectos para reorientar procesos de gestión y encaminarlos hacia
el logro de los objetivos esperados. El análisis de los factores que inciden en
la orientación a resultados (dimensión política), la operatividad del proceso
(dimensiones técnico-política y relacional) y la capacidad de incidencia de la
estructura de gestión (dimensiones de desarrollo de competencias y aprendizajes,
y de efectos y resultados) permitiría ciertamente atender estas dos necesidades
informativas.
A partir de las claras fortalezas de esta propuesta, se propone contemplar
dos dimensiones adicionales de análisis, de manera previa a las seis propuestas
en el Cuadro 1. Concretamente, aludo a la importancia de analizar la necesidad
y la oportunidad del consorcio gestor conformado, en el marco de la gestión de
una política pública en particular.
Las asociaciones público-privadas se sustentan en acuerdos establecidos
por los agentes clave de un territorio o sector, con voluntad de cooperar en el
desarrollo (o la búsqueda) de soluciones a los problemas que afectan a las comunidades,
incluyendo en la gestión de las políticas públicas a un vasto espectro de
actores representativos de las distintas realidades que conviven en las sociedades
actuales.13
Así, se torna imprescindible analizar, en primer lugar, cuán necesario es el
establecimiento de ese acuerdo, valorando hasta qué punto la puesta en marcha
de un proceso de gestión asociada es en sí misma necesaria para llevar adelante
una intervención específica. Y en esta valoración será preciso considerar algunos
aspectos clave, recogidos en el cuadro siguiente, como el carácter de las necesida-
12 María del Carmen Tamargo, “Apuntes para la evaluación de procesos de gestión asociada”, 2006,
disponible en http://www.iniciativasyestrategias.org, p. 3. 13 Laura Porrini et al., art. cit., p. 171.
01-INPA-CLEAR PORRINI.indd 57 03/09/2015 17:41:29
58 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
des y los problemas que justifican la constitución de la asociación gestora, la complejidad
de las soluciones que exige la realidad, la disponibilidad de recursos necesarios
para hacer frente a la intervención —técnicos, humanos y, especialmente,
financieros—14 y la homogeneidad o heterogeneidad que caracteriza a los colectivos
destinatarios de las intervenciones, en tanto que mayor diversidad conlleva la necesidad
de articular mecanismos de trabajo basados en la interdisciplinariedad.
Concretamente, las múltiples dimensiones que caracterizan los problemas
actuales y sus posibles soluciones son el factor que marca el paso de un modelo
de gestión individual o con participación restringida —en el que la dinámica
es vertical, pues los problemas y soluciones se conciben de manera generalista y
con cierto grado de homogeneidad— a otro modelo de gestión colectiva —con
dinámica horizontal o reticular, mediante la cual se pretenden ofrecer respuestas
selectivas y adaptadas a problemas particulares.15
Analizando el carácter de los problemas y la complejidad de las soluciones,
se hace necesario valorar la disponibilidad de recursos, en tanto la puesta en
marcha del proceso de gestión asociada puede encontrar justificación en la nece-
14 En relación con la disponibilidad de recursos financieros, E. S. Savas (Privatization and PublicPrivate
Partnerships, Nueva York, Chatham House Publishers, 2000) expresa que los consorcios son
aconsejables cuando hay clara necesidad de desarrollar un proyecto concreto, cuando no se cuenta con
suficiente presupuesto público para desarrollarlo y cuando hay beneficios potenciales derivados de la obtención
de nuevas fuentes de financiamiento, de una implementación más ágil, de un diseño innovador
y de una operación eficiente. 15 SAE, Redes de cooperación institucional. Evaluación de la experiencia Equal en Andalucía, Sevilla, Junta
de Andalucía, 2009, p. 35.
Cuadro 2. Matriz de evaluación de procesos de gestión asociada (B):
valoración de la necesidad y oportunidad del consorcio gestor
• Naturaleza de los problemas
• Complejidad de las soluciones requeridas
• Diversidad de los destinatarios de la intervención
• Disponibilidad de recursos requeridos para la intervención
• Papeles asumidos por cada institución que conforma
el consorcio gestor
• Inclusión de nuevos actores sociales
• Grado de participación de los distintos sectores
representativos de la sociedad o la diversidad
de destinatarios
Necesidad
de la gestión asociada
Oportunidad
de la gestión asociada
Fuente: elaboración propia.
01-INPA-CLEAR PORRINI.indd 58 03/09/2015 17:41:29
El municipio de Villa María (Córdoba, Argentina) 59
sidad de cofinanciación o de complementar los recursos técnicos o humanos de
una institución con los de otros socios, a partir de la complejidad del problema
al que se intenta dar solución.
Finalmente, será preciso analizar la diversidad de los colectivos destinatarios
de las intervenciones, valorando si se trata de grupos homogéneos —con
características específicas similares— o de una variedad de destinatarios con necesidades
heterogéneas. En este segundo caso, contar con actores diversos, representativos
de cada sector, será una necesidad concreta que justificará (aunque,
probablemente, no por sí misma) la articulación del proceso de gestión
asociada.
Determinada ya la necesidad de la gestión interinstitucional de una política
pública, la oportunidad del proceso se relaciona con la idoneidad de las
organizaciones que dan forma a la asociación gestora en función de las necesidades
particulares de los grupos y territorios sobre los que recae la intervención.
En otras palabras, la oportunidad de un proceso de gestión asociada de
esta naturaleza remite a la relación entre la idoneidad de su composición y las
Fuente: elaboración propia a partir de Laura Porrini et al., “Redes de cooperación...”, art. cit., p. 172.
Diagrama 1. Las categorías de análisis requeridas
en la valoración de la necesidad del proceso de gestión asociada
Modelo de gestión tradicional
(individual)
Unidimensionales, abordables
desde la especificidad
de una sola institución.
Soluciones concretas,
estructuradas en políticas
específicas.
Proyectos específicos, de corto
plazo, financiables desde la
individualidad institucional.
Colectivos específicos
(considerados homogéneos).
Categorías de análisis
Naturaleza
de los
problemas
Complejidad
de las
soluciones
Disponibilidad
de
recursos
Representatividad
de actores o diversidad
de destinatarios
Modelo de cooperación
institucional (colectivo)
Multidimensionales,
difícilmente abordables
desde la individualidad.
Soluciones complejas,
estructuradas en programas
de acción y no en políticas.
Programas multidimensionales,
a largo plazo, sustentados
en la cofinanciación.
“Grupos de población”
(atendiendo la diversidad
dentro del grupo).
01-INPA-CLEAR PORRINI.indd 59 03/09/2015 17:41:29
60 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
necesidades que lo motivan. En este sentido, las particularidades de la composición
se configuran como indicadores clave para enjuiciar la conveniencia de la
acción asociada como estrategia de gestión, dando forma estas cuestiones a una
redefinición del criterio de “pertinencia” y a las preguntas que pueden informar
sobre su existencia.
Así, considerando la composición de los consorcios gestores de manera
aislada, aparecen como ámbitos de análisis relevantes los siguientes aspectos:
• Los papeles asumidos por cada institución incluida en la asociación
gestora, siendo relevante analizar si cada actor contribuye a la asociación
con aquello en lo que es especialista, potenciando así la eficacia
y eficiencia del proyecto implementado.
• La inclusión de nuevos actores sociales en el diseño, la ejecución y la
evaluación de las políticas públicas, destacando la importancia de analizar
el grado en que estos actores permiten —mediante la representación
de grupos de la sociedad hasta entonces subrepresentados— ampliar
las bases de la democracia representativa en el municipio.
• El grado de participación de los distintos sectores representativos de
la sociedad. Esta línea de análisis, directamente relacionada con el punto
anterior, alude a la necesidad de definir, en el marco de la política
concreta que gestiona la asociación, qué agentes deberían estar presentes
si lo que se pretende es garantizar el cumplimiento de los propó-
sitos deseados.
En este aspecto, es interesante prestar atención a lo que Calame denomina
una condición previa a la instauración de verdaderas relaciones de gestión asociada,
16 haciendo referencia a las posibilidades reales de participación de cada actor,
que deben evaluarse antes de conformar la asociación o el consorcio gestor.
En este sentido, no todos los actores tienen la misma probabilidad concreta
de instituirse y de construir un discurso legítimo; tampoco la capacidad de influencia
en la toma de decisiones ni los recursos financieros que, en ocasiones,
la participación requiere.
Estas cuestiones, además de constituir nuevas dimensiones y ámbitos de
análisis para la evaluación de las políticas gestionadas desde las asociaciones,
contribuyen a hacer más horizontales las responsabilidades y pueden presentar
16 Pierre Calame, “Neuf thèses pour repenser la gouvernance”, 2008, fragmentos de su libro La démocratie
en miettes. Pour une révolution de la gouvernance, París, ECLM, 2003.
01-INPA-CLEAR PORRINI.indd 60 03/09/2015 17:41:29
El municipio de Villa María (Córdoba, Argentina) 61
alto grado de incidencia en la capacidad de impacto, viabilidad, pertinencia,
eficiencia y efectividad de las políticas y proyectos articulados.
A partir de estas observaciones, es posible inferir que la evaluación de procesos
de gestión basados en la colaboración institucional requiere identificar
metodologías de análisis adecuadas, que sean capaces de nutrir, de manera simultánea,
dos requerimientos de información paralelos: por un lado, los centrados
exclusivamente en los resultados e impactos de la intervención (fines
últimos de las políticas); por otro, aquellos que se focalizan en los mecanismos
de gestión articulados para alcanzar estos resultados e impactos (estrategia institucional
de las políticas). La matriz de evaluación antes expuesta, junto con las
dimensiones adicionales incorporadas, permite dar respuesta a ambos requerimientos,
teniendo como premisa de base que la estrategia institucional de las
políticas condiciona su capacidad de generar efectos.
La utilización de esta matriz posibilitaría, en palabras de Carol Weiss, esclarecer
la “caja negra” de las políticas o programas: conocer las causas o razones que
motivan que determinado cambio ocurra,17 aduciendo que, si se consigue establecer
cuáles son los factores determinantes del éxito y la forma en que se interrelacionan,
se puede decidir qué pasos deben supervisarse a medida que avanza
el programa, para conocer si realmente se confirman en los hechos.18
En este sentido, el análisis pormenorizado del modelo de gestión asociada
correspondería con el esclarecimiento de la caja negra, permitiendo identificar
ciertos factores (catalizadores) asociados con la gestión de las políticas con capacidad
para potenciar o desincentivar el logro de los objetivos planteados.19 Chen
avanza un paso más en estos postulados, incluyendo el concepto de moderadores,
que refiere a aquellos factores que condicionan los efectos o resultados de una
intervención.20
Así, mientras las categorías analíticas de Tamargo se erigen como los elementos
por analizar sobre las políticas o programas implementados desde la
gestión asociada, hay al menos tres posibles factores moderadores que podrían
afectar sus resultados, llevando a efectos diferenciados ante variaciones en estos
tres aspectos:
17 Carol Weiss, Evaluation: Methods for studying programs and policies, Jersey City, Prentice Hall, 2.a
ed.,
1998. 18 Banco Mundial, Seguimiento y evaluación. Instrumentos, métodos y enfoques, Washington, D. C., Banco
Mundial, 2004. 19 María Bustelo Ruesta, La evaluación de las políticas públicas de igualdad de género de los gobiernos
central y autonómicos en España: 1995-1999, tesis doctoral, Madrid, Universidad Complutense, 2004. 20 Huey-Tsyh Chen, Practical Program Evaluation: Assessing and Improving Planning, Implementation,
and Effectiveness, Londres-Nueva Delhi, Sage, 2005.
01-INPA-CLEAR PORRINI.indd 61 03/09/2015 17:41:29
62 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
• Las características y especificidades de los destinatarios (aspectos susceptibles
de conocerse, en el caso de Villa María, mediante los indicadores
de calidad de vida diseñados).
• Las modalidades de entrega de la política (particularidades de la implementación).
• Los elementos contextuales (identificables mediante el análisis de fuentes
secundarias o primarias, tales como el sistema de información propuesto
respecto a la calidad de vida).
6. Conclusiones
Los aspectos hasta aquí expuestos relatan el camino recorrido en la construcción
de una metodología de evaluación de políticas gestadas desde la colaboración interinstitucional,
tomando como ejemplo el caso de Villa María. Se partió de
la definición de un sistema de indicadores de calidad de vida del municipio, se
Diagrama 2.
El proceso de gestión asociada y sus ámbitos de análisis
Fuente: elaboración propia.
Objetivo
de la política
o programa
Resultados
de la política
o programa
Sistema de gestión
¿Cómo se logra? Caja negra
de la política o programa
Matriz de evaluación:
dimensiones y categorías analíticas
Moderadores del sistema de gestión:
• Características de los destinatarios
• Modalidades de entrega de la política
• Elementos contextuales
¿Qué se
quiere? ¿Qué se ha
logrado?
Objetivos Resultados
01-INPA-CLEAR PORRINI.indd 62 03/09/2015 17:41:30
El municipio de Villa María (Córdoba, Argentina) 63
realizó una primera medición —trazado de la línea de base— y se propuso definir
una metodología que permitiera evaluar las políticas con capacidad de incidencia
en esa situación inicial, partiendo de que muchas de esas políticas se gestionan
actualmente mediante gestión asociada.
La medición realizada y el proceso de discusión sobre metodologías de
evaluación que tuvo lugar en forma posterior permiten extraer algunas lecciones
que se pueden generalizar, cuya consideración posibilitaría una valoración integral
de los efectos de las políticas o programas articulados a partir de procesos
de gestión asociada. En este sentido, resulta ineludible:
1. Considerar dimensiones y categorías de análisis que permitan captar
las especificidades de la gestión asociada y potenciar o desincentivar
los efectos de la política.
2. Analizar detenidamente la composición de los consorcios de gestión
creados, pues “la experiencia sugiere que la participación activa del
tejido institucional local, en especial de asociaciones representativas
de subgrupos específicos de la comunidad, es imprescindible si se
pretende adaptar las políticas a las necesidades de las personas beneficiaras”.21
3. Contar con una metodología de evaluación capaz de captar tanto
la estrategia institucional como la técnico-operativa de una intervención,
como la teoría de programa de Carol Weiss, centrada en
el esclarecimiento de la caja negra y que “refiere a los mecanismos
que median entre la distribución (y entrega) de un programa y la
generación de resultados. En este sentido, el mecanismo operativo de
cambio no son las actividades del programa per se, sino las respuestas
que dichas actividades producen”.22
4. Incorporar el análisis de los catalizadores asociados a la gestión de
las políticas, que Chen denomina “moderadores”.23 Enfocarse en los
moderadores no sólo permitiría conocer las respuestas que las distintas
actividades generan, sino también los factores que potencian o
desincentivan la generación de esas respuestas.
5. Desplegar mecanismos específicos que posibiliten valorar los aspectos
clave para el buen funcionamiento de procesos de gestión asociada,
como la necesaria voluntad política para dinamizar el consorcio o la
21 Laura Porrini et al., art. cit., p. 193. 22 Carol Weiss, op. cit., p. 57. 23 Huey-Tsyh Chen, op. cit.
01-INPA-CLEAR PORRINI.indd 63 03/09/2015 17:41:30
64 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
existencia de mecanismos claros de coordinación para garantizar la
operatividad de la gestión. De otro modo, tanto el éxito como el
fracaso de las intervenciones gestionadas puede quedar inexplicado.
Finalmente, no se debe perder de vista que la gestión asociada suele tener
un objetivo doble: por un lado, potenciar el logro de los objetivos planteados en
contextos en que los problemas son multidimensionales, las posibles respuestas
son complejas, los recursos necesarios son considerables y las características de
los destinatarios no son homogéneas; por otro, consolidar el capital social de un
territorio. En este segundo caso, la propia gestión asociada se convierte en una
estrategia de desarrollo.
Esta doble consideración exige reflexionar sobre qué entendemos por la
efectividad de un proceso de gestión asociada, entrando en juego en el proceso
evaluativo tanto el logro de los objetivos de la política o programa (efectividad
en sentido tradicional) como la sostenibilidad de la alianza conformada.
01-INPA-CLEAR PORRINI.indd 64 03/09/2015 17:41:30
El municipio de Villa María (Córdoba, Argentina) 65
Bibliografía
Alburquerque, F. y M. Dini, Guía de aprendizaje sobre integración productiva y
desarrollo económico territorial, Sevilla, IDR y CSIC, 2008.
Banco Mundial, Seguimiento y evaluación. Instrumentos, métodos y enfoques,
Washington, D. C., Banco Mundial, 2004.
Bustelo Ruesta, María, La evaluación de las políticas públicas de igualdad de género
de los gobiernos central y autonómicos en España: 1995-1999, tesis doctoral,
Madrid, Universidad Complutense, 2004.
Calame, Pierre, “Neuf thèses pour repenser la gouvernance”, 2008, fragmentos
de su libro La démocratie en miettes. Pour une révolution de la gouvernance,
París, ECLM, 2003.
Chen, Huey-Tsyh, Practical Program Evaluation: Assessing and Improving Planning,
Implementation, and Effectiveness, Londres-Nueva Delhi, Sage, 2005.
Ministerio de Desarrollo Social (Argentina), “Centros Integrales Comunitarios”,
http://www.desarrollosocial.gob.ar/centrosintegradorescomunitarios/
169, consultado el 7 de marzo de 2015.
OCDE, “¿Qué es tu índice para una vida mejor?”, http://www.oecdbetterlifeindex.org/es/about/better-life-initiative/,
consultado el 7 de marzo de 2015.
Osuna, José Luis y Carolina Márquez (dirs.), Guía para la evaluación de políticas
públicas, Sevilla, Instituto de Desarrollo Regional, 2004.
Osuna, José Luis, Carmen Vélez, Ana Cirera y Juan Murciano, “Programación
y evaluación pública: un triángulo complejo”, Ekonomiaz. Revista Vasca de
Economía, 60 (2006), pp. 76-97.
Poggiese, Héctor Atilio, Descifrar el enigma de las metrópolis con la acción intencionada
de intervenir produciendo cambios, en Catia Antonia da Silva et al.
(coords.), Metrópole: governo, sociedade e território, Río de Janeiro, DP&A,
2006.
——, Movimientos sociales, formulación de políticas y redes mixtas sociogubernamentales:
para un nuevo “saber hacer” en la gestión de la ciudad, Buenos
Aires, FLACSO, 2000.
Porrini, Laura, Carmen Vélez, Juan Murciano Rosado y Carlos Bueno Suá-
rez, “Redes de cooperación público-privada y partenariados: retos y pistas
para su evaluación. El caso de la Iniciativa Comunitaria Equal en Andalucía”,
Revista Gestión y Análisis de Políticas Públicas, 4 (2010), pp. 161-
200.
Price, Jorge et al., Caja de herramientas para el desarrollo económico local 2: normativa
municipal para el desarrollo económico local. Indicadores municipales
01-INPA-CLEAR PORRINI.indd 65 03/09/2015 17:41:30
66 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
para el desarrollo económico local, Buenos Aires, Oficina de la OIT en Argentina,
2008.
SAE, Redes de cooperación institucional. Evaluación de la experiencia Equal en
Andalucía, Sevilla, Junta de Andalucía, 2009.
Savas, E. S., Privatization and Public-Private Partnerships, Nueva York, Chatham
House Publishers, 2000.
Tamargo, María del Carmen, “Apuntes para la evaluación de procesos de gestión
asociada”, 2006, disponible en http://www.iniciativasyestrategias.org.
——, Guía para el desarrollo de procesos de articulación público-privada, s. l., Iniciativas
y Estrategias para el Desarrollo Humano Sustentable, 2012.
Weiss, Carol, Evaluation: Methods for studying programs and policies, Jersey City,
Prentice Hall, 2.a
ed., 1998.
01-INPA-CLEAR PORRINI.indd 66 03/09/2015 17:41:30
Anexo 1. Sistema de indicadores de calidad de vida en Villa María1
1 Esta batería de indicadores de calidad de vida se elaboró en 2013 con la colaboración de los siguientes
profesionales: del Instituto Federal de Gobierno de la Universidad Católica de Córdoba, el Dr. Víctor
Mazzalay (coord.), la Dra. María Marta Santillán, el Dr. Sebastián Freille, la Mgter. Laura Porrini, la
Lic. Soledad Cabrera, el Lic. Facundo Pares; y de la Municipalidad de Villa María y organizaciones asociadas,
la Dra. Mildren del Sueldo, el Dr. Roberto Vázquez y el Sr. Daniel Massara.
Dimensión
Vivienda
Método de cálculo
Cociente entre el total de viviendas con agua de
procedencia de la red pública con cañería dentro
de la vivienda y la tenencia de baño con
descarga a la red pública (cloaca), y el total de
hogares, por cien.
Las NBI en Argentina son cinco: 1) tipo de vivienda:
proporción de hogares en viviendas tipo
casilla, pieza en inquilinato, pieza en hotel familiar
o pensión, local no construido para habitación
y vivienda móvil; 2) hacinamiento: proporción
de hogares con más de tres personas por
cuarto; 3) condiciones sanitarias: proporción de
hogares con tenencia de baño/letrina, 4) capacidad
de subsistencia: proporción de hogares que
tienen cuatro o más personas por miembro ocupado
y en los cuales el jefe del hogar tiene bajo
nivel de educación (sólo asistió dos años o menos
a la primaria); 5) escolaridad: proporción
de hogares con niños de seis a doce años que no
acuden a la escuela.
Cociente entre el total de viviendas con agua
de procedencia de la red pública con cañería
dentro de la vivienda y la tenencia de baño con
descarga a la red pública (cloaca), y el total de
hogares, por cien.
Para cada hogar, se realiza el cociente entre el
número de habitaciones y el número de personas.
Luego se promedia ese valor al nivel de
agregación requerido (ejemplo: ciudad o zona).
Cociente entre el total de hogares con servicio
de electricidad y el total de hogares, por cien.
Indicador
Hogares
con instalaciones
básicas
Hogares
con necesidades
básicas
insatisfechas
(NBI)
Hogares
con servicios
cloacales
Habitaciones
por persona
Hogares con servicio
de electricidad
Núm.
1
2
3
4
5
02-INPA-CLEAR ANEXO.indd 67 03/09/2015 17:41:55
68 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Dimensión
Empleo
Comunidad
Núm.
6
7
8
9
10
11
12
13
14
Indicador
Hogares
con acceso a agua
segura de red
pública
Hogares
que utilizan gas
para cocinar
Tasa de empleo
Empleo
no registrado
Tasa
de desempleo
Tasa
de desempleo
a largo plazo
Seguridad
en el
empleo
Existencia
de la red de
contención
social
Involucramiento
de la población
en instancias
de participación
Método de cálculo
Cociente entre el total de hogares que habitan
en viviendas en las que el agua para beber y cocinar
proviene de red pública y el total de hogares,
por cien.
Cociente entre el total de hogares que utilizan
gas para cocinar (red, tubo, granel, garrafa) y el
total de hogares, por cien.
Cociente entre el total de población 15 a 64
años que tiene un empleo remunerado y el total
de personas del mismo grupo etario.
Cociente entre el total de los ocupados a quienes
no se les realizan aportes jubilatorios y/o
que no efectúan aportes por su cuenta y el total
de población ocupada por cien.
Cociente entre el número de personas que en las
últimas 4 semanas estuvieron buscando trabajo
y el total de la población económicamente activa
(PEA), es decir, los que trabajan más los que
buscan trabajo.
Cociente entre el número de personas que han
estado desempleadas durante un año o más y
el total de la población económicamente activa
(PEA), es decir, los que trabajan y los que buscan
trabajo.
Número de personas ocupadas con una antigüedad
en el empleo de más de 6 meses sobre el
total de personas ocupadas.
Cociente entre el número de personas que declara
que sus amigos o parientes se ofrecerían
para ayudarlo si tuviera un problema y el total
de personas encuestadas por cien.
14.1. Proporción de la población que conoce
instancias de participación en asuntos no gubernamentales:
es el cociente entre el número
de personas que declara conocer instancias de
02-INPA-CLEAR ANEXO.indd 68 03/09/2015 17:41:55
El municipio de Villa María (Córdoba, Argentina) 69
Diménsión
Educación
Ambiente
Núm.
15
16
17
18
19
Indicador
en asuntos no
gubernamentales
(compromiso
comunitario).
Percepción
de
discriminación
Calidad
de la
educación
Población
de 18 y más años
según grado
de educación
alcanzado
Percepción
sobre la calidad
del agua
Calidad
del agua (indicador
objetivo)
Método de cálculo
participación en asuntos no gubernamentales y
el total de personas encuestadas, por cien.
14.2. Proporción de la población que participa
en instancias de asuntos no gubernamentales:
es el cociente entre el número de personas
que declara participar en instancias de asuntos
no gubernamentales y el total de personas
encuestadas, por cien.
14.3. Proporción de la población que evalúa
positivamente las instancias de participación
en asuntos no gubernamentales: es el cociente
entre el número de personas que evalúa positivamente
las instancias de asuntos no gubernamentales
en las que participa y el total de personas
que participan, por cien.
Cociente entre el número de personas que declaran
haberse sentido discriminadas por alguna
causa y el total de personas encuestadas por
cien. Las causas indagadas refieren a: color de
piel, sexo/género, edad, clase social, religión,
lugar en el que vive, apariencia física, manera
de vestir, otra.
Promedio de notas alcanzadas por los estudiantes
en lectura, matemáticas y ciencias según las
evaluaciones PISA.
Cociente entre el total de población de 18 años
o más en cada nivel educativo y total de población
de 18 o más, por cien. Niveles educativos:
primaria incompleta; primaria completa; secundaria
incompleta; secundaria completa; superior
(terciario y universitario) incompleto; superior
(terciario y universitario) completo.
Cociente entre el número de personas que están
conformes con el agua que beben en el barrio y
el total de personas encuestadas, por cien.
Mediciones de la compañía proveedora de agua
potable.
02-INPA-CLEAR ANEXO.indd 69 03/09/2015 17:41:56
70 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Dimensión
Compromiso
cívico
Salud
Núm.
20
21
22
23
24
25
26
27
Indicador
Percepción
sobre la calidad
del aire
Espacios verdes
por habitante
Contaminación
auditiva
Contaminación
visual
Participación
electoral
Involucramiento
de la población
en instancias
de participación
en asuntos
gubernamentales
Esperanza de vida
Población
con problemas
de salud crónicos
Método de cálculo
Cociente entre el número de personas que están
conformes con la calidad del aire en el barrio y
el total de personas encuestadas, por cien.
Cociente entre la cantidad de metros cuadrados
de espacios verdes y el total de habitantes.
Cociente entre el número de personas que consideran
que existe contaminación auditiva en el barrio
y el total de personas encuestadas, por cien.
Cociente entre el número de personas que consideran
que hay contaminación visual en el barrio
y el total de personas encuestadas, por cien.
Cociente entre el número de individuos que
emitieron voto en las últimas elecciones y el nú-
mero de personas en el padrón, por cien.
25.1. Proporción de la población que conoce
instancias de participación en asuntos gubernamentales:
es el cociente entre el número de personas
que declara conocer al menos una instancia
de participación en asuntos gubernamentales
y el total de personas encuestadas, por cien.
25.2. Proporción de la población en instancias
de participación en asuntos gubernamentales:
es el cociente entre el número de personas que
declaran estar en al menos una instancia de participación
en asuntos gubernamentales y el total
de personas encuestadas, por cien.
25.3. Evaluación de la participación en el espacio:
es el promedio simple de las evaluaciones de
aquellas personas encuestadas y que declararon
participar en los espacios evaluados.
Se calcula por métodos específicos como un
promedio ponderado de la esperanza de vida
para hombres y mujeres.
Cociente entre el número de personas que declara
tener algún problema de salud, enfermedad
o incapacidad física o mental crónicos (per-
02-INPA-CLEAR ANEXO.indd 70 03/09/2015 17:41:56
El municipio de Villa María (Córdoba, Argentina) 71
Dimensión Núm.
28
29
30
31
32
33
34
35
Indicador
Limitaciones
de salud
a la realización
de actividades de
la vida diaria
Estado general
de las últimas dos
semanas
Salud según
informan
las personas
(autopercepción
de la salud)
Maternidad
adolescente
Población
con cobertura
de salud
Población
con discapacidad
(según como
capta el censo)
Consumo
de tabaco
Consumo
de alcohol
Método de cálculo
manentes) y el total de personas encuestadas,
por cien.
Cociente entre el número de personas que declaran
que su problema de salud, enfermedad o
incapacidad física o mental crónicos las limitan
en la realización de sus actividades de la vida
diaria y el total de personas con percepción de
problemas de salud crónicos, por cien.
Cociente entre el número de personas con percepción
de buen estado de salud general y el total
de personas encuestadas, por cien.
Cociente entre el número de personas que declaran
tener un estado de salud bueno, muy
bueno o excelente en comparación con otras
personas de su edad y el total de personas encuestadas,
por cien.
Cociente entre el número de mujeres de 15 a
19 años que han sido madres y el total de mujeres
de la misma edad, por cien.
Cociente entre el número de personas con cobertura
de salud en alguna modalidad (obra social,
prepago, planes estatales de salud) y el total
de la población, por cien.
Cociente entre el número de personas que declaran
tener alguna limitación física y el total de
personas encuestadas, por cien.
Cociente entre el número de personas que declaran
fumar, independientemente de la frecuencia
y cantidad, y el total de personas encuestadas,
por cien.
Cociente entre el número de personas que declaran
que consumen alcohol y el total de personas
encuestadas, por cien, según cantidades
consumidas.
02-INPA-CLEAR ANEXO.indd 71 03/09/2015 17:41:56
72 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Diménsión
Satisfacción
personal
Seguridad
Núm.
36
37
38
39
40
41
42
43
44
Indicador
Población
que realiza
actividad física
Acceso a drogas
Mortalidad
infantil
Prevalencia
de
enfermedades
crónicas
Satisfacción
ante la vida
Satisfacción
con el empleo
actual
Satisfacción
con la ciudad
donde vive
Homicidios
dolosos y culposos
de tránsito
Percepción
de seguridad
de la ciudad
Método de cálculo
Cociente entre el número de personas que realizan
actividad física intensa o moderada un nú-
mero determinado de días por semana y el total
de las personas encuestadas, por cien.
Cociente entre el número de personas que declaran
que acceder a drogas en su barrio sería
fácil y el total de personas encuestadas, por cien.
Cociente entre el número de muertes de menores
de un año en un período y el total de nacidos
vivos del mismo período, por cien.
Cociente entre el total de población que declara
que el médico le dijo que tenía tensión alta al
menos una vez/más de una vez, diabetes, obesidad,
cáncer y el total de personas encuestadas,
por cien.
Cociente entre el número de personas que declaran
sentirse moderadamente satisfechas o totalmente
satisfechas con su vida actual y el total
de personas encuestadas, por cien.
Cociente entre el número de personas que declaran
sentirse moderadamente satisfechas o totalmente
satisfechas con su empleo actual y el total
de personas encuestadas que poseen empleo,
por cien.
Cociente entre el número de personas que
declaran sentirse moderadamente satisfechas o
totalmente satisfechas con la ciudad en la que
viven y el total de personas encuestadas, por
cien.
Cociente entre la cantidad de homicidios dolosos
y culposos de tránsito y el total de personas
encuestadas, por cien.
Cociente entre el número de personas que declaran
que su ciudad es muy segura o algo segura
y el total de personas encuestadas, por cien.
02-INPA-CLEAR ANEXO.indd 72 03/09/2015 17:41:56
El municipio de Villa María (Córdoba, Argentina) 73
Dimensión
Vida-trabajo
Núm.
45
46
47
48
49
50
51
52
53
Indicador
Percepción
de seguridad
del barrio
Tasa de delitos
Violencia
institucional
Tasa
de denuncias
Expectativa
de ser víctima
de un delito
Percepción sobre la
actuación policial
en la prevención
del delito
Actuaciones
policiales ilegales
o abusivas
por barrio
Empleados
que trabajan
muchas horas
Tiempo
dedicado
a recreación
personal
Método de cálculo
Cociente entre el número de personas que declaran
que su barrio es muy seguro o algo seguro
y el total de personas encuestadas, por cien.
Cociente entre el número de personas que han
sido víctimas (personalmente o su grupo familiar)
de al menos un delito en los últimos 12 meses
y el total de personas encuestadas, por cien.
Cociente entre el total de delitos perpetuados
por un funcionario público y el total de delitos
declarados por los encuestados, por cien.
Cociente entre el número de delitos denunciados
y el total de delitos declarados por los encuestados,
por cien.
Cociente entre el número de personas que perciben
que pueden ser víctimas de un delito en
un futuro cercano y el total de personas encuestadas,
por cien.
Cociente entre el número de personas que tienen
buena percepción sobre la actuación policial
en la prevención del delito en el barrio y el
total de personas encuestadas, por cien.
Cociente entre el número de personas que manifiestan
conocer la existencia de actuaciones
ilegales o abusivas en su barrio y el total de personas
encuestadas, por cien.
Cociente entre el número de personas que declaran
trabajar 50 o más horas por semana y el
total de personas que trabajan, por cien.
53.1. Cociente entre el número de personas que
declaran dedicar al menos 2 horas diarias a actividades
que le generan satisfacción y el total de
personas encuestadas, por cien.
53.2. El indicador alternativo registra el número
promedio de horas en actividades de recreación
personal y que den satisfacción.
02-INPA-CLEAR ANEXO.indd 73 03/09/2015 17:41:56
74 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Método de cálculo
Cociente entre el total de personas que consideran
que sus ingresos son suficientes para adquirir:
alimentos, vivienda y salud y el total de
personas encuestadas, por cien.
Cociente entre el número de personas de 65 y
más años de edad que reciben jubilación o pensión
y el total de población de 65 y más años
de edad.
Cociente entre la población de 18 años y más
que recibe al menos una transferencia por ayuda
social del Estado y el total de las personas
encuestadas del mismo grupo etario, por cien.
Cociente entre la población de 14 a 35 años que
no estudia ni trabaja y el total de la población
de 14 a 35 años, por cien.
58.1 Distancia promedio, en cuadras, de la escuela
a la que los encuestados envían a sus hijos.
58.2 Tiempo promedio diario en minutos destinado
a recorrer las distancias hasta la escuela a
la que los encuestados envían a sus hijos. En ambos
casos se consideran sólo encuestados con hijos.
59.1. Distancia promedio, en cuadras, al centro
de salud más cercano.
59.2 Tiempo promedio diario en minutos destinado
a recorrer las distancias hasta el centro de
salud más cercano.
Cociente entre la población que experimenta
factores que dificultan o impiden el acceso a los
servicios de salud y el total de las personas encuestadas,
por cien.
Cociente entre el número de colectivos con
rampas para accesibilidad y el número total de
colectivos, por cien.
Cociente entre el número de habitantes y el nú-
mero de médicos.
Indicador
Percepción
de la capacidad
adquisitiva
propia
Población
jubilada y/o
pensionada
Población que
recibe ingresos
vía transferencias
sociales estatales
Jóvenes
que no estudian
ni trabajan
Accesibilidad
a instituciones
educativas
Accesibilidad al
centro de salud
Factores que
dificultan o impiden
el acceso a los
servicios de salud
Accesibilidad a los
medios públicos
de transporte
Habitantes
por médico
Núm.
54
55
56
57
58
59
60
61
62
Dimensión
Ingreso
Accesibilidad
02-INPA-CLEAR ANEXO.indd 74 03/09/2015 17:41:56
El municipio de Villa María (Córdoba, Argentina) 75
Método de cálculo
Cociente entre el número de niños de 0 a 15
años y el número de pediatras.
Cociente entre el número de mujeres de 16 o
más años y el número de ginecólogos.
65.1. Distancia promedio, en cuadras, de la
casa de los encuestados a la dependencia policial
más cercana.
65.2 Tiempo promedio, en minutos, de la casa
de los encuestados a la dependencia policial más
cercana.
Cociente entre el número de habitantes y el nú-
mero de médicos especialistas.
Cociente entre la población que experimenta
factores que dificultan o impiden el acceso a los
espacios verdes públicos de la ciudad y el total
de las personas encuestadas, por cien.
Indicador
Niños de 0 a 15
años por pediatra
Mujeres de 15
años y más por
ginecólogo
Accesibilidad
a dependencia
policial
Habitantes
por médicos
especialistas
Factores
que dificultan
o impiden el
acceso a los
espacios verdes
públicos de la
ciudad
Núm.
63
64
65
66
67
Dimensión
02-INPA-CLEAR ANEXO.indd 75 03/09/2015 17:41:56
02-INPA-CLEAR ANEXO.indd 76 03/09/2015 17:41:56
Auditoría General de la Ciudad de Buenos Aires 77
Los organismos de control como herramientas de
evaluación para mejorar las políticas públicas: el caso
de la Auditoría General de la Ciudad de Buenos Aires
Julieta Caccaviello
Nuria García Wolff
Fernando Santiago
Resumen
Esta ponencia es producto de las experiencias y el intercambio entre profesionales
de las ciencias sociales que integran algunos equipos de trabajo en la
Auditoría General de la Ciudad de Buenos Aires (AGCBA). Nos proponemos reflexionar
sobre los aportes de la AGCBA —entendida como mecanismo de evaluación—
a la mejora de las políticas públicas. En ese sentido, analizamos también
las potencialidades, limitaciones y desafíos pendientes a partir del modelo
institucional adoptado y las herramientas metodológicas empleadas.
Introducción
La Ciudad Autónoma de Buenos Aires (CABA) es la capital de la república argentina
y tiene una población cercana a los tres millones de habitantes, distribuidos
en las quince comunas en que se organiza su administración. Por su incidencia
en la población nacional y el peso de su producto interno bruto (PIB), es uno
de los principales centros urbanos mundiales. Desde el punto de vista económico,
representa casi un quinto del PIB y alberga a 7% de la población argentina.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 77 03/09/2015 17:42:25
78 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Más allá de su autonomía, la ciudad de Buenos Aires, junto al Conurbano de la
Provincia de Buenos Aires, forma parte de un espacio geográfico continuo, con
mercados de trabajo y capitales integrados, conocido como el Área Metropolitana
de Buenos Aires (AMBA), que en su conjunto representa un tercio de la
población y un quinto del PIB argentino.
La ciudad de Buenos Aires inauguró, a mediados de los años noventa, un
novedoso periodo histórico con la declaración de su autonomía y la aprobación
de su Constitución en 1996. Recordemos que en ese entonces, como capital de
Argentina, no tenía autonomía y dependía directamente del Gobierno Nacional.
Este proceso significó, en términos de autonomía política, la equiparación
con las otras 23 jurisdicciones subnacionales del país y la necesidad de edificar
toda la estructura institucional y administrativa necesaria para el funcionamiento
de un gobierno autónomo. Su régimen de autonomía se estableció en la
Ley Nacional N.o
24.588 y la Constitución de la Ciudad de Buenos Aires, sancionada
en 1996; se estableció un régimen republicano con los tres poderes clá-
sicos: ejecutivo, legislativo y judicial.
En esta nueva estructura institucional se inserta el sistema de control de las
políticas públicas, normado en la Ley N.o
70, que incluye también a los sistemas
de gestión y administración financiera de la ciudad. El sistema de control
reproduce el modelo imperante en el ámbito nacional y se conforma por diversos
organismos; además, establece la Auditoría General de la Ciudad de Buenos
Aires como órgano rector del control externo.
Debido a este nuevo espacio para el sistema de control, y a su papel en el
análisis y la valoración de las políticas públicas, surgió el interés que impulsó a
este trabajo a identificar los aportes de la AGCBA a la mejora de las políticas pú-
blicas. Desde nuestra visión, lo que permitió que la AGCBA incorporara preocupaciones
por la eficacia, la eficiencia y la calidad de las políticas públicas
fue la adopción de perspectivas más ligadas a procesos de evaluación en sus
metodologías, que trascienden la idea de control normativo y la verificación de
cumplimiento.
El sistema de control argentino
La existencia de organismos de control público en América Latina se remonta a
la época colonial. Ejemplos de ello son, desde 1570, algunos instrumentos de la
Corona española como el juicio de residencia, las visitas y la rendición de cuentas
para el control de la hacienda real. Posteriormente, en respuesta a desfalcos
03-INPA-CLEAR CACAVIELLO GARCIA.indd 78 03/09/2015 17:42:25
Auditoría General de la Ciudad de Buenos Aires 79
y escándalos administrativos que afectaron el tesoro real, en 1605 el reinado de
Felipe III instituyó la creación de los primeros Tribunales de Cuentas (integrados
por tres contadores cada uno) en la Ciudad de México en Nueva España, la
Ciudad de los Reyes en Perú y Santa Fe del Nuevo Reino de Granada. Estos tribunales
tenían a su cargo la liquidación de las cuentas de los Oficiales Reales, el
cobro de los pagos de deudas fiscales y los inventarios anuales de las cajas reales.1
Específicamente en el territorio que hoy ocupa Argentina, a partir de 1820
funcionaron en Buenos Aires dos organismos con atribuciones propias de un
Tribunal de Cuentas: uno administrativo, que ejercía el control de los fondos
del Estado y enjuiciaba a quienes los manejaban si no rendían cuentas satisfactorias
de su inversión, y otro compuesto por tres miembros de la Legislatura,
que debía estudiar y apreciar las cuentas presentadas por el Poder Ejecutivo
antes de que terminaran las sesiones del año.
Otro hito en este proceso, y más reciente, fue la aprobación en diciembre
de 1956 del Decreto Ley N.o
23.354, denominado de “Contabilidad y Organización
del Tribunal de Cuentas de la Nación y de la Contaduría General de
la Nación”. Esta norma establecía el funcionamiento del Tribunal de Cuentas
de la Nación en tanto órgano jurisdiccional y de control externo delegado, con
garantía de independencia y estabilidad, separado del órgano eje del control
interno y de la contabilidad del Estado. El Tribunal ejercía las funciones de
control legal (legitimidad de los actos administrativos y aplicación de las disposiciones
y normativas correspondientes), técnico (control contable y econó-
mico-financiero) y jurisdiccional (juicios de cuentas y de responsabilidad); a su
vez, la normativa establecía las facultades separadas de la Contaduría General de
la Nación, a cargo del control interno.
En una nueva etapa de esta resumida cronología, es importante destacar
las transformaciones ocurridas a finales del siglo veinte, en términos de la reforma
estructural (tanto administrativa como económica y social) que llegó a
toda América Latina. Ese proceso de cambio estructural habilitó una reforma
constitucional en el ámbito nacional que dio lugar, entre otras, a la discusión
sobre los modelos de control de las políticas públicas, sus instituciones, sus marcos
normativos, etc.2
Su conclusión fue la modificación sustancial del sistema
1 Fernando Santiago y Nuria García Wolff, “La Auditoría General de la Ciudad de Buenos Aires (AGCBA).
Aportes a la transparencia y gobernabilidad en Buenos Aires”, ponencia presentada en el XVIII Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Montevideo, 2013. 2 Daniel García Delgado, “La reforma del Estado en la Argentina: de la hiperinflación al desempleo estructural”,
documento presentado en el I Congreso Interamericano del CLAD sobre la Reforma del Estado
y de la Administración Pública, Río de Janeiro, 7-9 de noviembre, 1996.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 79 03/09/2015 17:42:25
80 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
de información y control establecido por la anterior Ley de Contabilidad de la
Nación, y la promulgación de la Ley N.o
24.156 de Administración Financiera
y Sistemas de Control del Sector Público Nacional, presentada como una de las
herramientas para afrontar la crisis fiscal.
De ese periodo surge un sistema de control integral, aún vigente, que combina
el control interno y externo, y que, para éste último, rompe la tradición
de los tribunales de cuentas y desarrolla un modelo de Auditoría General dependiente
del parlamento, pero con autonomía presupuestaria y operativa.3
La
Auditoría General de la Nación, entonces, tiene a su cargo el control externo, y
la Sindicatura General de la Nación, por su parte, el control interno.
Este cambio de paradigma implicó también una modificación en las características
de dichos organismos, en sus atribuciones y en los modos de comprender
y desarrollar sus funciones. Es lo que puede presentarse como la transición
de un modelo de control “tradicional” a otro “moderno”. Su novedad
radica, entre otros aspectos, en la incorporación de criterios que superan la comprobación
normativa y financiera para atender preocupaciones relacionadas
con la eficiencia, la eficacia y la calidad de las políticas públicas.
Según su definición en las Normas de Auditoría Externa de la Auditoría
General de la Nación,4
la eficacia, la eficiencia y la economía constituyen
criterios “orientados al análisis y evaluación de las funciones, procedimientos
y operaciones realizadas por el ente auditado con el objeto de formarse una
opinión respecto del grado en que las mismas se llevaron a cabo con criterios
de economía y eficiencia; al igual que si los recursos que fueron asignados son
administrados o empleados sobre la base de dichos criterios”.5
Se entiende por
“economía” la “adquisición de la cantidad y calidad apropiada de recursos financieros,
humanos, materiales, informáticos, tecnológicos, etc., con oportunidad
y al más bajo costo y al grado en que los servicios y bienes producidos satisfacen
las necesidades para las cuales fueron dirigidos”. La “eficiencia” se define como
“el uso productivo de los recursos tendiendo a maximizar el producto por re-
3 Emilia Raquel Lerner, “El control externo gubernamental: el caso argentino”, en Ángel Ginestar
(comp.), Lecturas sobre administración financiera del sector público, Buenos Aires, CITAF-OEA, t. 1, 1996, pp.
343-402. En el ámbito nacional, en Argentina, el modelo de Tribunal de Cuentas es previo al de la Auditoría
General de la Nación; actualmente, está vigente en el orden provincial en las jurisdicciones que no
han optado por el modelo de auditoría. Los tribunales de cuentas están focalizados fundamentalmente en
el control externo formal-legal y en el de regularidad (financiero-contable); salvo casos aislados, no tienen
facultades expresas para realizar auditorías de gestión, a diferencia de la AGCBA. 4 Aprobadas por Resolución N.o
145/93/AGN del 7 de octubre de 1993. 5 Auditoría General de la Nación, Normas de Auditoría Externa, aprobadas por la Resolución N.o
145/
93/AGN, 1993.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 80 03/09/2015 17:42:25
Auditoría General de la Ciudad de Buenos Aires 81
curso utilizado o minimizar los recursos empleados por cantidad y calidad de
producto obtenido”. El control de la eficacia se vincula con determinar si se han
logrado los objetivos y otros efectos previstos en planes, programas, proyectos,
operaciones y actividades. Finalmente, respecto a la “calidad”, las Normas de
Auditoría Externa hacen referencia, además, a que uno de los objetivos de las
auditorías de gestión es “determinar el grado en que las entidades del sector
público y sus funcionarios controlan y evalúan la calidad tanto en los servicios
que prestan como en los bienes adquiridos”.
El sentido de los cambios sucedidos deja ver que actualmente las políticas,
los proyectos y todo tipo de intervención pública se encuentran sometidos a exigencias
de mejora tanto en términos de eficacia y eficiencia como de transparencia
y rendición de cuentas. Ya no se considera suficiente que las organizaciones
públicas se ajusten a la legalidad para dar por satisfechas las expectativas sociales,
sino que su relevancia estriba en lograr mejoras evidentes en los aspectos
específicos de su intervención, ya en la calidad de un servicio, ya en las condiciones
de vida de los ciudadanos.
En este sentido, no resulta ya una función extraña que los organismos de
control valoren las actividades y la gestión, sino que ello se emparenta con estos
nuevos modos de ejercer sus funciones. Un aspecto que considerar en el caso específico
de la ciudad de Buenos Aires es la falta de agencias u otros mecanismos
que hayan institucionalizado la actividad de evaluación. Allí, a partir de su autonomía
y la aprobación de su propia Constitución, se formalizó el sistema de control
integrado e integral, pero no un sistema de evaluación. Al respecto, sólo se pueden
mencionar algunas experiencias puntuales, como la Unidad de Monitoreo y
Evaluación del Ministerio de Desarrollo Social, que sólo tenía facultades dentro
del mismo Ministerio.6
La ciudad de Buenos Aires, como mencionamos previamente, al momento
de institucionalizarse como Ciudad Autónoma, reproduce el modelo de control
adoptado a nivel nacional. En su flamante Constitución, sancionada en octubre
de 1996, establece un sistema de control que contiene, junto a otros componentes,
la Auditoría General de la Ciudad de Buenos Aires, a la cual otorga no sólo
la potestad de hacer el monitoreo de la ejecución del presupuesto y el cumplimiento
normativo, sino también “realizar en las jurisdicciones, entidades bajo
su control y unidades ejecutoras […] las evaluaciones de programas, proyectos y
6 Esta Unidad, como tal, ya no forma parte de la estructura del Ministerio; actualmente sus funciones
de evaluación son competencia de la Gerencia Operativa de Gestión Estratégica de Políticas Sociales (también
dependiente del Ministerio de Desarrollo Social).
03-INPA-CLEAR CACAVIELLO GARCIA.indd 81 03/09/2015 17:42:25
82 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
operaciones”.7
De tal manera, le otorga formalmente la atribución de evaluar
y emitir juicios valorativos sobre dichas intervenciones. Coincidimos con García
Puente en que esas valoraciones se pueden definir como “la actividad técnica
y política, programada y sistematizada, cuyo fin es analizar los resultados de las
políticas gubernamentales con base en juicios fundamentados […], cuyo propó-
sito es brindar información para la planificación y las decisiones políticas”.8
Los organismos de control, tanto en el ámbito nacional como subnacional,
han tenido un desarrollo reciente —por lo menos en términos de institucionalización—
que los pone un paso adelante de los de evaluación. Esta ventaja
comparativa, como también las funciones que se les han asignado (que incluyen
explícitamente la evaluación de políticas y programas), compromete a los organismos
de control al desafío de ofrecer miradas no sólo hacia la fiscalización,
sino también hacia aspectos como la eficacia, eficiencia, economía y calidad.
Eso significa incorporar valoraciones de otro tipo, más amplias y complejas, con
su consiguiente desafío técnico y metodológico.
No vamos a profundizar aquí sobre el tema, pero la acción de evaluar supone,
desde nuestra perspectiva, colaborar y brindar aportes por lo menos en
tres ámbitos: el sistémico, el estratégico y el operativo. Esto significa, en primer
lugar, que debe favorecer los mecanismos sistémicos de rendición de cuentas y
transparencia; fortalecer con su actividad la división de poderes y el papel de la
Legislatura como instrumento de control sobre las políticas, y facilitar también el
acceso a la información por parte de la sociedad. Evaluar supone también, en
el ámbito estratégico, proveer información y análisis de procesos de largo alcance,
que colaboren en la toma de decisiones estratégicas respecto a diversas
cuestiones, como el uso de los recursos, la mejora de los procesos de gestión
o el logro de los objetivos. Finalmente, en el ámbito operativo, debe aportar
también a la mejora de aspectos prácticos en la gestión cotidiana. Para ello debe
observar de manera clara el grado y los modos de evolución de las actividades
en desarrollo de la organización con respecto a lo planificado, para facilitar la
redefinición de actividades o procesos, la introducción de modificaciones en
el diseño o ejecución (en caso de ser necesarias) y orientar decisiones sobre el
trabajo en curso.
Volviendo al eje de este trabajo, la AGCBA desarrolla proyectos de auditoría,
pero su familiaridad con la evaluación es clara, pues ambas actividades
7 Responsabilidad primaria de la AGCBA (Ley 70, art. 136). 8 María Jimena García Puente, “La evaluación de políticas públicas y sociales. Un análisis en torno a los
actores”, ponencia presentada en el VI Congreso Nacional de Ciencia Política, Rosario, 5-8 de noviembre,
2003.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 82 03/09/2015 17:42:25
Auditoría General de la Ciudad de Buenos Aires 83
consisten en la emisión de un juicio crítico respecto al estado de las políticas, basado
en elementos comunes como la recopilación sistemática de información.
Ambas, también, recurren a técnicas de análisis propias de las ciencias sociales y
a herramientas de otras ciencias, con el propósito de ser útiles para los gestores,
responsables políticos o técnicos y distintos actores sociales.9
En el caso de la AGCBA, la participación de especialistas en ciencias sociales
y otros campos profesionales —como trabajadores sociales, médicos, arquitectos,
antropólogos, psicólogos, nutricionistas, sociólogos, politólogos—
aporta gran valor agregado a una actividad tradicionalmente asociada con las
ciencias contables y jurídicas, porque de esta forma permite sumar contribuciones
y añadir a la auditoría el componente social inherente a toda política
pública.
Este conjunto de elementos representa un paso fundamental para la gestación
de una cultura de evaluación y control que mejore la rendición de cuentas
y la transparencia, en concordancia con los objetivos centrales que las asociaciones
internacionales de organismos de control han establecido.10 Esto ha
sido, también, fundamental para optimizar el desempeño de las instituciones
públicas, con el valor agregado de aumentar la legitimidad social de sus intervenciones.
La AGCBA y el sistema de control de la ciudad
A pesar de ser un organismo reciente, la AGCBA desempeña un papel central
en el sistema de control de la ciudad de Buenos Aires; se propone, en su visión
institucional, “ser un órgano de control externo dedicado a medir resultados y
a promover la mejora de la calidad de la gestión pública, contribuyendo a alcanzar
una sólida cultura de rendición de cuentas y resultados, a facilitar la toma de
decisiones legislativas y a orientar la gestión fortaleciendo los principios republicanos”,
dejando advertir, desde el principio, su pretensión de colaborar en la
mejora de la gestión pública.
Por mandato constitucional, la AGCBA es el organismo encargado de ejercer
el control externo en la ciudad de Buenos Aires. Concretamente, el artículo
9 Fernando Santiago y Nuria García Wolff, ponencia citada.
10 Las ISSAI son las Normas Internacionales de las Entidades Fiscalizadoras Superiores, emitidas por la
Organización Internacional de Entidades Fiscalizadoras Superiores (INTOSAI). Allí se establecen marcos de
referencia para la actividad de las organizaciones de control superior, entre las cuales figuran los aportes a
la transparencia y la rendición de cuentas.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 83 03/09/2015 17:42:25
84 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
131 establece los aspectos fundamentales respecto a las especificidades del organismo
y los alcances de sus acciones: su dependencia respecto a la Legislatura, su
personalidad jurídica, legitimación procesal, autonomía funcional y financiera.
En sus casi dos décadas de existencia, la AGCBA ha producido más de 1 300 informes
y cerca de 25000 recomendaciones.
El carácter constitucional de la Auditoría (su incorporación en la Constitución
desde que se estableció la ciudad de Buenos Aires como distrito federal
autónomo) otorga al organismo una fortaleza y legitimidad que trascienden
las coyunturas político-partidarias y las posibles arbitrariedades que pudieran
adoptar los jefes del poder ejecutivo, objeto de su control.
Al momento de interpretar el proceso de creación de la AGCBA, es necesario
destacar como antecedente la sanción de la Ley N.o
24.156/92 (de Administración
Financiera y Sistemas de Control para el ámbito nacional), que en
1994 dio lugar a su creación. Con ese antecedente, y casi por reflejo, la ciudad
abandonó el modelo de control tradicional, optando por otro integral e integrado,
con la AGCBA como órgano de control externo.
A partir del nuevo esquema institucional de la ciudad de Buenos Aires
—uno de cuyos hitos fue la elección del primer jefe de gobierno en 1996—,
quedó conformado el sistema de control público con la sanción de la Ley N.o
70
(denominada de Sistemas de Gestión, Administración Financiera y Control del
Sector Público de la Ciudad) en agosto de 1998. De este modo, la normativa
porteña —inspirada en la ley nacional— establece un sistema de control de
las políticas públicas, conformado también por los siguientes organismos:
• La Sindicatura General (artículo 133 de la Constitución) es el organismo
a cargo del control interno en aspectos presupuestarios, contables,
financieros, económicos, patrimoniales, legales y de gestión.
También tiene a su cargo el dictamen de los estados contables y
financieros de la administración pública, en todas las jurisdicciones
que componen la administración central y descentralizada, cualquiera
que fuera su modalidad de organización, así como el dictamen
de la cuenta de inversión. Se trata de un organismo dependiente del
poder ejecutivo, con personalidad jurídica propia y autarquía administrativa
y financiera.
• La Procuración General (artículo 134 de la Constitución) es el organismo
que dictamina la legalidad de los actos administrativos; ejerce
la defensa del patrimonio y el patrocinio letrado del poder ejecutivo.
De este modo, representa legalmente al poder ejecutivo en todo
03-INPA-CLEAR CACAVIELLO GARCIA.indd 84 03/09/2015 17:42:25
Auditoría General de la Ciudad de Buenos Aires 85
proceso en que se controviertan sus derechos o intereses. El poder
ejecutivo designa a su titular (Procurador General) con acuerdo de la
Legislatura, pero la selección del plantel de abogados que lo integran
es por concurso público de oposición y antecedentes.
• La Defensoría del Pueblo (artículo 137 de la Constitución) tiene por
misión la defensa, protección y promoción de los derechos humanos
y demás derechos e intereses individuales, colectivos y difusos tutelados
en la Constitución Nacional, las leyes y la Constitución de la
ciudad, ante los actos, hechos u omisiones de la administración o de
prestadores de servicios públicos. Se trata de un órgano unipersonal
e independiente con autonomía funcional, autarquía financiera, iniciativa
legislativa y legitimación procesal que no recibe instrucciones
de ninguna autoridad.
• El Ente Único Regulador de los Servicios Públicos (artículos 138 y
139 de la Constitución) es un organismo autárquico instituido en el
ámbito del poder ejecutivo que cuenta con personalidad jurídica propia,
independencia funcional y legitimación procesal. Tiene a su cargo
el ejercicio del control, seguimiento y resguardo de la calidad de
los servicios públicos cuya prestación o fiscalización se ejerza por medio
de la administración central y descentralizada o por terceros, para
la defensa y protección de los derechos de sus usuarios y consumidores,
de la competencia y del medio ambiente.
El modelo que instaura la Ley 70 está dirigido hacia un control más integral
de las políticas públicas y a la evaluación de sus resultados, en tanto modelo
superador de la rendición de cuentas bajo la perspectiva exclusiva del marco
jurídico contable.
Desde nuestra perspectiva, se trata de un modelo superador, principalmente,
porque por mandato constitucional instauró un esquema de control que
tiene como principios la eficacia, eficiencia y economía, a las que se suman la
equidad y el cuidado del medio ambiente. Esto manifiesta una ruptura con el
estándar tradicional de control jurídico-contable y revela la pretensión de ir más
allá de los modelos tradicionales de fiscalización, que se limitaban a dar cuenta
del cumplimiento normativo y la razonabilidad de los estados contables.
La AGCBA tiene como responsabilidades primarias el examen y la emisión
del dictamen de los estados contables y financieros de la administración
central del Gobierno de la Ciudad Autónoma de Buenos Aires (GCABA), así
como el de la ejecución de su presupuesto; además, lleva a cabo informes de
03-INPA-CLEAR CACAVIELLO GARCIA.indd 85 03/09/2015 17:42:25
86 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
auditoría en las jurisdicciones, entidades bajo su control, unidades ejecutoras
del sector público, así como las empresas, sociedades o entes en los que la ciudad
tenga participación. Las auditorías pueden ser contables, financieras, de
sistemas informáticos, de legalidad y gestión. Mención especial merecen la facultad
de demandar judicialmente y los informes de verificación de la aplicación
de los recursos públicos destinados a los partidos políticos, como también la
atribución para evaluar programas, proyectos y operaciones de los programas
ejecutados.
Una de sus particularidades —que se desprende de su raíz constitucional—
es que su autoridad está compuesta por un cuerpo colegiado de siete
miembros, con designación por mayoría absoluta de la Legislatura mediante el
siguiente procedimiento:
• Cada partido político o alianza de la Legislatura, con base en su proporción
en el cuerpo, selecciona posibles representantes para ser auditores
generales.
• Mediante votación por mayoría absoluta de los legisladores, se eligen
los siete auditores generales.
• Los legisladores del partido político o alianza opositora con mayor representación
numérica en la Legislatura proponen al auditor general
que ejercerá la presidencia de la AGCBA.
Los auditores generales permanecen cuatro años en sus cargos y pueden
reelegirse una sola vez. Perciben igual remuneración que los diputados de la
ciudad.11
En términos operativos, para el mejor cumplimiento de sus responsabilidades
primarias, la AGCBA está organizada en direcciones generales, con un
esquema que refleja, a modo de espejo, las principales áreas del poder ejecutivo.
El resultado es una estructura formada por direcciones generales de control, que
reciben asistencia permanente de distintas direcciones de apoyo. Se trata de un
modelo de gestión basado en resultados y una organización multidisciplinaria
que prevé la toma de decisiones en distintos ámbitos, desde las Direcciones
Generales hasta el Colegio de Auditores. El organigrama de la AGCBA aparece
en el Diagrama 1.
En este marco institucional, los equipos que conforman las direcciones generales
de control dan cumplimiento al Plan Anual de Auditoría, el cual contiene
11 Ley 70, art. 141.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 86 03/09/2015 17:42:25
Auditoría General de la Ciudad de Buenos Aires 87
el detalle de actividades de auditoría y el universo de áreas por analizar durante
un año, ya a partir de auditorías de gestión, ya de tipo legal y financiero, de
sistemas, de relevamiento y seguimiento. El Plan Anual requiere la aprobación
del Colegio de Auditores y la ratificación de la Legislatura de la ciudad. Junto
con el Plan se presenta el requerimiento de presupuesto para el organismo; en
los últimos años, ha representado alrededor de 0.42% del presupuesto total del
GCABA.
Diagrama 1.
Organigrama de la Auditoría General de la Ciudad de Buenos Aires
Justicia, Organismos
Interjurisdiccionales y Control
DIRECCIONES
GENERALES
Asuntos Legales
Sistemas de Información
Administración
Asuntos Institucionales
y Partidos Políticos
Obras y Servicios Públicos, Desarrollo
Urbano y Medio Ambiente
Unidad de Auditoría Interna
Departamento
de Actuaciones Colegiadas
Departamento de Prensa
Colegio
Presidencia
Departamento de
Relaciones Institucionales,
Enlace y Difusión
Departamento de
Asistencia Técnica
y Divulgación
Educación y Cultura
Desarrollo Social
Salud
Economía, Hacienda
y Finanzas
Planificación
Financiero Contable
03-INPA-CLEAR CACAVIELLO GARCIA.indd 87 03/09/2015 17:42:25
88 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Una característica interesante es que, en los últimos años, han aumentado
las auditorías de gestión respecto a las legales y financieras, pues se considera
que sus observaciones y recomendaciones contribuyen en mayor grado a la
mejora de las políticas públicas y permiten una apreciación más amplia, al ir
más allá de los aspectos legales y financieros. De este modo, los proyectos que
integran el Plan Anual revelan que se trata de un modelo de control innovador,
puesto que para seleccionarlos se contemplan los criterios de las cinco “es” (eficacia,
eficiencia, economía, equidad y entorno), además de la comprobación
normativa y financiera. Paralelamente, se toman en cuenta, como objetos de
auditoría, algunos temas importantes en la opinión pública, cuya evaluación
pueda contribuir a la mejora de la gestión en los aspectos específicos de su
intervención. Como ejemplo de ello, bastaría mencionar algunos de los proyectos
que integran el Plan Anual de Auditoría 2015: higiene urbana, línea B
del Subte, sistema de inscripción en línea a las escuelas, servicios de limpieza y
mantenimiento en los hospitales, créditos hipotecarios, estadísticas en hospitales,
integración de personas con discapacidad, gastos de campañas electorales,
centros de atención a adicciones, observatorio de políticas sociales, entre otros.12
Durante sus primeros años de operaciones, se consideraba que el único
destinatario de las acciones de la AGCBA era la Legislatura. En este sentido, la
evaluación ya cobraba importancia, en tanto la Legislatura podía emplear los
informes de auditoría para evaluar la gestión de gobierno y cumplir así su tarea
de control político del poder ejecutivo. Sin embargo, esta perspectiva sobre los
posibles destinatarios de su trabajo se fue ampliando para incluir a la ciudadanía
en general: tanto la Constitución como la Ley N.o
70 disponen que los informes
de auditoría se publiquen, habilitando ese segundo destinatario directo de los
resultados de la labor de control de la gestión, y ya no sólo sus representantes.
Otro destinatario central de dicha labor son los organismos auditados, ya
que pueden emplear el informe de auditoría como insumo para mejorar su gestión.
De este modo, la AGCBA puede considerarse un productor de información
confiable y relevante para distintos actores y espacios del sector público aparte
de la Legislatura. De esta forma, la calidad de los informes no debe medirse
solamente por el aporte técnico a la tarea legislativa, sino por la capacidad de
lograr mejoras sustanciales en los servicios que el Estado ofrece a los ciudadanos,
así como la garantía de transparencia en la gestión.
12 Sobre los proyectos del Plan Anual 2015 y las pautas que guiaron su elaboración, véase la Resolución
281/2014 AGCBA en www.agcba.gov.ar.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 88 03/09/2015 17:42:25
Auditoría General de la Ciudad de Buenos Aires 89
La AGCBA como instancia de evaluación
El cambio en las atribuciones, las funciones y los modos de entender los sistemas
de control han modificado las expectativas sociales sobre lo que los organismos
de control pueden y deben hacer. Dijimos arriba que puede advertirse
la transición de una perspectiva de control, que denominamos “tradicional”,
a una moderna. La primera se caracteriza por ciertas prácticas que ciñen a los
organismos que operan desde esa perspectiva a la fiscalización normativa; en
otras palabras, los limitan a la comprobación del cumplimiento legal y financiero.
La segunda perspectiva propone una mirada más compleja e integral. Este
modelo trasciende al anterior, porque entiende que las expectativas y exigencias
sociales actuales sobre las actividades del Estado son cada vez mayores: ya no
es suficiente que las organizaciones públicas cumplan sólo lo que se les pide
normativamente para satisfacer lo que la sociedad espera de ellas; antes bien,
cada vez es más relevante mostrar cuáles han sido sus resultados, sus impactos,
sus efectos sociales, ambientales, etc. Los proyectos y políticas, incluso bien administrados
y apegados a la legalidad, perderían su importancia si no lograran
una mejora tangible en los aspectos específicos de su intervención, ya sea en los
logros para el desarrollo, en las condiciones de vida de la gente o en políticas
de mayor calidad, aunque también la perderían si no contribuyeran a mejorar
la gobernabilidad, a profundizar la democracia y aumentar la transparencia, la
participación social y las posibilidades de control social sobre su desarrollo.
La AGCBA es una clara expresión de este cambio de modelo. Ello se expresa
en dos aspectos sustanciales: el que refiere a su estructuración y su particular
diseño institucional, y el relacionado con los aspectos eminentemente técnicos,
donde el conocimiento multidisciplinario es el principal informante metodológico.
Respecto al primer aspecto, debe mencionarse la particularidad del diseño
institucional de la AGCBA, además de su vinculación con el parlamento, que
abandona la autoridad unipersonal para adoptar el modelo colegiado ya descrito,
cuyo rasgo distintivo es la representación proporcional de los bloques legislativos.
Por su parte, las áreas operativas de control se organizan en direcciones
generales específicas para cada ministerio. Esto revela un tratamiento especializado
de las políticas, con profesionales que entienden las áreas y los temas en los
que intervienen, desde diversas perspectivas profesionales complementando las
perspectivas tradicionales ligadas al derecho y las finanzas.
Esto va de la mano con otro aspecto que nos interesa mencionar: la incorporación
de múltiples disciplinas como modo de aproximación metodológica.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 89 03/09/2015 17:42:25
90 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
La inclusión efectiva de miradas interdisciplinarias significó reconocer que las
políticas forman parte de un sistema complejo que, para verdaderamente comprenderlo,
requiere un enfoque donde se conjuguen diversas ciencias, cada una
con sus particularidades cognoscitivas y metodológicas. La interdisciplinariedad
—entendida como el encuentro y la cooperación entre dos o más saberes que
contribuyen tanto a lo teórico como al análisis empírico— constituye un aporte
fundamental para la comprensión y el análisis de la gran complejidad de las políticas
públicas, pues sabemos que para mejorarlas se necesita superar la perspectiva
que sólo valora el cumplimiento normativo y limita su labor a una misión
estrictamente fiscalizadora y punitiva. En cambio, este nuevo enfoque permite
orientarse hacia la mejora de las políticas, hacia aportar al control y, sobre todo,
hacia el análisis de los resultados, los impactos y la calidad de las políticas.
Las contribuciones de la AGCBA a la mejora de las políticas públicas
La modificación en las formas de entender la actividad de control, el novedoso
diseño institucional y la articulación de metodologías de diversas disciplinas que
ya hemos descrito constituyen el marco que posibilitó los aportes de la AGCBA
a la mejora de las políticas públicas, pues han sido los elementos que facilitaron
esta perspectiva evaluativa. Hemos clasificado los aportes en tres grupos: de naturaleza
sistémica, estratégica y operativa.
Contribuciones en el ámbito sistémico
Puede sostenerse que la propia actividad de la AGCBA como organismo de
control tiene, per se, un significativo aporte sistémico en tanto constituye una
de las garantías institucionales para la rendición de cuentas y la transparencia.
Además, en su articulación con el poder legislativo, se inserta en el componente
técnico del control político de la gestión, en el brazo técnico de
valoración de las políticas y en un entorno que refuerza la división de poderes.
Los legisladores de la ciudad reciben anualmente una centena de informes que
dimensionan los logros alcanzados por las políticas y programas, y pueden de
esa forma valorar sus aciertos o debilidades. En el mismo sentido, la difusión
pública de los informes sirve como herramienta para que los ciudadanos valoren
la acción de sus gobiernos y puedan tomar decisiones informadas, por ejemplo,
al momento de votar.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 90 03/09/2015 17:42:25
Auditoría General de la Ciudad de Buenos Aires 91
Otros aspectos que pueden considerarse como aportes de tipo sistémico
de la AGCBA son los siguientes:
1. Contribuye a la creación de una cultura de evaluación y rendición de
cuentas. La producción de información sistemática y la elaboración
de informes rigurosos y regulares, accesibles a públicos con responsabilidades
diversas —como los tomadores de decisiones (gestores), los
legisladores o los ciudadanos—, fomentan una cultura de evaluación
y otorgan legitimidad social a las políticas.
2. Potencia la evaluación como política pública específica. La importancia
de realizar evaluaciones regularmente estriba, básicamente, en la capacidad
de conocer los resultados e impactos de las políticas. Parte
de la valoración lograda puede reconocerse también en su incorporación
como actividad regular en proyectos y programas o en los avances
de su institucionalización. Con todo, no debe perderse de vista
que, además de favorecer el desarrollo de una cultura de evaluación,
tiene otro impacto de largo plazo: el afianzamiento de la evaluación
como política pública específica. El despliegue de esta capacidad requiere
pensar la evaluación, no solamente en relación con otras políticas,
sino también como una actividad con desarrollos y desafíos
específicos.
3. Incentiva los procesos de evaluación interna de los organismos. La elaboración
de informes con características propias de la evaluación de polí-
ticas, así como los intercambios entre equipos de la AGCBA y de los
organismos responsables de la gestión, han causado interés por desarrollar
procesos propios de evaluación más o menos institucionalizados.
A partir de la información elaborada e indicadores generados y
compartidos con dichos equipos de trabajo, se han continuado algunas
experiencias propias de análisis y valoración de sus acciones. Si
bien no pueden soslayarse sus limitaciones, tampoco debe desconocerse
su potencialidad.
4. Aumenta las capacidades institucionales del Estado y de la administración
pública. Las actividades evaluativas de la AGCBA, sus valoraciones
y análisis son recursos de plena producción estatal; elaborados
desde el ámbito público, por equipos de la burocracia de la
ciudad de Buenos Aires, constituyen una acumulación de conocimientos
producida entre evaluadores y gestores que puede facilitar el
aprendizaje y la mejora de las políticas en el mediano y largo plazos.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 91 03/09/2015 17:42:25
92 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Estos procesos de acumulación institucional fortalecen las capacidades
del sector público de un modo claramente superior al que pueden
brindar las evaluaciones encomendadas a actores privados, cuya
presencia, específica y puntual, ha demostrado fuertes limitaciones
en este sentido.
Contribuciones en el ámbito estratégico
1. Coherencia entre programas. Un aspecto valorado para el desarrollo
de las políticas públicas es la coherencia entre programas que se dirigen
a un grupo o problema específicos. Esto significa lograr que los
objetivos y las líneas de acción se orienten en un mismo sentido a
maximizar sus efectos y no colisionen disminuyéndolos. Uno de los
aportes valiosos de la intervención de la AGCBA es la identificación de
esa falta de coherencia, que disminuye los resultados de una política.
Un ejemplo son las políticas para la tercera edad del Ministerio de
Desarrollo Social de la Ciudad de Buenos Aires; para ese grupo social,
está sumamente propagada la idea de que las principales causas
de enfermedad son la soledad y el aislamiento, por lo cual se han emprendido
numerosas acciones para fortalecer sus redes familiares y
sociales que permitan disminuir dicho riesgo.
a. La Ciudad de Buenos Aires ha desarrollado, para dicha población,
iniciativas como el Programa Centros de Día para la Tercera
Edad, que propone actividades de vinculación y sociabilidad,
con base en el objetivo general de evitar el aislamiento. De
manera simultánea, se ha desarrollado el Programa de Subsidios
Alternativos a la Institucionalización, destinado a financiar
gastos de alojamiento de las personas mayores. En este caso, el
programa financia el gasto total de alojamiento de personas que
viven solas, pero, en el caso de que vivan con otra persona, asume
sólo el costo proporcional de la persona mayor entre el total
de convivientes.
b. Vemos aquí cómo, mientras el primer caso incentiva la interacción
con otras personas, el segundo “castiga” la convivencia, sin
importar si se trata de familiares o allegados, e “invita” a vivir
solo para obtener un subsidio mayor, generando una política no
03-INPA-CLEAR CACAVIELLO GARCIA.indd 92 03/09/2015 17:42:26
Auditoría General de la Ciudad de Buenos Aires 93
alineada en una sola dirección (fomentar que los adultos mayores
estén acompañados), sino que limita su potencia por esa
falta de coherencia que produce incentivos encontrados.
2. Elaboración de diagnósticos, líneas de base, definición de poblaciones potenciales.
El proceso de planificación de las políticas, incluso el de su
reformulación, requiere contar con información confiable que permita
tomar decisiones con la mayor certeza. Este aspecto es una carencia
recurrente en la ciudad de Buenos Aires, pues es común que buena
parte de los programas implementados no cuente con datos fehacientes
de diagnóstico que dimensionen la relevancia de la situación por
resolver. Estas debilidades en el diseño conspiran contra cualquier
tipo de evaluación que pretenda contrastar el resultado alcanzado con
la magnitud del problema y con la expectativa de resolución planteada.
En muchos casos, el cálculo de la población potencial alcanzada
por un problema y posible de ser incorporada a un programa puede
resultar un aporte sustancial a la gestión, porque permite valorar
en qué medida una política resuelve o no un problema y, también,
porque permite ajustar el diseño y el alcance de la política a partir de
un diagnóstico más sólido.
3. Sistematización de información agregada. Otro aporte que puede mencionarse
es la elaboración de series de información agregada sobre
los resultados y alcances de las intervenciones. La gestión, muchas
veces por los cambios gubernamentales o de equipos, no cuenta con
información de series prolongadas, lo cual otorga mayor utilidad a la
sistematización.
4. Diseño de indicadores. En el mismo sentido debe entenderse el diseño
de indicadores de diverso tipo. La nómina de indicadores utilizados por
la gestión suele dar cuenta de la cantidad de población cubierta por los
programas, dejando de lado mediciones que pueden ofrecer información
más rica para evaluar la gestión. En ese sentido, la elaboración
de distintos indicadores (cobertura territorial o poblacional de las intervenciones
u otros que permitan observar la eficacia y eficiencia) es
un aporte potencialmente valioso.
5. Identificación y medición de impactos y efectos no previstos por algunas
políticas. En el mismo sentido que el punto anterior, debe mencionarse
como un aporte estimable la posibilidad de hallar y valorar
efectos no previstos. Los programas, en general, suelen dirigir la
03-INPA-CLEAR CACAVIELLO GARCIA.indd 93 03/09/2015 17:42:26
94 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
mirada hacia los resultados concretos de las acciones, pero pueden
perder de vista efectos inesperados (deseados o no) que vale la pena
conocer.
Contribuciones en el ámbito operativo
Los puntos mencionados constituyen aportes concretos y directos para quienes
deben tomar decisiones sobre la ejecución de los programas, pero también
para quienes operan y gestionan cotidianamente. En ese ámbito es posible,
además, identificar aportes que permitan la mejora; entre ellos, se pueden mencionar
los siguientes:
1. Identificación de desajustes o incumplimientos normativos. Los cambios
en la dinámica social, como también en las prácticas que desarrollan
quienes administran y gestionan una política, han provocado en ocasiones
que las normas, los manuales de procedimientos o los mismos
modos de operar de los funcionarios queden desajustados o inadecuados
respecto a la necesidad o el problema que los originaron. A partir
de las observaciones a los informes de auditoría, es posible dar lugar a
“ajustes” en esos aspectos si se identifica su desactualización o incumplimiento
en detrimento de los fines u objetivos últimos de las polí-
ticas públicas. Uno de los casos típicos sucede en los programas de
atención a poblaciones vulnerables. Sabemos que dicha categoría supera
en complejidad la mera idea de pobreza, pues incorpora, para
definir “vulnerabilidad”, atributos que van más allá de un ingreso
monetario. Sin embargo, al momento de pasar de la definición de la
población a su selección, suele recurrirse al criterio del ingreso monetario
como indicador único de vulnerabilidad.
2. Identificación de debilidades en la provisión de insumos para la gestión.
Un aspecto relevante para analizar lo que hacen las políticas públicas
y cómo lo hacen es la identificación de las deficiencias en la provisión
de recursos e insumos para la gestión, tanto en la propia etapa de
“hechura de las políticas” como en su planeación. Con ello nos referimos,
sí, al talento humano, pero también a lo adecuado de las capacidades
y aptitudes respecto a las necesidades específicas de la acción:
a los bienes de capital y de uso indispensables en cantidad, calidad y
momento; a contar con los espacios físicos de trabajo adecuados y sin
03-INPA-CLEAR CACAVIELLO GARCIA.indd 94 03/09/2015 17:42:26
Auditoría General de la Ciudad de Buenos Aires 95
deficiencias; a que haya coordinaciones institucionales e interorganizacionales
que faciliten la operación, etc. En ese sentido, ha resultado
sumamente relevante la acción de la AGCBA para identificar estas
debilidades que, en ocasiones, resultan demandas históricas de los
equipos de trabajo que encuentran su reflejo en una instancia externa
que les confiere cierta legitimidad.
Limitaciones y tensiones
Así como hay aspectos positivos de las acciones de la AGCBA, nos interesa también
señalar los difíciles y las limitaciones que encuentran organismos de este
tipo en sus actividades cotidianas:
• Limitaciones de acceso a la información. Si bien hay resguardos legales
que garantizan el acceso de los organismos de control a la información
producida por la gestión, suele percibirse reticencia al momento
de solicitarla. Este acceso restringido limita el alcance y la calidad de
los aportes ofrecidos por medio de las observaciones y recomendaciones,
debilitando claramente su pertinencia.
• Las percepciones sobre su carácter externo. El carácter externo de los organismos
de control suele valorarse positivamente, pues supone una
garantía de transparencia al no estar involucrado en la gestión. No
obstante, esa condición suele interpretarse entre los responsables de
la gestión como una injerencia normativamente establecida, pero no
siempre deseada.
• Poca participación social en la evaluación. Cada vez son más los modelos
de evaluación, así como los organismos de control, que incorporan
la participación social como herramienta valiosa para el análisis
de las políticas. La AGCBA no ha incorporado aún la perspectiva de
los ciudadanos y usuarios de modo generalizado, aunque hubo experiencias
concretas en que se utilizaron encuestas de satisfacción. El
predominio histórico de profesiones vinculadas al modelo tradicional
de control y a sus metodologías, más orientadas hacia el control de
cumplimiento normativo, suelen relegar a las metodologías más cualitativas
de las ciencias sociales.
• Poca participación social en la planeación y difusión. La AGCBA no ha
desarrollado aún mecanismos de participación social en la planea-
03-INPA-CLEAR CACAVIELLO GARCIA.indd 95 03/09/2015 17:42:26
96 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
ción de sus actividades, a pesar de las varias experiencias de otros
organismos de control latinoamericanos que lo han hecho con resultados
muy favorables.
Estos mecanismos pueden presentarse en alternativas que abarcan
desde las más vinculantes a otras meramente consultivas; en instancias
que sirvan para la planificación, como también otras centradas
en la transmisión y difusión de resultados; algunas que incorporan
actores sociales, como organizaciones no gubernamentales u otros
organismos públicos; y otras que se dirijan a los ciudadanos sin afiliaciones,
pero todas con una preocupación por incorporar instancias
de intercambio y enriquecimiento propositivo, que trasciendan los
límites de las propias entidades.
La participación social en los procesos de planeación de los organismos
de control ha recibido atención, por ejemplo, de la Organización
Latinoamericana y del Caribe de Entidades Fiscalizadoras Superiores
(OLACEFS). Dicha organización propone, para los sistemas
de rendición de cuentas, la interacción con diferentes instancias de
modo horizontal (agencias estatales u otros órganos del Estado) y
vertical (actores como la sociedad civil, la prensa o el electorado, que
ejercen control sobre el Estado). Así también, ha alcanzado desarrollos
muy valiosos en experiencias de inclusión de la sociedad civil en la agenda
de control de las entidades, por medios que van más allá de la apertura
de canales para presentar denuncias, incorporada ya por la mayoría
de las entidades de fiscalización de la región.
Algunos organismos señalan que estos mecanismos contribuyen
a perfeccionar la calidad y la credibilidad del trabajo que desempeñan
las entidades fiscalizadoras.13 Lo mismo se ha dicho desde el derecho
internacional: la Convención Interamericana contra la Corrupción
(art. 3, punto 11) y la Convención de las Naciones Unidas contra
la Corrupción (art. 5, punto 1 y art. 13, punto 1) destacan la importancia
de contar con mecanismos para estimular la participación
de la sociedad civil y las organizaciones no gubernamentales en los
esfuerzos para prevenir la corrupción.
Dichos postulados se vinculan especialmente con este mecanismo
inclusivo de control, pues la participación de la sociedad civil
13 INTOSAI, Principios de transparencia y rendición de cuentas: principios y buenas prácticas: ISSAI 21, Copenhague-Viena,
INTOSAI, 2010, principio 9.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 96 03/09/2015 17:42:26
Auditoría General de la Ciudad de Buenos Aires 97
—tanto en organizaciones como individualmente— da voz a los ciudadanos
en la planificación, el desarrollo, la evaluación o difusión de
auditorías, y ellos mismos son los principales interesados en velar por
la transparencia en el manejo de los recursos públicos y por la mejora
de las políticas que más les conciernen.
• Falta de coordinación con otros organismos de control. Como señalamos
al comenzar, la AGCBA forma parte de un sistema de control
que comprende, como organismo de control interno, la Sindicatura
General de la Ciudad de Buenos Aires (SIGEBA) y otras instituciones,
como la Defensoría del Pueblo u Ombudsman. Esta coexistencia e
interacción sobre un campo específico requiere esfuerzos de coordinación
a fin de que el ejercicio del control no se transforme en una
barrera para la administración.
Esta coordinación no ha sido moneda corriente, generando
sobrecarga en los organismos sometidos a evaluación y dificultades
para la gestión. En muchos casos, la interacción suele limitarse al
intercambio de informes sobre un mismo organismo entre la autoría
interna y externa. En la práctica, la gestión suele afrontar auditorías
simultáneas (internas, externas, de la Defensoría) sin la suficiente
articulación ni con el suficiente lapso entre proyectos. Por lo
tanto, puede haber superposición de requerimientos de información
entre organismos al mismo ente y proyectos que se desarrollan de
manera simultánea. Pueden mencionarse, sin embargo, ejemplos
positivos de coordinación; por ejemplo, la recuperación de observaciones
efectuadas por otro organismo para dotar de consistencia a
recomendaciones propias.
• Oportunidad de los informes. El valor de un proceso de evaluación no
sólo reside en el acierto de las observaciones y de las recomendaciones,
sino también en su oportunidad. En ese sentido, la AGCBA tiene
aún cuentas pendientes respecto a mejorar el tiempo de finalización
de los proyectos, acercándolos más al tiempo de la gestión para darles
mayor utilidad. Ya porque los responsables de las políticas demoran
en el envío de información y documentación, ya por la predominancia
de controles ex post en detrimento de análisis concomitantes, los
informes tienen, como señalan diversos autores, problemas de oportunidad
que limitan su contribución.14
14 José Miguel González Tallón, “¿Puede la auditoría realizarse al mismo tiempo que la gestión auditada
03-INPA-CLEAR CACAVIELLO GARCIA.indd 97 03/09/2015 17:42:26
98 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Otro aspecto que constituye una tensión respecto a este tema
surge de la conformación plural de la autoridad de la AGCBA. La
necesidad de lograr acuerdos y construir consensos por parte de la
autoridad colegiada para aprobar los informes hace que, en ocasiones,
se demore su aprobación y se lesione su oportunidad. Esto resulta en
informes que pueden llegar con información diferida y sugerencias
y observaciones tardías que se vuelven inoportunas. Sin embargo, lo
que se pierde en oportunidad significa una ganancia en términos de
legitimidad, por el consenso plural de las decisiones adoptadas; y en
ello se resume esta tensión entre oportunidad y legitimidad.
Conclusión
La Auditoría General de la Ciudad de Buenos Aires verifica en términos normativos,
desde hace más de quince años, el uso correcto de los recursos destinados
a las políticas públicas. Sin embargo, no se ha limitado a ello; con el advenimiento
de nuevas perspectivas de control y demandas sociales cada vez más
exigentes, ha desarrollado modelos de análisis estrechamente emparentados con
las metodologías de evaluación que pueden dar cuenta no sólo del uso correcto
de los recursos, sino también de los logros de su aplicación, de su eficacia y su
eficiencia, de sus resultados y sus impactos.
Este camino está lleno de tensiones y problemas, por la herencia recibida
de los modelos de control tradicional, que limita las miradas valorativas; por
las disputas entre profesionales de las ciencias más ortodoxas y aquellos que se
incorporaron recientemente a las instituciones del control; por el modelo institucional
adoptado, que aún sigue teniendo que justificar su pertinencia ante los
detractores que pregonan las virtudes de los modelos que, además de valorar,
pueden imponer sanciones.
Pese a estas cuestiones y a las limitaciones y tensiones que hemos descrito
en nuestro trabajo, los aportes concretos de la AGCBA a la mejora de las políticas
públicas son notorios, lo mismo en el ámbito que llamamos sistémico (contribuyendo
a la transparencia y la rendición de cuentas) como en el estratégico
(que lleva a la mejor toma de decisiones y reformulación de políticas) y en el
operativo (donde se resuelve buena parte de las preocupaciones cotidianas de los
y seguir siendo auditoría? La auditoría continua y el control financiero permanente”, Auditoría Pública,
54 (2011), pp. 33-42.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 98 03/09/2015 17:42:26
Auditoría General de la Ciudad de Buenos Aires 99
ciudadanos). En todos ellos se consolidan aprendizajes para los distintos actores
de la administración pública.
Los logros y las fortalezas alcanzados, si bien valiosos, dejan aún desafíos
por cumplir. La AGCBA, como organismo reciente de una ciudad autónoma
joven, es parte de un complejo proceso de construcción institucional, que provoca
un continuo ajuste de funciones y tareas en los nuevos organismos. En esas
circunstancias, la búsqueda de los diseños institucionales más adecuados y de
las herramientas, metodologías y técnicas que optimicen la labor de los organismos
de control, para que sean capaces de mejorar las políticas públicas, es una
obligación indispensable.
Las tareas desarrolladas hasta ahora, consolidadas en informes de auditoría,
contribuyen al proceso de evaluación de las políticas públicas en tanto
ofrecen datos sobre la gestión operativa, sustentan la toma de decisiones estratégicas
y favorecen mayor transparencia al facilitar el acceso a la información a
los distintos actores de la sociedad.
En tanto la ciudad no cuente con agencias de evaluación institucionalizadas,
y mientras la AGCBA mantenga la atribución de evaluar las políticas y los
programas, es indispensable intensificar su papel de evaluadora, que se halla
entre sus responsabilidades primarias, porque sus contribuciones al respecto ya
han demostrado ser significativas. Para lograrlo, son requisitos insoslayables fortalecer
la interdisciplinariedad, consolidar el rigor técnico de sus profesionales y
desarrollar procesos participativos que aumenten su legitimidad social.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 99 03/09/2015 17:42:26
100 Avances y retos de la evaluación de políticas públicas en gobiernos subnacionales
Bibliografía
Auditoría General de la Nación, Normas de Auditoría Externa, aprobadas por
la Resolución N.o
145/93/AGN, 1993.
García Delgado, Daniel, “La reforma del Estado en la Argentina: de la hiperinflación
al desempleo estructural”, documento presentado en el I Congreso
Interamericano del CLAD sobre la Reforma del Estado y de la Administración
Pública, Río de Janeiro, 7-9 de noviembre, 1996.
García Puente, María Jimena, “La evaluación de políticas públicas y sociales.
Un análisis en torno a los actores”, ponencia presentada en el VI Congreso
Nacional de Ciencia Política, Rosario, 5-8 de noviembre, 2003.
González Tallón, José Miguel, “¿Puede la auditoría realizarse al mismo tiempo
que la gestión auditada y seguir siendo auditoría? La auditoría continua y el
control financiero permanente”, Auditoría Pública, 54 (2011), pp. 33-42.
International Organization of Supreme Audit Institutions (INTOSAI), “Declaración
de México sobre independencia de las entidades fiscalizadoras superiores”,
2007, http://www.issai.org/media(459,1033)/ISSAI_10_S.pdf.
——, Principios de transparencia y rendición de cuentas: ISSAI 20, Copenhague-Viena,
INTOSAI, 2010.
——, Principios de transparencia y rendición de cuentas: principios y buenas prácticas:
ISSAI 21, Copenhague-Viena, INTOSAI, 2010.
Lerner, Emilia Raquel, “El control externo gubernamental: el caso argentino”,
en Ángel Ginestar (comp.), Lecturas sobre administración financiera del sector
público, Buenos Aires, CITAF-OEA, 1996, t. 1, pp. 343-402.
Nirenberg, Olga, “Nuevos enfoques en la evaluación de proyectos y programas
sociales”, http://cdi.mecon.gov.ar/biblio/docelec/clad/cong6/7nov/49/nirenber.pdf.
Organización Latinoamericana y del Caribe de Entidades Fiscalizadoras Superiores
(OLACEFS), Guía para la evaluación del desempeño de entidades fiscalizadoras
superiores, s. p. i., 2002.
——, Declaración de Asunción: principios de rendición de cuentas, San José, Contraloría
General de la República, 2010.
——, “La participación ciudadana como herramienta para transparentar la gestión
de las EFS y los mecanismos de inclusión ciudadana en el control
gubernamental externo”, ponencia presentada en la XX Asamblea General
Ordinaria de la OLACEFS, Guatemala, 5-10 de julio, 2010.
Osuna, José Luis y Carolina Márquez (dirs.), Guía para la evaluación de políticas
públicas, Sevilla, Instituto de Desarrollo Regional, 2000.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 100 03/09/2015 17:42:26
Auditoría General de la Ciudad de Buenos Aires 101
Santiago, Fernando y Nuria García Wolff, “La Auditoría General de la Ciudad
de Buenos Aires (AGCBA): aportes a la transparencia y gobernabilidad en
Buenos Aires”, ponencia presentada en el XVIII Congreso Internacional
del CLAD sobre la Reforma del Estado y de la Administración Pública,
Montevideo, 2013.
Sitios de Internet consultados
www.agcba.gov.ar
www.agn.gov.ar
www.buenosaires.gob.ar
www.infoleg.gob.ar
http://www.issai.org/media(819,1033)/ISSAI_21_S_endorsement_version.pdf
http://www.issai.org/media(819,1033)/ISSAI_21_S_endorsement_version.pdf
http://www.oas.org/juridico/spanish/Tratados/b58.Html
http://www.olacefs.net/uploaded/content/category/1939645031.pdf
03-INPA-CLEAR CACAVIELLO GARCIA.indd 101 03/09/2015 17:42:26
Avances y retos de la evaluación de políticas
públicas en gobiernos subnacionales
se terminó de imprimir en septiembre de 2015,
en los talleres de Solar, Servicios Editoriales,
S. A. de C. V. (Calle 2, núm. 21, San Pedro
de los Pinos, México, D. F., 03800).
Se tiraron 410 ejemplares.
El cuidado editorial estuvo a cargo
de Oliver Peña Habib.
03-INPA-CLEAR CACAVIELLO GARCIA.indd 102 03/09/2015 17:42:26
Avances y retos de la evaluación
de políticas públicas en gobiernos
subnacionales
Pablo Sanabria
(coordinador)
www.clear-la.org
ISBN 978-607-9367-60-2
9 786079 367602
Date
Resource Type Tag
Language Type Tag
Image Thumb
32