From Recommendations to Action. The Experience of the Federal Award Programs Committed to the Evaluation Process 2011 (Spanish)

Submitted by jyuan@worldbank.org on Tue, 04/12/2016 - 13:46
Image
pub6

This book presents a selection of cases studies and a comparative assessment of the factors that influence commitment to evaluation and the ability to develop improvement plans as a result, in the case of an innovative national award organized by the Mexican Government in 2011.

Pdf as plain
De las recomendaciones
a las acciones:
La experiencia del
Premio 2011
Programas Federales
CラマヮヴラマWピSラゲ Iラミ Wノ
Proceso de Evaluación
Guillermo M. Cejudo
Claudia Maldonado Trujillo (editores)

Índice
7 Prólogo
Guillermo M. Cejudo y Javier González Gómez
11 Sobre el uso de las evaluaciones
De las recomendaciones a las acciones: El uso de la
evaluación en la mejora del desempeño del gobierno.
Guillermo M. Cejudo
29 La evaluación como instrumento de cambio
¿Cómo se utilizan las evaluaciones en los
programas gubernamentales en México?
M;ヴケ; JラゲY MラミピWノ
67 Análisis de las experiencias reconocidas
El programa SICALIDAD: Ejemplo de gestión pública
anclada en la evaluación para la mejora continua.
Claudia Maldonado Trujillo
117 Programa de Atención a la Demanda
de Educación para Adultos y Modelo de
Educación para la Vida y el Trabajo (INEA)
Eréndira Avendaño y Mariana García
133 Monitoreo y evaluación en
Wノ SキゲデWマ; ES┌I;ピ┗ラ N;Iキラミ;ノ
El uso de información en el Programa Escuelas de Calidad,
el Programa Escuelas de Tiempo Completo y el Programa
de la Atención a la Demanda de Educación de Adultos
y Modelo de Educación para la Vida y el Trabajo
Sergio Cárdenas Denham
151 Mejorando la expedición de
pasaportes y los servicios consulares
Ignacio Lozano
ヱΑΓ AヮヴWミSキWミSラ ; ┌ピノキ┣;ヴ ノ;ゲ W┗;ノ┌;IキラミWゲ
como herramientas de cambio: el programa
de becas de posgrado del CONACYT.
Rodrigo Velázquez López Velarde
211 ProÁrbol, FAPPA, JERFT y Promusac: la
W┗;ノ┌;Iキルミ ;ヮノキI;S; ; ノ;ゲ ヮラノケピI;ゲ Wミ Wノ ゲWIデラヴ
agrícola en México: balance de resultados
Brasil Acosta
227 Balance general de la experiencia
SWノ PヴWマキラぎ ノWIIキラミWゲ ┞ SWゲ;iラゲ
Claudia Maldonado Trujillo
Programas Federales Comprometidos con el Proceso de Evaluación | 7
Prólogo
Guillermo M. Cejudo y Javier González Gómez
En pocos años, el Estado mexicano ha ido avanzando en la construcción
de un complejo sistema de evaluación. Desde la Constitución hasta los
programas operativos anuales, existen ya normas que buscan que la
evaluación se vuelva un componente decisivo en el trabajo administrativo.
Pese a ello, todavía existen desafíos enormes respecto al diseño de las
evaluaciones, la calidad de los resultados, y la utilización que se pueda
hacer de ellas en la gestión de los programas, así como en las decisiones
presupuestarias. Este libro reconoce la necesidad de fortalecer el proceso
de evaluación en las políticas públicas, y en él se recuperan las experiencias
inalistas en un premio convocado para incidir en uno de los retos centrales:
la atención que los programas federales dan a las recomendaciones de las
evaluaciones externas, y su conversión en acciones concretas que mejoren
los resultados de cada programa.
La historia de este libro arranca en febrero de 2011, cuando
la Secretaría de la Función Pública, en colaboración con el Centro de
Investigación y Docencia Económicas (CIDE) y la asociación civil México
Evalúa, convocó al “Premio 2011” Programas Federales Comprometidos
8 | La experiencia del Premio 2011
con el Proceso de Evaluación, con el propósito de reconocer a los
programas federales que hubieran implementado las acciones de mejora
más relevantes para sus beneiciarios, derivadas de los resultados de un
proceso de evaluación. A esta convocatoria se inscribieron 14 programas
correspondientes a 8 instituciones públicas del gobierno federal. Después
de un proceso de valoración, en marzo de 2011, el Comité Evaluador
--integrado por miembros de las instituciones convocantes-- seleccionó a
10 programas para continuar en el concurso.
En este premio, vale la pena enfatizarlo, no se pretendía evaluar a
las dependencias ni a los programas. Tampoco se valoraba la calidad de las
evaluaciones o el desempeño relejado en los indicadores o en la experiencia
de los beneiciarios. El objetivo era más modesto, pero crucial: identiicar
el compromiso de los programas para atender las recomendaciones de las
evaluaciones en 2011.
La metodología utilizada para el análisis de los programas se centró
en dos aspectos fundamentales. En primer lugar, se valoró si los programas
seleccionaron los hallazgos con implicaciones prácticas factibles y con
potencial de mejorar el desempeño y los resultados del programa. En
segundo lugar, se valoró el diseño de acciones de mejora que, con base en los
hallazgos de las evaluaciones, condujeran a mejores procesos de gestión y a un
mejor desempeño del programa. Además, se buscaba valorar el compromiso
asumido con la utilización de la evaluación para mejorar el programa,
mismo que no acaba con el cumplimiento de trámites administrativos, sino
que requiere de una adecuada estimación de las implicaciones organizativas
de las acciones de mejora (qué rutinas, procesos, actitudes, etc. habrán de
cambiar para que dichas acciones puedan tener el resultado esperado), así
como de un trabajo directivo encaminado a implementar esa estrategia
para asegurar que las acciones de mejora se realicen conforme a lo previsto.
Más allá de reconocer a programas concretos –algo que se hizo en
la ceremonia de premiación en septiembre pasado– el propósito central
del “Premio 2011” fue el de incentivar a las dependencias y entidades que
operan programas federales para usar los hallazgos y las recomendaciones
de las evaluaciones, tanto externas como de fuentes internas, con miras
a mejorar la operación misma de los programas y el mejor uso de los
recursos. Este libro busca contribuir también a este objetivo al presentar las
experiencias de los programas inalistas participantes en el “Premio 2011”.
Uno de los resultados más importantes de esta iniciativa es haber
podido comprobar que es posible orientar la evaluación hacia la mejora, sin
simulaciones, con base en el compromiso decidido y la voluntad de cambio
de los responsables de los programas. Otro hallazgo relevante de este
concurso fue que las evaluaciones son sin duda tomadas en consideración
por los programas, y sus recomendaciones, cuando son utilizadas, tienen
gran potencial para mejorar el desempeño de los programas.
Programas Federales Comprometidos con el Proceso de Evaluación | 9
La utilización de las evaluaciones es uno de los engranajes
necesarios para que la apuesta que el Estado mexicano ha hecho para
construir un sistema de evaluación se realice. Este libro busca contribuir
a este propósito, al mostrar tanto experiencias de utilización, como los
retos que se enfrentan y las oportunidades para aprovechar la información
derivada de las evaluaciones. También busca avanzar en una agenda de
investigación más soisticada en materia de evaluación, que de cuenta de
las prácticas y la gestión que, de manera cotidiana, se desarrollan en las
oicinas gubernamentales en torno a las acciones de evaluación.

Programas Federales Comprometidos con el Proceso de Evaluación | 11
De las recomendaciones a las acciones:
El uso de la evaluación en la mejora
del desempeño del gobierno
Guillermo M. Cejudo
La construcción de un sistema de evaluación de las políticas públicas en
México es un proceso inacabado, aunque con avances innegables.1
En pocos
años, el país ha consolidado en el ámbito federal un complejo entramado
de normas y de prácticas en materia de evaluación de políticas públicas. Lo
que en su momento era una práctica exitosa, pero aislada (la evaluación de
Progresa-Oportunidades, por ejemplo) se ha convertido, paulatinamente, en
una práctica cotidiana en los programas federales. Las disposiciones sobre
monitoreo y evaluación en la Ley General de Desarrollo Social de 2004, la
creación del Consejo Nacional de Evaluación de la Política Social (CONEVAL),
la Ley de Federal de Presupuesto y Responsabilidad Hacendaria de 2006
y el Sistema de Evaluación del Desempeño (SED) entretejen una serie de
1
John Scott, “Evaluación de políticas y programas públicos: de las evaluaciones a las políticas”.
México, Centro de Investigación y Docencia Económicas, DTE 444, 2008; Manuel F. Castro,
et al, El Sistema de Monitoreo y evaluación de México: Un salto del nivel sectorial al nacional,
Independent Evaluation Group (IEG), Serie de documentos de trabajo DCE, Núm. 20, Washington,
D.C., Banco Mundial, 2009; Claudia Maldonado Trujillo, “Evaluación de programas sociales
en México. Relexiones sobre un sistema emergente”, Buen Gobierno, Núm. 7, 2009.
12 | De las recomendaciones a las acciones: la experiencia del Premio 2011
obligaciones, procesos y rutinas que, no sin diicultades y ciertas lógicas
contrapuestas, intentan situar la evaluación en el centro de las acciones del
gobierno, para generar una orientación a resultados.
Los resultados de la operación de este sistema son evidentes: en 2011,
el Programa anual de evaluación --el documento en el que CONEVAL y las
Secretarías de Hacienda y Crédito Público y de Función Pública establecen
las evaluaciones a realizar cada año, preveía 189 evaluaciones (12 de
diseño, 2 de procesos, 173 de consistencia y resultados, y 2 “comprensivas
del gasto”). La atención centrada en los programas sociales se ha ampliado
a otros programas del gobierno federal (relacionados con infraestructura,
energía, seguridad pública, entre otros).2
Antes de la discusión presupuestaria, la Cámara de Diputados
recibe información detallada (y con varios niveles de agregación) sobre el
desempeño de los programas públicos y sobre la conexión entre ellos y las
carencias sociales. CONEVAL emite un informe sobre la evaluación de la
política social.3
Hay un debate público --aún reducido, pero inluyente--
derivado de los hallazgos de las evaluaciones;4
y hay evaluadores soisticados
en las instituciones de educación superior, los think tanks y las irmas
especializadas de consultoría en política pública, así como organizaciones
de la sociedad civil que prestan atención a las evaluaciones, tanto en sus
procesos como sus resultados.5
Hay, en pocas palabras, un sistema en pie, con un marco normativo,
instituciones con un rol deinido (aunque aún con zonas grises en
la distribución de competencias entre Hacienda, Función Pública y
CONEVAL) oicinas de evaluación en las secretarías de la administración
pública federal, rutinas y procedimientos para contratar evaluaciones, y
mecanismos incipientes para darle salida pública a los resultados de las
evaluaciones.6
No obstante, si bien es innegable la importancia de que el sistema
de evaluación tenga repercusiones en el debate público sobre el desempeño
gubernamental y en las discusiones en el legislativo sobre la asignación
del presupuesto público, hay un tercer efecto de las evaluaciones: el uso
de sus resultados para mejorar el diseño o la operación de los programas
2
Secretaría de la Función Pública (SFP), Programa Anual de Evaluación, 2011.
3
Consejo Nacional de la Política de Desarrollo Social, 2011. En línea: http://www.coneval.gob.mx/
cmsconeval/rw/pages/evaluacion/informe_de_evaluacion_politica_desarrollo_social_2011.es.do
4
Véase, por ejemplo: Jonathan Fox y Libby Haight (Coords.), “Subsidios para la
desigualdad: Las políticas públicas de maíz en México a partir del libre comercio”, México:
Woodrow Wilson International Center for Scholars/CIDE/US Santa Cruz, 2010.
5
Notablemente, México Evalúa y Gesoc.
6
Javier González Gómez, “La evaluación de la actividad gubernamental: premisas básicas y algunas
anotaciones sobre la experiencia mexicana” en José Luis Méndez (Coord.), Los grandes problemas
de México, Vol. XIII, Políticas Públicas, México, El Colegio de México, 2010, pp. 143- 178.
Programas Federales Comprometidos con el Proceso de Evaluación | 13
de gobierno.7
Una evaluación que no genera información relevante para
mejorar el contenido o los procesos de una política pública es probablemente
una evaluación sin sentido. Al mismo tiempo, la mera existencia de
recomendaciones puntuales derivadas de una evaluación no signiica que
serán procesadas adecuadamente por los operadores del programa. Existe
una larga serie de obstáculos para convertir los resultados de una evaluación
en acciones de mejora en los programas de gobierno.
Precisamente por ello, en el sistema de evaluación del gobierno
federal, se ha instituido un mecanismo “para el seguimiento a los aspectos
susceptibles de mejora derivados de informes y evaluaciones a los programas
presupuestarios de la administración pública federal”, coordinado por las
secretarías de Hacienda y Crédito Público, Función Pública y CONEVAL.
El propósito de este mecanismo es que los programas hagan efectivamente
uso de los resultados de la evaluación. El instrumento para lograrlo es
la rutinización de la atención a las recomendaciones de la evaluación.
Esto, sin embargo, es un arma de dos ilos, pues así como la rutinización
puede entenderse como la internalización de la lógica de la evaluación en
las organizaciones públicas y en el comportamiento de los funcionarios,
puede signiicar también la apropiación de los procedimientos, pero no
de la sustancia. Es decir, existe el riesgo de que los programas sigan los
procedimientos para cumplir con las disposiciones que les obligan a
“atender” las recomendaciones de las evaluaciones, pero que no hagan un
esfuerzo real por convertir esas recomendaciones en acciones que deriven
en mejores resultados del programa.8
En vista de este riesgo, la Secretaría de la Función Pública invitó
al CIDE y a la organización México Evalúa a convocar a un Premio para
aquellos programas “comprometidos con el proceso de evaluación”, que es
el origen de este libro. El propósito del premio fue valorar el compromiso
de los programas federales con el uso de la evaluación. El ejercicio no
buscaba evaluar el funcionamiento de los programas, ni medir la calidad
de las evaluaciones. Su propósito era identiicar el uso inteligente de
los hallazgos de las evaluaciones, lo que signiicaba, de acuerdo con la
metodología diseñada para tal propósito, seleccionar hallazgos que tuvieran
implicaciones prácticas factibles y con potencial de mejorar el desempeño
y los resultados del programa y diseñar acciones de mejora que, con base
en los hallazgos de las evaluaciones, condujeran a mejores procesos de
gestión y mayores resultados derivados del programa. Tras seleccionar diez
inalistas entre los programas postulados por las dependencias federales,
se hizo meses después una veriicación del grado de implementación de las
acciones de mejora comprometidas por los programas participantes.
7
Veáse el capítulo de María José Montiel, en este volumen.
8
Peter Dahler-Larsen, “Surviving the routinization of evaluation: he administrative use of evaluations
in Danish municipalities” en Administration and Society, Vol. 32, No. 1, 2000, pp. 70-92.
14 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Cada una de las experiencias inalistas está analizada en los capítulos
de este volumen. En este primer capítulo, lo que se busca, antes de presentar
las diez experiencias, es enmarcarlas en la discusión contemporánea sobre la
utilización de las evaluaciones y, principalmente, sobre los obstáculos para
convertir recomendaciones de una evaluación en una mejora sustantiva de
una política pública.
En las siguientes páginas, se presenta una discusión sobre la
utilización de las evaluaciones y una revisión de los principales problemas en
el uso de los hallazgos de una evaluación. Tras ello, se presenta un resumen
de las experiencias analizadas en este libro, y se cierra con una relexión
sobre las estrategias para aumentar el uso sustantivo de las evaluaciones.
Los usos de la evaluación
Un sistema de evaluación y monitoreo puede tener muchos propósitos,
vinculados con procesos internos del gobierno (el control presupuestal,
el desarrollo de mecanismos de seguimiento a la gestión, el control del
desempeño de funcionarios o agencias) o externos a él (las decisiones
legislativas sobre asignación del gasto, la iscalización por parte de entidades
externas, la rendición de cuentas). En todos los casos, sin embargo, existe
un denominador común: la intención de que el monitoreo y la evaluación
sirvan para mejorar el desempeño de los programas. Es ésta la preocupación
detrás de la abundante literatura sobre uso o utilización de las evaluaciones,
que se plantea diversas preguntas: ¿cómo se utilizan las evaluaciones? ¿Para
qué se utilizan? ¿Qué hace que una evaluación tenga más probabilidades de
ser utilizada para mejorar el desempeño de una política pública?
Una evaluación puede tener muchos usos. Como explica Carol
Weiss: “muchos aspectos de una evaluación pueden ser usados: ideas y
percepciones, señales que se envían por el solo hecho de evaluar, los procesos
de aprendizaje al cooperar con la evaluación, la selección de indicadores
de resultados que anuncian un éxito, incluso el diseño del estudio. ‘Uso’
abarca un amplio espectro de efectos por múltiples tipos de usuario”.9
Esta
multiplicidad de usos y usuarios hace que una misma evaluación pueda
responder a distintas lógicas (e, inevitablemente) que deba responder a
varias preguntas (incluso cuando no son planteadas explícitamente en el
diseño de una evaluación).
En el caso del gobierno federal mexicano, las evaluaciones se han
utilizado en varias de estas formas: para aianzar el programa ProgresaOportunidades
frente a cambios en los gobiernos; para incidir en las
negociaciones presupuestales; para inluir en el debate público sobre
las decisiones de gasto, etc. En este libro se pone atención en una forma
9
Carol H. Weiss, “Have we learned anything new about the use of evaluation?”,
American Journal of Evaluation, Vol. 19, Núm.1, 1998, p.21.
Programas Federales Comprometidos con el Proceso de Evaluación | 15
especíica de utilizar las evaluaciones: la conversión de los hallazgos de una
evaluación en acciones de mejora que contribuyan a los resultados de un
programa. Éste es quizá el uso menos llamativo, pero de mayor potencial:
las evaluaciones son ejercicios que desmenuzan la lógica causal de los
programas,10 identiican fallas en la gestión, problemas en los indicadores de
resultados, desafíos de implementación o conceptualizaciones equivocadas
de los beneiciarios. Una evaluación difícilmente generará conclusiones
contundentes sobre si debe aumentarse o reducirse el presupuesto
asignado a determinada política, pero sí puede identiicar oportunidades de
mejora concretas y realizables. Ahora bien, no todas las mejoras potenciales
identiicadas se convertirán en decisiones y acciones de los programas de
gobierno, pues, para ello, debe haber un proceso de atención a los hallazgos
de las evaluaciones, que es precisamente el tema de este libro: cómo
actores concretos asimilan los hallazgos de una evaluación; cómo toman
decisiones para responder a las recomendaciones; cómo se implementan
esas decisiones, y qué consecuencias tienen en los resultados del programa.
En pocas palabras, los hallazgos de una evaluación, para incidir en los
resultados de un programa, tienen que ser (como se muestra en la igura
1) convertidos en recomendaciones aplicables; estas recomendaciones, a su
vez, deben ser incorporadas en la toma de decisiones y dichas decisiones
han de derivar en acciones concretas. Finalmente, dichas acciones, si la
lógica causal que las motiva es correcta y la implementación adecuada,
llevarán a mejores resultados en el programa.
Figura 1
Hallazgos Recomendaciones Decisiones
Resultados Acciones
Fuente: Elaboración propia.
Esta puede parecer una vinculación simple. No obstante, la
conexión entre una evaluación que identiica oportunidades de mejora y las
acciones que los programas hacen para atender sus recomendaciones no es
automática. No existe un lujo directo entre las sugerencias de un evaluador
y las decisiones de un funcionario. Si bien cada hallazgo de una evaluación
tiene el potencial de convertirse en una acción de mejora, existen numerosos
obstáculos para que ello ocurra, tanto del lado de la evaluación como del
programa. Cada uno de los pasos en esta relación supone un ejercicio de
10 Fernando Cortés, et al., Método cientíico y política social. A propósito de las evaluaciones
cualitativas de los programas sociales. México, El Colegio de México, 2008.
16 | De las recomendaciones a las acciones: la experiencia del Premio 2011
mediación, cuya efectividad dependerá de diferentes atributos: la capacidad
del evaluador para identiicar oportunidades de mejora en el desempeño
de un programa; el conocimiento detallado de la operación del programa
por parte del evaluador para derivar recomendaciones relevantes de esos
hallazgos; la soisticación técnica, el interés y la capacidad administrativa
de los decisores para entender y procesar esos hallazgos para convertirlos
en decisiones; la capacidad administrativa para implementar efectivamente
dichas decisiones de acuerdo con los criterios y procedimientos deinidos; y
la solidez de la lógica causal (y la inexistencia de perturbaciones externas)
que permitan llegar a los resultados previstos. Como la literatura sobre toma
de decisiones11 e implementación de políticas públicas12 ha demostrado, en
cada paso en esta cadena pueden haber desviaciones, retrasos y fallas.
Los obstáculos al uso de las evaluaciones
Como explica Scott Bailey en su revisión de la discusión sobre uso de la
evaluación “la literatura internacional identiica un conjunto de factores
que afecta la utilización. Estos factores pueden ser categorizados en dos
grupos: (i) características de la evaluación --la forma en que la evaluación
es realizada; y (ii) características del espacio organizacional donde los
hallazgos han de ser utilizados --factores dentro de la organización en
las que se realiza la evaluación”.13 En efecto, la revisión que hace Bailey
se concentra en atributos de la evaluación (su relevancia, credibilidad,
calidad y los propios hallazgos, así como las prácticas de comunicación del
evaluador y la oportunidad de los reportes) y en atributos organizacionales
(compromiso, necesidades de información, información en competencia,
características personales, clima organizacional, clima político y clima
inanciero). Estos atributos genéricos son útiles para encontrar las posibles
fuentes de obstáculos, pero no necesariamente son todos relevantes para el
caso mexicano, debido a dos diferencias especíicas. En primer lugar, hay un
sistema relativamente estandarizado de evaluaciones en el gobierno federal,
donde, por ejemplo, no se encontrarán muchas variaciones en los tiempos
de las evaluaciones (al ser deinidas por un Programa Anual de Evaluación
centralizado), y los propios formatos de las evaluaciones han alcanzado
una homogeneidad notable (aunque no necesariamente deseable). En
segundo lugar, el entorno institucional promueve que los funcionarios
11 Herbert Simon, El comportamiento administrativo, Madrid, Aguilar, 1963;
Charles E. Lindblom, “La ciencia de ‘salir del paso’ ”, En Luis F. Aguilar (Ed.), La
hechura de las políticas, México, Miguel Ángel Porrúa, 1996, pp. 201-225.
12 Eugene Bardach, he Implementation Game, Cambrige, MIT Press, 1979; Merilee S. Grindle,
“La brecha de la implementación”, en Freddy Mariñez Navarro y Vidal Garza Cantú (coords.),
Política pública y democracia en América Latina: Del análisis a la implementación, México, Miguel
Ángel Porrúa, 2009, pp. 33-51; Jefrey L. Pressman y Aaron Wildavsky, Implementation: How great
expectations in Washington are dashed in Oakland, Los Ángeles, Berkeley University Press, 1984.
13 John Scott Bailey, “Maximizing the Use of Evaluation Findings”, Asian Development Bank, 2008, p.2.
Programas Federales Comprometidos con el Proceso de Evaluación | 17
pongan más atención en cumplir con “el tiempo y la forma” de los procesos
administrativos que con la generación de valor público. En consecuencia,
las oicinas de evaluaciones y los operadores del programa suelen estar
más interesados en que las evaluaciones arrojen datos positivos sobre el
desempeño del programa, que en generar lecciones útiles para su mejora.14
Estas características del sistema de evaluación mexicano (en el
gobierno federal) dan lugar a retos peculiares para convertir los resultados
de las evaluaciones en acciones de mejora. El primer conjunto de obstáculos
se deriva de la calidad de la evaluación (que, a su vez, es función de la calidad
de los procedimientos para contratar la evaluación, de la “evaluabilidad” del
programa, de la calidad15 y coniabilidad de la información generada para
realizar la evaluación, y de la solidez técnica y metodológica del evaluador).
La calidad de las evaluaciones no está garantizada de antemano. Para que una
evaluación sea de calidad, es necesario que haya un proceso de contratación
que permita distinguir buenos evaluadores de los malos. En México el
“mercado” de evaluación es aún incipiente: muchos de los evaluadores son
relativamente nuevos en el trabajo de evaluación, no existen suicientes
señales que permitan conocer la calidad de las evaluaciones, ni una instancia
que caliique la solidez de los evaluadores o una Asociación de Evaluadores
que salvaguarde la reputación de sus miembros. Aún más: los procesos de
contratación de evaluadores externos están atados a los procedimientos de
adquisiciones del gobierno federal, que son buenos para identiicar buen
precio, pero no necesariamente buena calidad. Finalmente, los procesos
de control interno y auditoría sobre la contratación de las evaluaciones
están, de nuevo, concentrados en los tiempos y los procedimientos, no en
su calidad.
Por todo ello, existen desafíos para la utilización de las evaluaciones.
En primer lugar, para que puedan convertirse en mejoras reales en el
diseño, la operación y los resultados de un programa, los hallazgos deben
ser pertinentes, es decir, deben estar conectados con la lógica causal de la
política pública, y no sólo aludir aspectos secundarios que, si bien pueden
ser problemáticos, no sean relevantes para los propósitos de la política
pública.
En segundo término, las recomendaciones derivadas de una
evaluación han de ser factibles. La literatura sobre factibilidad de política
pública que alerta sobre la importancia de que el diseño de una política
pública se haga cargo de inevitables desafíos políticos, administrativos,
14 Mauricio Merino, Sergio López Ayllón y Guillermo Cejudo (Coords.), La estructura
de la Rendición de Cuentas en México, México, UNAM-IIJ, CIDE, 2010.
15 Joseph S. Wholey “Exploratory Evaluation” en Handbook of practical program evaluation, Joseph S.
Wholey, Harry P. Hatry y Kathryn E. Newcomber (Eds.), E.U.A., John Wiley & Sons, 2010, pp. 81-99.
18 | De las recomendaciones a las acciones: la experiencia del Premio 2011
presupuestales y legales,16 aplica por igual a las recomendaciones de una
evaluación: una recomendación que implica decisiones políticas poco
viables, capacidades administrativas inexistentes, recursos presupuestales
no disponibles, o modiicaciones legales poco probables no pasará de ser
una buena idea, que no llegará a una mejora en el programa.
Un tercer atributo deseable es la claridad y precisión en las
recomendaciones. Existe un conjunto de recomendaciones genéricas que
aplican casi a cualquier programa (“aumentar el número de beneiciarios”,
“deinir con claridad la población objetivo”, “asegurar la oportunidad en el
lujo de la información”); para que sean útiles tendrían que ser especíicas
al programa, con recomendaciones puntuales que deinan no sólo los
propósitos, sino los instrumentos que podrían utilizarse. En el mismo
sentido, en cuarto lugar, es necesario, para fomentar la utilizacide las
evaluaciones, que haya mayor claridad en los responsables de atender las
recomendaciones: que las recomendaciones del evaluador no sean verbos
en ininitivo, sino con un sujeto identiicable. Esto último, desde luego,
implica un conocimiento soisticado acerca de la operación del programa y
de la organización pública a cargo de su implementación.
El segundo conjunto de desafíos se compone de los relacionados con
la capacidad de las organizaciones a cargo de atender las recomendaciones.
En primer lugar, existe el desafío de convertir la evaluación en un proceso
internalizado en la gestión de las oicinas públicas y no sólo en un tema
secundario que debe atenderse por obligación o por presión externa.
Como explica González, esto no se ha logrado aún, pues “los instrumentos
de evaluación que se han implementado en México en los últimos años
no han venido acompañados de otro tipo de estrategias (sistemas de
incentivos, ordenamientos legales ad hoc, etc.) que faciliten el proceso de
aprendizaje organizacional y político, que a su vez aseguren el uso de la
información generada en las evaluaciones por los principales agentes. En
el ámbito organizacional se observa cómo persiste en las dependencias
gubernamentales una idea de la evaluación como un tema de control legal y
de poca utilidad práctica”.17
Desde luego, como muestran las experiencias analizadas en este libro,
esta generalización oculta prácticas y actitudes que sí promueven la cultura
de la evaluación, pero que no necesariamente están institucionalizadas. Son
ejemplos de que puede reaccionarse de manera inteligente y comprometida
con las evaluaciones, y no solamente atenderlas para cumplir los trámites
y llenar los formatos exigidos. Esto, desde luego, supone romper muchos
de los patrones en la burocracia federal. Para empezar, hay que revertir la
16 Arnold J. Meltsner, “La factibilidad política y el análisis de políticas”, En Luis F. Aguilar
(Ed.), La hechura de las políticas públicas, México, Miguel Ángel Porrúa, 1996, pp. 367-392;
Giandomenico Majone, “La factibilidad de las políticas sociales”, En Luis F. Aguilar (Ed.),
La hechura de las políticas públicas, México, Miguel Ángel Porrúa, 1996, pp. 393-432.
17 Javier González, Op. Cit., p. 171.
Programas Federales Comprometidos con el Proceso de Evaluación | 19
lógica de control, incluso dentro del sistema de evaluación; como explica
Zabaleta: “los mismos entes coordinadores de la estrategia de evaluación
federal (en este caso la SHCP y la SFP [y podría añadirse a la Auditoría
Superior de la Federación]) han sido las secretarías que tradicionalmente
han reproducido los esquemas de control presupuestal y legal-jerárquico.
Buena porción de las estructuras organizativas de estas dos últimas
dependencias están orientadas al control más que a la promoción del buen
desempeño organizacional”.18
En segundo término, las organizaciones a cargo de la implementación
de las acciones de mejora deben contar la capacidad de realizar los cambios
en los programas. Este es quizá uno de los principales cuellos de botella en
el proceso de utilización de las evaluaciones: puede ser que exista voluntad
de realizar las adecuaciones sugeridas por los evaluadores, pero no siempre
existe la concurrencia de capacidad de decisión –que los operadores del
programa puedan efectivamente deinir las características del diseño o las
reglas de ejecución del programa a su cargo--, capacidad administrativa –
que la organización o el conjunto de organizaciones a cargo de implementar
el programa cuente con el personal, los procesos y los instrumentos de
gestión necesarios para realizar las mejoras propuestas en las evaluaciones–
y disponibilidad presupuestal –que se cuente con los recursos inancieros
para asumir los costos asociados a las recomendaciones de mejora y para
hacerlos sostenibles en el tiempo. La ausencia de uno de estos tres atributos
diicultará que, pese a la intención de hacerlo, las oicinas de operación de
los programas puedan realizar las acciones derivadas de las evaluaciones.
Precisamente por ello, es indispensable distinguir los distintos
destinatarios de las recomendaciones de la evaluación. Hay recomendaciones
que no se reieren a ajustes menores a la operación, sino a modiicaciones
sustantivas a la lógica causal del programa, a los mecanismos de control
y vigilancia, a sus beneiciarios o a los montos presupuestales y reglas
de gastos asociadas. Así, en tercer lugar, es claro que no siempre son los
operadores del programa quienes están en posición de decidir y actuar para
responder a las recomendaciones de los evaluadores. Son los funcionarios
en puestos directivos, las dependencias coordinadoras –como las secretarías
de Hacienda o Función Pública— o los legisladores quienes tendrían la
responsabilidad de reaccionar a los hallazgos de las evaluaciones. Hasta
ahora, como se señala en el capítulo siguiente, ha habido avances notorios
en la incorporación de hallazgos en la operación del programa dentro de los
espacios de acción de las organizaciones operadoras, pero aún queda un largo
trecho hacia la institucionalización de la atención a las evaluaciones desde
otros ámbitos. En suma, se trata de lograr que los gobiernos reaccionen
efectivamente cuando las recomendaciones de los evaluadores se reieren
18 Dionisio Zabaleta “Una mirada institucional a la política federal de evaluación en
México: Algunas implicaciones a la luz del paradigma gerencialista”, en Alejandro
González (Coord.), ¿Gobernar por resultados?, México, GESOC, 2008, p.72.
20 | De las recomendaciones a las acciones: la experiencia del Premio 2011
a ajustes marginales, pero también cuando suponen el involucramiento de
otros agentes de decisión para modiicaciones sustanciales a las reglas, los
presupuestos o la lógica del programa.
Finalmente, para institucionalizar la utilización de las evaluaciones,
para que éstas sean útiles efectivamente para mejorar los resultados de los
programas públicos y para que, en conjunto, el sistema de evaluación sirva
para mejorar el desempeño gubernamental, es indispensable que las normas
y las prácticas que estructuran el funcionamiento del sistema de evaluación
estén articuladas con el resto de los sistemas de rendición de cuentas: los
sistemas asociados a transparencia y acceso a la información, contabilidad
gubernamental y control del gasto; control interno; iscalización. La
fragmentación actual de la rendición de cuentas en México es, por una parte,
una limitante a la efectividad del sistema de evaluación pero, por la otra, es
consecuencia directa de la falta de articulación del sistema de evaluación
con el resto.19 En las experiencias revisadas en los capítulos siguientes, más
de una vez los funcionarios encargados de los programas hicieron alusión
a las diicultades de tener que lidiar con mandatos encontrados, reglas
confusas y controles inconexos cuando tienen que informar, explicar o
rendir cuentas a CONEVAL, a Función Pública, a la Secretaría de Hacienda o
a la Auditoría Superior de la Federación. Se trata, desde luego, de un desafío
que rebasa al sistema de evaluación, pero que está detrás de muchos de los
obstáculos para la utilización efectiva de los hallazgos de las evaluaciones.
DキW┣ W┝ヮWヴキWミIキ;ゲ ケ┌W エ;ミ ノラェヴ;Sラ
Iラミ┗Wヴピヴ エ;ノノ;┣ェラゲ Wミ マWテラヴ;ゲ
Como introducción para el análisis de los diez casos en los capítulos
siguientes, con base en la revisión que durante varios meses se realizó
de la selección de los hallazgos, la deinición de acciones de mejora y su
implementación,20 a continuación se presenta una síntesis de cada programa
y de los resultados obtenidos tras la implementación de las acciones de
mejora. Los logros fueron importantes, aunque con avances diferenciados.
Destaca, sin embargo, que cada uno de los programas muestra que el uso
inteligente de los hallazgos de las evaluaciones sirve efectivamente para
mejorar el diseño y la operación de los programas; y que la implementación
de las acciones de mejora contribuye sustantivamente a mejorar los
resultados del programa y, con ello, a la calidad de vida de los beneiciarios.
19 Mauricio Merino et al., Op. Cit.
20 Esta revisión estuvo a cargo de un equipo con integrantes de las tres instituciones convocantes del
premio: Mariana García, Edna Jaime y Eréndira Avendaño por México Evalúa; múltiples funcionarios
de la Unidad de Evaluación de la Secretaría de la Función Pública, liderados por Javier González y
Blanca Maynez; y Claudia Maldonado, Roberto Gerhard y Guillermo M. Cejudo por el CIDE.
Programas Federales Comprometidos con el Proceso de Evaluación | 21
Sistema Integral de Calidad en Salud (primer lugar)
El programa busca contribuir a mejorar la calidad de los servicios de salud.
Esta se reiere al trato que reciben los pacientes dentro del hospital; desde
las salas de espera hasta los quirófanos, y puede involucrar detalles como
que haya sillas y baños en las salas de espera, prácticas de higiene por parte
del personal y la instalación de comités de calidad. Con base en cuatro
evaluaciones -evaluación diseño (2008), dos especíicas de desempeño (2009
y 2010) y una de consistencia y resultados- el programa se comprometió a
realizar 10 acciones de mejora.
Los principales resultados de estas acciones se pueden concentrar
en cuatro grandes rubros: 1) Instalación de comités y gestores de calidad
en hospitales y unidades médicas, 2) medición de la cultura de la calidad, 3)
acreditación y capacitación en temas de calidad, y, por último, 4) difusión
del programa. En la mayoría de los casos se superaron las metas que se
tenían planeadas al inicio del año, por ejemplo, la instalación de comités
de calidad de seguridad del paciente (COCASEP) alcanzó en agosto la meta
planeada para diciembre. En el mediano plazo se espera que estas acciones
tengan un efecto positivo sobre el fomento y la documentación del avance
de la cultura de la calidad en el país, que mejoren los estándares de calidad;
que se agilice la transferencia de recursos, que mejore la coordinación entre
áreas técnicas de calidad con áreas administrativas, que se avance en la
medición del impacto de la acreditación en los servicios de calidad y que se
utilicen las encuestas de los avales ciudadanos para realizar mejoras en la
participación de los avales ciudadanos.
Expedición de pasaportes y servicios
Iラミゲ┌ノ;ヴWゲ ふマWミIキルミ エラミラヴケgI;ぶ
El Programa de Expedición de Pasaportes y Consulares busca ofrecer a
los connacionales y extranjeros servicios de documentación consular
de manera expedita y segura, tomando en cuenta la enorme cantidad de
mexicanos que reside o se encuentra en el exterior y los nuevos retos de
seguridad trasnacional.
Con base en la evaluación que se le hizo al programa en 2010, éste
se comprometió a realizar 17 acciones de mejora. Todas ellas tuvieron un
avance de entre 70-100% a agosto de 2011, incluyendo el establecimiento
del Programa de Citas MEXITEL, inicio de la primera fase del Sistema
Integral de Registro de Mexicanos en el Extranjero, realización de
cursos de capacitación 2011 en los consulados de Canadá, Texas y
California, actualización de dos capítulos de la nueva Guía Consular, y
reestructuración de la Matriz de Indicadores por Resultados (MIR). En el
mediano plazo se espera que las medidas implementadas contribuyan a
mejorar sustantivamente la calidad de los servicios consulares que prestan
22 | De las recomendaciones a las acciones: la experiencia del Premio 2011
las Representaciones de México en el Exterior, simpliicando o reduciendo
la normatividad y aplicando nuevas herramientas tecnológicas. Todas las
acciones implementadas muestran un claro compromiso con mejorar la
atención al usuario inal de los servicios consulares.
Atención a la Demanda de Educación para Adultos y Modelo
SW ES┌I;Iキルミ ヮ;ヴ; ノ; VキS; ┞ Wノ Tヴ;H;テラ ふマWミIキルミ エラミラヴケgI;ぶ
El Programa de Atención a la Demanda de Educación para Adultos (INEA)
y Modelo de Educación para la Vida y el Trabajo ofrece a las personas de 15
o más años que se encuentran en condición de rezago educativo, servicios
educativos gratuitos de alfabetización, primaria y secundaria, así como
servicios de acreditación y certiicación de los conocimientos y aprendizajes
para contribuir a disminuir las desigualdades en las oportunidades
educativas entre grupos sociales incrementando la escolaridad de los
beneiciarios.
Con base en una evaluación de consistencia y resultados, hecha en
2008 y otra de procesos realizada en 2009 el programa se comprometió
a realizar 3 acciones de mejora. En agosto de 2011, a pesar de las
restricciones presupuestales del INEA y de las difíciles condiciones
sociales, económicas y políticas de los estados, se logró la valoración
de 33,969 asesores (es decir, 52.6% del total). Asimismo, se logró
un avance de 44% de la valoración y revaloración diagnóstica, lo que
implica la aplicación del instrumento en 13 Institutos o Delegaciones
estatales. La iniciativa del INEA promueve el uso de los resultados de
la evaluación a diferentes niveles derivando en acciones de formación
y superación de los asesores, involucrándolos en una nueva experiencia
de aprendizaje para conocer sus capacidades y mejorar sus habilidades.
El objetivo es consolidar la práctica de evaluación de los asesores de
manera permanente para que mejoren los efectos de las acciones de
formación en las que participan.
ProÁrbol- Programa de Pago por Servicios Ambientales
ProÁrbol es un programa que otorga subsidios a los legítimos poseedores
de terrenos forestales para realizar acciones encaminadas a proteger,
conservar, restaurar y aprovechar de manera sustentable los recursos
forestales, con el objeto de disminuir los índices de pobreza y marginación
en áreas forestales, mediante la inducción a un manejo y uso adecuado
de sus recursos naturales; generar desarrollo y expansión económica a
partir de la valoración, conservación y aprovechamiento sustentable de los
recursos de los bosques.
Programas Federales Comprometidos con el Proceso de Evaluación | 23
Con base en las evaluaciones del programa (Especíica de Desempeño
y de Consistencia y Resultados) se comprometieron a realizar 11 acciones
de mejora. Las acciones realizadas sientan las bases para un mejor proceso
de toma de decisiones así como de una línea basal sobre la cual comparar el
desempeño de los indicadores del programa y así comenzar a implementar
un sistema de monitoreo que arroje datos periódicos que permitan evaluar el
impacto del programa. El establecimiento de mecanismos de inanciamiento
más adecuados (en los que intervengan los tres órdenes de gobierno) es otro de
los resultados que se espera en el mediano plazo de las acciones implementadas.
Escuelas de Tiempo Completo
El Programa Escuelas de Tiempo Completo tiene como objetivo contribuir
a mejorar las oportunidades de aprendizaje de los alumnos de las escuelas
públicas de educación básica mediante la ampliación del horario escolar. Con
base en una evaluación de diseño de 2008, el programa se comprometió a
realizar 5 acciones para agosto de 2011 relativas al seguimiento cualitativo
de la implementación de la propuesta pedagógica y de gestión de escuelas
de tiempo completo. Para agosto de 2011 el programa había diseñado
e implementado el SIMAETIC, establecido un campus virtual para dar
asesoría permanente a distancia con los coordinadores y responsables de
dar seguimiento al PEC en cada entidad federativa, también desarrolló
competencias y habilidades para el registro de información entre los
responsables del proceso y, por último, diseñó instrumentos para el trabajo
de campo y realización de visitas a 125 escuelas del PETC para revisar el
reporte de resultados.
El PETC incorporó recomendaciones de las evaluaciones para mejorar
su gestión. El SIMAETIC es, sin lugar a dudas, un insumo fundamental para
guiar la toma de decisiones y el diseño de políticas educativas en el país.
La existencia de esta herramienta permite también mayor coordinación
entre el nivel federal y estatal. No obstante, para que el tiempo que se
adiciona la jornada educativa en el PETC mejora la enseñanza y amplíe las
oportunidades de aprendizaje de los alumnos, es fundamental tomar en
cuenta otros hallazgos de las evaluaciones relacionados con el principio de
equidad para elegir a las escuelas más vulnerables, así como a la necesidad
de realizar sondeos de opinión para conocer la percepción de los beneicios
entre la comunidad educativa, los padres y los alumnos.
Escuelas de Calidad
El Programa Escuelas de Calidad tiene como objetivo mejorar el logro
educativo en los alumnos de las escuelas públicas de educación básica
beneiciadas por el programa mediante la transformación de la gestión
educativa.
24 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Con base en una evaluación complementaria realizada en 2008 así
como en una especíica de desempeño en 2009, el programa se comprometió
a realizar acciones de mejora. Para agosto de 2011, publicó el Plan
Estratégico de Trasformación Escolar Simpliicado (PETE) y se distribuyó
en las 32 Coordinaciones Generales Estatales del PEC, se preparó el Módulo
de “Orientaciones para activar la participación social en las escuelas de
educación básica” y su tiraje se envío a las 32 Coordinaciones Generales
Estatales; se implementaron conferencias e intercambios presenciales y
en línea para promover el uso de las tecnologías de información como una
estrategia de formación entre pares. También se realizó un encuentro de
seguimiento y evaluación de la Red Nacional de Formadores. Por último
se integraron ichas con información y estadísticas por entidad federativa
para lograr una mejor focalización del PEC.
El PEC muestra consistencia en las acciones implementadas como
resultado de las evaluaciones. No obstante, siguen existiendo retos
fundamentales para lograr un mayor impacto, en términos de la focalización
hacia las escuelas que forman parte de la población objetivo, así como en la
capacitación de la Red Nacional de Formadores y la necesidad de fortalecer
la participación social dentro de las escuelas.
Fondo para el Apoyo a Proyectos
PヴラS┌Iピ┗ラゲ Wミ N┎IノWラゲ Aェヴ;ヴキラゲ
El Fondo para el Apoyo a Proyectos Productivos en Núcleos Agrarios
(FAPPA) es un programa que busca generar alternativas de desarrollo
económico para los habitantes de núcleos agrarios que no son titulares de
tierras; a través de proyectos que detonen el desarrollo económico y social
de las comunidades rurales ubicadas en zonas con alto nivel de marginación.
Con base en una evaluación complementaria de Fin y Propósito (2009) el
programa se comprometió a llevar a cabo 4 acciones de mejora.
Una de las acciones más relevantes fue el de supervisión previa.
El hecho de revisar la veracidad de la información proporcionada en la
solicitud de apoyo permitió identiicar 48 proyectos que no cumplían con
los requisitos y que permitió la reasignación de 9.6 millones de pesos.
Destaca también el hecho de que 64% de los proyectos apoyados no son
pecuarios. En el mediano plazo se espera que la supervisión previa tenga
una incidencia positiva en la supervivencia de los proyectos, misma que
se probará con la supervisión de seguimiento que se pretende extender
a dos años después de haber sido apoyados; por otro lado, también se
tiene planeado ofrecer capacitaciones por tipo de giro para fomentar un
aumento en la diversidad de proyectos. Los esfuerzos realizados por el
programa muestran su voluntad para apropiarse de las recomendaciones
de las evaluaciones y realizar los cambios indicados para tener un mejor
desempeño y llevar a cabo un mejor uso de los recursos públicos.
Programas Federales Comprometidos con el Proceso de Evaluación | 25
Programa de la Mujer en el Sector Agrario
El PROMUSAG se creó con el in de crear apoyos dirigidos a mujeres
que habitan en un núcleo agrario del medio rural, con el propósito de
insertarlas en las actividades productivas y así combatir las condiciones
de pobreza existentes en este sector. Con base en una evaluación externa
complementaria para medir los indicadores de in y propósito, el programa
se comprometió a realizar 6 acciones de mejora. En este programa, destacó
la supervisión previa como un elemento sustantivo que permite seleccionar
a los proyectos más apropiados. Otro resultado destacable es el hecho de que
63% de los proyectos apoyados no fueran de tipo pecuario. Los resultados
en el mediano plazo son similares a los de FAPPA, la diferencia se encuentra
entre los resultados que se esperan obtener del indicador de igualdad de
trato entre hombres y mujeres el cual proporcionará información sobre
la forma en la que “las beneiciarias transitan de cualquier situación de
opresión, desigualdad, discriminación, explotación o exclusión a un estado
de conciencia, autodeterminación y autonomía”.
Las acciones realizadas por el PROMUSAG muestran que ha
comprendido la utilidad de las evaluaciones para justiicar y llevar a cabo
acciones de mejora. El programa se volverá de mayor importancia ante la
difícil situación que se vive en el campo mexicano, en ese sentido deberá
seguir trabajando por aumentar su impacto así como supervisar y hacer
más eiciente el uso de los recursos públicos.
Becas de Posgrado y otras modalidades
SW ;ヮラ┞ラ ; ノ; I;ノキS;S WS┌I;ピ┗;
El Programa de Becas de Posgrado y otras modalidades de apoyo a la
calidad tiene como objetivo que los estudiantes accedan a oportunidades
educativas y de formación de calidad en México o en el extranjero en ciertas
áreas y sectores estratégicos para el propio programa. Con base en una
evaluación de impacto inanciada por el banco mundial en 2007, junto con
dos evaluaciones especíicas de desempeño de 2008 y 2009 el programa se
comprometió a realizar 3 acciones. El Programa de Becas de Posgrado de
CONACYT se muestra alineado con las recomendaciones elaboradas en la
evaluación y muestra un claro compromiso con la necesidad de contar en el
país con capital humano altamente caliicado, así como atraer estudiantes
del extranjero que vean en el país una opción de calidad para continuar
sus estudios de posgrado. Sin embargo, en mediano plazo seguirán
habiendo retos importantes en materia de acceso a mejores esquemas de
inanciamiento, incorporación de alumnos nuevos al sistema educativo
nacional y el avance en la generación de bases de datos coniables para
mejorar la calidad educativa en México y contribuir al desarrollo económico
y social del país.
26 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Joven Emprendedor Rural y Fondo de Tierras
El programa de Joven Emprendedor busca facilitar el relevo generacional en
el sector del campo mexicano a través de subsidios para apoyar proyectos
agroempresariales de jóvenes emprendedores. Con base en una evaluación
especíica de desempeño y una complementaria el programa se comprometió
a realizar 10 acciones de mejora. El principal resultado del programa se vio
relejado en el estudio que realizó la FAO el cual les permitió identiicar
los factores que determinan el éxito de una agroempresa, conocer detalles
como la rentabilidad y productividad de estos proyectos y inalmente
documentar casos de éxito que servirán al programa como insumos para
hacer mejoras en su operación. También se logró organizar con Financiera
Rural cursos de capacitación a los beneiciarios en temas de responsabilidad
inanciera y en una eiciente administración de sus proyectos. Por otro lado,
las nuevas medidas de supervisión ofrecieron información fundamental
sobre temas como porcentaje del ingreso de los jóvenes beneiciarios,
sobrevivencia empresarial y cumplimiento de salvaguardas ambientales. En
el mediano plazo se espera que estas medidas aumenten la supervivencia de
las empresas y puedan así facilitar un relevo generación en las comunidades
dedicadas a la actividad pecuaria.
Conclusiones
Como conclusión, vale la pena insistir en lo importante del trabajo hecho
por estos programas para darle contenido sustantivo al trabajo de atender
las evaluaciones. Como ocurre en cualquier componente de nuestro sistema
de rendición de cuentas, en materia de evaluación se enfrenta día a día un
riesgo grave: la simulación. En nuestro país existen cotidianamente ejercicios
que podemos llamar coreográicos para hacer parecer que se rinde cuentas
sin hacerlo: sistemas de control de gestión que no tienen consecuencias,
auditorías que identiican problemas que nunca son corregidos o
responsables que nunca son investigados, investigaciones que nunca se
concluyen, mecanismos de transparencia utilizados para ocultar información
y responsables que nunca son identiicados y llamados a cuentas.
En evaluación existe el riesgo constante de que ocurra lo mismo:
que se realicen evaluaciones que no son utilizadas para tomar decisiones
que mejoren los programas o que no se utilicen para informar el debate
presupuestal. Lo que las experiencias presentadas en este libro muestran
es que es posible ir contracorriente y hacer que las evaluaciones sean útiles.
Muestran también que el uso inteligente de sus hallazgos tiene efectos
demostrables en la gestión de los programas y en los resultados que se
entregan a los ciudadanos. En suma, son experiencias atípicas, pero que
sirven para encontrar las vías por las que, a pesar de un entorno institucional
y organizacional que puede ser adverso, las evaluaciones pueden cumplir su
propósito de incidir en la mejora del desempeño del gobierno.
Programas Federales Comprometidos con el Proceso de Evaluación | 27
BキHノキラェヴ;i;
Bardach, Eugene, he Implementation Game, Cambrige, MIT Press, 1979
Consejo Nacional de la Política de Desarrollo Social, (CONEVAL), 2011.
En línea: htp://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/
informe_de_evaluacion_politica_desarrollo_social_2011.es.do
Cortés, Fernando y Orlandina de Oliveira (Coords.), “Desigualdad social”
en: Los grandes problemas de México, Vol. V., México, El Colegio de México,
2010.
González, Alejandro (Coord.), ¿Gobernar por resultados?, México, GESOC,
2008.
González Gómez, Javier, “La evaluación de la actividad gubernamental:
premisas básicas y algunas anotaciones sobre la experiencia mexicana”
en José Luis Méndez (Coord.), Los grandes problemas de México, Vol. XIII,
Políticas Públicas, México, El Colegio de México, 2010, pp. 143- 178.
Grindle, Merilee S., “La brecha de la implementación”, en Freddy Mariñez
Navarro y Vidal
Garza Cantú (coords.), Política pública y democracia en América Latina: Del
análisis a la implementación, México, Miguel Ángel Porrúa, 2009, pp. 33-51.
Majone, Giandomenico, “La factibilidad de las políticas sociales”, En Luis
F. Aguilar (Ed.), La hechura de las políticas públicas, México, Miguel Ángel
Porrúa, 1996, pp. 393-432.
Manuel F. Castro, et al, El Sistema de Monitoreo y evaluación de México:
Un salto del nivel sectorial al nacional, Independent Evaluation Group (IEG),
Serie de documentos de trabajo DCE, Núm. 20, Washington, D.C, Banco
Mundial, 2009.
Meltsner, Arnold J., “La factibilidad política y el análisis de políticas”, En
Luis F. Aguilar (Ed.), La hechura de las políticas públicas, México, Miguel
Ángel Porrúa, 1996, pp. 367-392.
28 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Merino, Mauricio, Sergio López Ayllón y Guillermo Cejudo (Coords.), La
estructura de la Rendición de Cuentas en México, México, UNAM-IIJ, CIDE,
2010.
Pressman, Jefrey L. y Aaron Wildavsky, Implementation: How great
expectations in Washington are dashed in Oakland, Los Ángeles, Berkeley
University Press, 1984.
Scott, John, “Campo en México siembra opacidad en subsidios,” El
Semanario, Octubre 14, 2010.
--------------- “Gasto Público para la Equidad: Del Estado Excluyente hacia un
Estado de Bienestar Universal”, México, México Evalúa, 2011.
--------------- “Subsidios agrícolas en México: ¿Quién gana, y cuánto?” en
Jonathan Fox y Libby Haight (coords.) Subsidios para la desigualdad: Las
políticas públicas de maíz en México a partir del libre comercio Mexico, DF,
Santa Cruz, Woodrow Wilson International Center for Scholars/CIDE/US
2010.
Secretaría de la Función Pública (SFP), Programa Anual de Evaluación, 2011.
Simon, Herbert, El comportamiento administrativo, Madrid, Aguilar, 1963;
Charles E. Lindblom, “La ciencia de ‘salir del paso’ ”, En Luis F. Aguilar (Ed.)
La hechura de las políticas, México, Miguel Ángel Porrúa, 1996, pp. 201-225
Weiss, Carol H., “Have we learned anything new about the use of
evaluation?”, American Journal of Evaluation, Vol. 19, Núm. 1, 1998.
Programas Federales Comprometidos con el Proceso de Evaluación | 29
La evaluación como instrumento de cambio.
ぅCルマラ ゲW ┌ピノキ┣;ミ ノ;ゲ W┗;ノ┌;IキラミWゲ Wミ ノラゲ
programas gubernamentales en México?
M;ヴケ; JラゲY MラミピWノ
Introducción
La importancia con la que se ha colocado a la evaluación en el quehacer
público es evidente. La pregunta que recurrentemente se plantea en las
organizaciones públicas acerca de por qué evaluar parece tener una respuesta
consensuada; nadie se opondría hoy a considerar la etapa de evaluación
como un aspecto integral del ciclo de las políticas públicas. Sin embargo, a
pesar del acuerdo en torno a la importancia de la evaluación y la tendencia
creciente hacia evaluar a los gobiernos por sus resultados y monitorear
su desempeño,1
el impulso de la evaluación no se ha correspondido
estrictamente con su utilización y con su conversión efectiva en una
1 Sonia Ospina, Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano, En: V
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo
Domingo, República Dominicana, 24-27 Octubre de 2000, pp.13.
30 | De las recomendaciones a las acciones: la experiencia del Premio 2011
herramienta de gestión.2
Es así que a la primera interrogante se suma la
cuestión de por qué utilizar la evaluación. Para que las evaluaciones puedan
transformar es necesario que los resultados de los ejercicios prácticos y los
reportes de recomendaciones, se utilicen efectivamente;3
lo cual signiica
establecer una conexión entre el proceso de evaluación con todo el ciclo
de las políticas públicas y con otros sistemas, como el presupuestario, de
planeación y operación de los programas.4
El punto de partida que ha motivado a varias instituciones a organizar
el certamen “Programas federales comprometidos con el proceso de
evaluación” para premiar a las instancias que incorporan la evaluación dentro
de la gestión de sus programas, es entender por qué en México, a pesar de que
existe un amplio repertorio de evaluaciones, la utilidad de éstas en ocasiones
se remite a ser informativa o incluso simbólica. Las evaluaciones se difunden
y se publican, pero es difícil observarlas como un factor determinante en
la transformación de las políticas públicas. El problema es que si bien en
México actualmente se realizan una multiplicidad de evaluaciones, éstas no
necesariamente se utilizan como herramientas de cambio.
El presente capítulo parte precisamente de las dos preguntas
planteadas al inicio: (1) ¿para qué evaluar? y (2) ¿para qué utilizar la
evaluación? De modo práctico, la discusión se desarrolla a partir de las
evaluaciones a los programas gubernamentales en el ámbito federal
en México. La pregunta central es: ¿qué factores explican el uso de las
evaluaciones como herramienta de cambio en la operación de los programas
gubernamentales? Estas modiicaciones pueden estar plasmadas en
el rediseño de los programas, a través de las reglas de operación, en los
documentos de planeación estratégica; así como en otros instrumentos
que pongan en evidencia la atención a las recomendaciones. El supuesto de
entrada es que el diseño institucional del sistema de evaluación en México
carece de incentivos que conduzcan a que las unidades responsables de los
programas utilicen instrumentalmente los resultados de la evaluación. El
capítulo contiene seis secciones. La primera presenta el marco conceptual
acerca de la importancia de la evaluación y sus diferentes usos. En la segunda
sección se describen brevemente los antecedentes de la evaluación en
México. El tercer apartado contiene una descripción del diseño institucional
del sistema de evaluación en México, así como algunas relexiones
sobre cómo éste induce, o no, al uso instrumental de los resultados de
2
Para algunos autores como Hintze, la herramienta de gestión es la capacidad de una evaluación
para incidir sobre las decisiones político-técnicas de transformación de un programa. Susana Hintze,
Relexiones sobre el conlicto y la participación en la evaluación de políticas sociales, En: VI Congreso
Internacional del CLAD sobre la Reforma del Estado y la Administración Pública, Buenos Aires, Argentina,
Noviembre de 2001.
3
Carol Weiss, “Have we learned anything new about the use of evaluation?”, American Journal of
Evaluation, Vol. 19, Núm. 1, 1998, pp.24.
4
Ricardo Toledo Silva, Fortalecimiento de la función evaluación en los países de América del Sur. Informe
Técnico: Eiciencia y eicacia de la acción gubernamental: un análisis comparativo de sistemas de evaluación,
Cooperación Técnica BID-IPEA, 2005;Ospina, Op. Cit.
Programas Federales Comprometidos con el Proceso de Evaluación | 31
la evaluación. En el cuarto apartado se explica el funcionamiento del
Mecanismo de Seguimiento de los Aspectos Susceptibles de Mejora, 2008
y muestra algunos resultados de este ejercicio. En la quinta sección se
analiza qué otros factores fuera del diseño institucional favorecen el uso
de las evaluaciones, y en la última sección se presentan los principales
argumentos desarrollados a lo largo del capítulo.
L; キマヮラヴデ;ミIキ; SW W┗;ノ┌;ヴ ┞ SW ┌ピノキ┣;ヴ ノ;
W┗;ノ┌;Iキルミ ぅP;ヴ; ケ┌Y W┗;ノ┌;ヴい
En un sentido amplio, la evaluación debería servir para cuestionar a los
gobernantes sobre sus acciones y sobre el rumbo que orienta el Estado.
Algunos autores explican que esta herramienta es útil para demostrar la
efectividad de la intervención pública; para lograr consenso sobre los
objetivos de los programas y sobre el rediseño de los mismos; así como
informar a la sociedad del cauce que llevan las políticas públicas.5
En parte, los ejercicios de evaluación surgieron por la necesidad de
que el Estado se responsabilizara de sus acciones y orientara su desempeño
de forma eicaz y eiciente hacia los resultados, más que a los procesos de
gestión. Se transitó así, “de una responsabilidad basada principalmente
en la observancia de procedimientos normativos y técnicos, a otra basada
en la obtención de resultados e impactos relevantes y apreciados por la
comunidad política.”6
Gradualmente, los objetivos de la evaluación se han diversiicado, las
evaluaciones de desempeño hoy en día también tienen implicaciones para la
rendición de cuentas. En este contexto, la evaluación no sirve únicamente
para lograr el propósito de mejorar la eiciencia en la gestión pública, sino que
--en un sentido más amplio-- persigue contrapesos políticos.7
Por otra parte, los procesos evaluativos involucran también
consideraciones distributivas con respecto a la equidad; a los modelos
económicos; a la asignación presupuestal; a la justicia; y a la libertad de los
individuos. La evaluación también signiica “construir consensos alrededor
de valores sociales y poner en evidencia las bondades y defectos del sistema
existente.”8
5
Sebastián Galiani, “Políticas sociales: instituciones, información y conocimiento”, Serie políticas
sociales, División de Desarrollo Social, CEPAL-Naciones Unidas, Santiago de Chile, 2006.
6
Alejandro González, (Coord.), ¿Gobernar por resultados? Implicaciones de la política de evaluación del
desempeño del gobierno mexicano, México, GESOC, Gestión Social y Cooperación A.C., 2008, pp.12.
7
Sonia Ospina et al, “Performance evaluation, public management improvement and democratic
accountability”, Public Management Review, Vol. 6, Núm. 2, 2004, pp. 229-251.
8
Leonardo Solarte Pazos, La evaluación de programas sociales en el Estado Liberal, En: VII Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal,
2002, p.7.
32 | De las recomendaciones a las acciones: la experiencia del Premio 2011
En resumen, y dada la multiplicidad de beneicios que puede tener
la evaluación, consideremos tres objetivos principales. La evaluación
sirve para: (1) valorar la efectividad y eiciencia de las políticas y, con
ese diagnóstico, motivar la mejora continua de los programas; (2)
fortalecer los procesos de rendición de cuentas a través del monitoreo
sobre el desempeño del gobierno; y (3) medir el impacto de la asignación
presupuestaria de los programas públicos. El alcance de estos tres objetivos
depende de si la evaluación se utiliza como un verdadero instrumento de
cambio.
ぅCルマラ ┌ピノキ┣;ヴ ノ; W┗;ノ┌;Iキルミい
Dentro de la literatura especializada encontramos diferentes clasiicaciones
sobre el uso de la evaluación de los programas gubernamentales. Algunas
deiniciones son el uso conceptual9
y el uso instrumental10. En primer lugar, al
darle un uso conceptual a la evaluación, a pesar de contar con información
relevante que contribuye al aprendizaje social, no se logra un vínculo entre
esta información y la toma de decisiones.11 En contraste, el uso instrumental
de la evaluación es la condición a la cual debería encaminarse todo sistema
de evaluación, en concreto signiica que los resultados sirvan realmente
como herramienta para reformular o rediseñar proyectos, programas y
políticas.
Para entender mejor estos conceptos en el ámbito de las
organizaciones públicas, podemos relacionarlos con dos fases: (1) la
adopción y (2) la implementación, respectivamente.12 La primera se reiere
al desarrollo de mecanismos de medición de resultados, productos y de
eiciencia; mientras que la segunda se reiere al estricto uso de estas medidas
–o de estos resultados- sea para la planeación estratégica; el rediseño del
programa; la asignación de recursos; o el monitoreo a la administración
interna.
9
Peter Dahler-Larsen, “Surviving the Routinization of Evaluation: he Administrative Use of Evaluations
in Danish Municipalities”, Administration and Society, Vol. 32, Núm. 1, 2000, pp. 70- 92.
10 Weiss, Op. Cit. pp.24.
11 Algunos autores atribuyen a la evaluación un uso perverso y una herramienta de la que se sirven los gobiernos para controlar
a sus ciudadanos. Aunque este uso estratégico no necesariamente es negativo, las evaluaciones como armas políticas pueden ser
relevantes para los partidos políticos y el gobierno, en la medida en que sus resultados sean conocidos por la opinión pública,
contribuyendo a generar confianza. Para conocer más sobre otros usos de la evaluación véase: Solarte Pazos, Op. Cit.; Ian
Sanderson, “Evaluation, Policy Learning and evidence-based policy making”, Public Administration, Vol. 80, Núm. 1, 2002, pp. 1-22.
12 Patria de Lancer Julnes, y Marc Holzer, “Promoting the Utilization of Performance Measures in Public
Organizations: An Empirical Study of Factors Afecting Adoption and Implementation”, Public Administration
Review, Vol. 61, Núm. 6, 2001, pp. 693-708.
Programas Federales Comprometidos con el Proceso de Evaluación | 33
Tabla 1: Fases del proceso de utilización de las evaluaciones
dentro de las organizaciones públicas
FASES CARACTERÍSTICAS INSTRUMENTOS TIPO DE USO
1.Adopción Contribución al proceso
de aprendizaje sobre los
programas (Desarrollo de
conocimiento para actuar)
Desarrollo de
mediciones de
resultados, productos
y eiciencia
Conceptual
2.Implementación
Utilización de los
instrumentos derivados
en la fase de adopción
(Conocimiento
convertido en acción)
Planeación estratégica,
rediseño del programa,
asignación de recursos,
gestión del programa
y monitoreo a la
administración interna
Instrumental
Fuente: Elaboración propia con base en: Julnes De Lancer y Marc Holzer13
Entonces, a lo largo del capítulo relacionaremos al uso conceptual
con la fase de adopción, mientras que el uso instrumental se reiere a la
fase de implementación; en especial cuando los resultados derivados de
los ejercicios de evaluación se utilizan para la planeación estratégica y el
rediseño del programa. Es este tipo de uso el que me interesa analizar para
el caso mexicano.
Evidentemente, no hay guías prácticas acerca de cómo lograr que
los operadores de los programas públicos utilicen la evaluación de modo
instrumental. Sin embargo, se han desarrollado algunas recomendaciones
para fortalecer el uso de las evaluaciones en diferentes contextos
institucionales. La preocupación común en los estudios sobre evaluación
sigue siendo cómo garantizar su utilidad.14
Por ejemplo, es básico relexionar sobre quiénes necesitan la
evaluación y sobre quiénes la ofrecen. Algunas variables que intervienen en
el uso de la evaluación son: la demanda, la oferta, y la vinculación en la toma
de decisiones. Otro factor clave es la credibilidad de la independencia de las
evaluaciones; no tanto su posición jerárquica dentro de los programas.15
Por el lado de la demanda, son fundamentales las peticiones de
distintos niveles de gobierno; del poder legislativo, así como de la sociedad
civil, quienes fungen como mandantes de la evaluación. Así, en la medida
en que los equipos que operan los programas demanden datos sobre
13 Ibídem.
14 Véase también el trabajo de Nerio Neiroti, La función de evaluación de programas sociales en Chile, Brasil
y Argentina, VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración
Pública, Buenos Aires, Argentina, 5-9 de Noviembre 2001.
15 Osvaldo Feinstein, Institucionalización de la evaluación en Iberoamérica: desafíos y oportunidades, En: XIII
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos
Aires, Argentina, 4-7 Noviembre 2008.
34 | De las recomendaciones a las acciones: la experiencia del Premio 2011
ciertos fenómenos o actividades, su monitoreo va a adquirir una relevancia
automática. “[E]n tanto los decisores estipulen que van a prestar atención
a la evolución de ciertas actividades, van a animar a los gestores a prestar
atención también.”16
En cuanto a la oferta, vemos que el sencillo acto de enviar información
para cumplir con los requisitos de la operación del programa, sin importar el
cuidado de la calidad del dato, impone un riesgo en el proceso de evaluación:
“(…) si los que proveen la información no ven la relevancia y no ven ningún
beneicio directo de participar en la recopilación de datos, poca motivación
van a tener para invertir esfuerzos en la recopilación y el registro.”17 Asimismo,
el rol de las instituciones del sector público, universidades, institutos, ONGs
y consultores, puede motivar a que la oferta de evaluaciones se ajuste a las
necesidades de evaluación de cada país en su propio contexto.
Otro argumento recurrente en la literatura es la articulación o
vinculación de los procesos de evaluación con los demás procesos de
las políticas públicas. Para que se utilice la evaluación se requiere, como
condición necesaria, la articulación de las acciones y los actores involucrados.
Algunos autores sugieren que la evaluación será más efectiva en la medida
en que abarque los tres niveles de la acción social- el macro, meso y micro- y
en tanto genere capacidad para establecer conexiones entre estos niveles. De
este modo, se garantiza que quienes toman decisiones a nivel macro puedan
utilizar información de los niveles inferiores y viceversa, creándose así una
mayor coherencia en los distintos niveles de la administración pública.18
El problema es que faltan los incentivos para utilizar la evaluación,
por lo tanto, a las variables anteriores habría que agregar el diseño
institucional. Para comprender el uso de las evaluaciones es fundamental
revisar las reglas del juego que plantean estímulos institucionales y que
“desde afuera” permean a los actores involucrados con la evaluación.
Consideremos que dentro de las organizaciones públicas hay siempre un
cálculo a cargo de los individuos que las integran:
“El compromiso de los actores burocráticos con los objetivos
organizativos depende del costo total de adaptar el
comportamiento ante un cambio de objetivos. Si tal cambio
requiere de un drástico reacomodo de sus comportamientos, esto
representa un costo psicológico o incluso económico demasiado
grande, que diiculta el proceso del cambio organizacional”.19
16 K. Marie Mokate, Convirtiendo el “monstruo” en aliado: la evaluación como herramienta de la gerencia social,
Instituto interamericano para el Desarrollo Social (INDES), 2000, p. 9.
17 Ibídem, p. 30.
18 Ospina, Op. Cit.
19 Anthony Downs, “Inside Bureaucracy”, Boston, Little, Brown and Co., 1967 p.87.
Programas Federales Comprometidos con el Proceso de Evaluación | 35
Entonces, para analizar la experiencia mexicana tomemos en cuenta
que de los diferentes usos que puede tener la evaluación, el que nos interesa
analizar es el “uso instrumental”, pues sólo al utilizar así los resultados de
la evaluación se puede cumplir con los tres objetivos principales: mejora
continua de los programas; rendición de cuentas; y ajustes en la asignación
presupuestal. Para ello es importante conocer cuál es el referente
institucional en el que se hace y se utiliza la evaluación en México.
Antecedentes de la evaluación en México
Las primeras evaluaciones a los programas federales en México se remontan
hacia inales de la década de 1970, a cargo de la Subsecretaría de Evaluación,20
dependiente de la entonces Secretaría de Programación y Presupuesto.21
Posteriormente, en la década de 1990 se realizaron algunas evaluaciones a
los proyectos del Programa Nacional de Solidaridad (PRONASOL), así como
las evaluaciones ex – ante y de impacto del Programa de Educación, Salud y
Alimentación (PROGRESA), hoy Oportunidades.22
Para 1999, con la inclusión de las Reglas de Operación (ROP) de
los programas federales, el Congreso de la Unión dio el mandato para
la evaluación de los programas sujetos a dichas reglas. Ello representó
alrededor de 25 a 30 por ciento del presupuesto federal, con la evaluación
de más de 100 programas para 2001.23 El presupuesto para evaluación
alcanzó cerca de 15 millones de dólares anuales, sin incluir las evaluaciones
de impacto.24
Otro antecedente del actual sistema de evaluación fue el denominado
“Acuerdo 2002”, establecido entre la Secretaría de Hacienda y Crédito
Público (SHCP) y la entonces Secretaría de la Contraloría y Desarrollo
20 Carola Conde Bonil, “Evaluación de programas sujetos a reglas de operación. ¿Un ejemplo de rendición
de cuentas horizontal?”, Documentos de Investigación, México, El Colegio Mexiquense, 2007.
21 Hacia la década de 1970, uno de los programas evaluados fue el Programa de Inversiones Públicas para
el Desarrollo Rural (PIDER), como uno de los primeros ejercicios para la reducción de la pobreza rural. Para
conocer más sobre las evaluaciones emanadas de la Secretaría de Programación y Presupuesto remítase al
trabajo de Myriam Cardozo Brum, La evaluación de políticas y programas públicos: el caso de los programas de
desarrollo social en México, México, Miguel Ángel Porrúa- Cámara de Diputados, 2006.
22 En efecto, uno de los programas sociales federales más evaluados es PROGRESA-OPORTUNIDADES.
Gracias a ello, México se posicionó como país pionero en el uso de metodologías robustas para evaluar el
desempeño de la política social en la región latinoamericana. Véase: Manuel F. Castro, et al, El Sistema de
Monitoreo y evaluación de México: Un salto del nivel sectorial al nacional, Independent Evaluation Group (IEG),
Serie de documentos de trabajo DCE, Núm. 20, Washington, D.C., Banco Mundial, 2009.
23 Gabriela Pérez Yarahuán, “Entrevista realizada a la ex directora adjunta de Evaluación en la sede del
Banco Mundial en Washington, D.C., Mesas redondas de expertos sobre herramientas de medición del
desempeño”, 3 de febrero de 2009, en Castro et al., Op. Cit.
24 Gonzalo Hernández Licona, “Sistema de Monitoreo y Evaluación en México”, presentación en el Banco
Mundial, Series sobre casos de estudio de Monitoreo y Evaluación en América Latina, Unidad de Pobreza y
Género, Banco Mundial, Junio de 2007.
36 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Administrativo (SECODAM), hoy Secretaría de la Función Pública (SFP).
Este acuerdo establecía las bases para elegir a instituciones académicas
u organismos especializados interesados en evaluar los resultados de los
programas gubernamentales sujetos a ROP para el ejercicio iscal 2002.25
Aunque para 2002 ya se había avanzado en la elaboración de diversas
evaluaciones, la obligatoriedad y la sistematización de la evaluación, al
menos la evaluación de los programas sociales federales, se derivó de la
aprobación de la Ley General de Desarrollo Social (LGDS). Esta ley establece
explícitamente la obligación de evaluar a los programas que reciben recursos
iscales y que están sujetos a ROP, de manera externa y sistemática. A
diferencia de los años previos, se determinó que: “los programas, fondos
y recursos destinados al desarrollo social son prioritarios y de interés
público, por lo cual serán objeto de seguimiento y evaluación de acuerdo
con esta Ley.”26
La aprobación en 2003 de la LGDS27 fue signiicativa para la nueva
comprensión de la evaluación dentro del ciclo de las políticas públicas en el
país, tanto por su orientación a resultados, como por la obligatoriedad de la
misma; así como por su carácter sistemático. A partir de estas nuevas reglas
del juego, se estandarizaron los requisitos de las evaluaciones y se modiicó
la normatividad de los propios programas.
El cambio institucional, ha sido paulatino. Tras la aprobación de la
LGDS, se detectó la divergencia de opiniones entre el Ejecutivo y el Legislativo
respecto de las responsabilidades y las atribuciones sobre la evaluación de
los programas sociales federales. A pesar de que la LGDS concentraba las
funciones de evaluación en el Consejo Nacional de Evaluación de la Política
de Desarrollo Social (CONEVAL),28 en el reglamento se debilitó el papel de
esta entidad y se le atribuyeron obligaciones concurrentes en materia de
evaluación con otras dependencias, concretamente con la SHCP y la SFP.
El inicio de las evaluaciones se aplazó hasta 2006 con la aprobación
de la Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH).
El sustento de esta Ley es la toma de decisiones presupuestarias con
información sobre el desempeño y el resultado de los programas, proceso
conocido como Presupuesto Basado en Resultados.
25 Conde, Op. Cit.
26 Diario Oicial de la Federación (DOF), Ley General de Desarrollo Social (LGDS), Capítulo III, Art. 18.
Publicada el 20 de enero de 2004.
27 La LGDS se publicó en el Diario Oicial de la Federación en enero de 2004.
28 “El Consejo es un organismo público descentralizado de la [APF] con personalidad jurídica, patrimonio
propio, autonomía técnica y de gestión, agrupado en el sector coordinado por la Secretaría de Desarrollo
Social (SEDESOL), y funge como principal instancia normativa en materia de evaluación”, “Decreto
de creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social”, Diario Oicial de la
Federación, 2005 (énfasis añadido).
Programas Federales Comprometidos con el Proceso de Evaluación | 37
Derivado de este instrumento, se creó el Sistema de Evaluación
del Desempeño (SED). Este sistema es liderado por la SHCP y fue creado
precisamente con el objetivo de utilizar los indicadores de desempeño y de
gestión en la planeación del presupuesto; busca articular los indicadores
que componen el Programa de Mejora de la Gestión (PMG), por una parte,
con las evaluaciones mandatadas en el decreto de creación del CONEVAL.
El primer ejercicio que se realizó con este nuevo marco normativo fue el
Presupuesto de Egresos de la Federación para el ejercicio iscal 2008.
En el SED, el CONEVAL comparte atribuciones con la SHCP, tanto en
la planeación de la Matriz de Marco Lógico (MML), como en la evaluación
de los programas. Dentro de esta estructura, se aspira a que la información
de las evaluaciones coordinadas por el CONEVAL se combine con los
resultados de gestión, responsabilidad de la SHCP y la SFP, y se integre en
un Sistema Comprehensivo de indicadores del Desempeño (por programa y
por dependencia) (igura 1).
Figura 1: Vertientes principales del sistema de
evaluación del desempeño mexicano
Presupuesto basado en Resultados
Sistemas de monitoreo y
evaluación por dependencias
Sistema integral de monitoreo y
evaluación basado en resultados
de los PF
Compromisos de mejor de la
gestión por dependencia
Sistema comprehensivo de indicadores del
desempeño por programa o dependencia
EVALUACIONES
Evaluación de programas
(CONEVAL-SHCP)
Evaluación de la gestión pública
(Coneval-SHCP)
Evaluación de programas
(Coneval-SHCP) Programa de mejora de la gestión
Sistema de Evaluación del Desempeño
Fuente: González y Serdán, 2008
38 | De las recomendaciones a las acciones: la experiencia del Premio 2011
A lo largo de esta trayectoria, el diseño institucional ha mostrado visos
de un sistema orientado hacia asegurar que exista la evaluación como rutina
en el quehacer gubernamental, en el que se han hecho explícitos los beneicios
de la evaluación. En este sentido, algunos expertos han destacado la labor
del CONEVAL29, principalmente en el área de evaluación de los programas
sociales, incluso como referencia para otros países latinoamericanos.
Eノ SキゲWモラ キミゲピデ┌Iキラミ;ノ SWノ ゲキゲデWマ; SW W┗;ノ┌;Iキルミ Wミ MY┝キIラ
Como vemos, la tarea de evaluar a los programas federales de manera
regular, estandarizada, y dentro de un sistema como el SED es reciente. Las
dos leyes de las que se desprende la evaluación son la LGDS y la LFPRH, con
la intención a que conluyan en el proceso presupuestario. El CONEVAL
tiene atribuciones para evaluar la Política de Desarrollo Social, mientras
que la SHCP y la SFP son responsables de la evaluación de programas
presupuestarios (indicadores de gestión y estratégicos).
Figura 2: Marco Institucional de la Evaluación en México
Ley General de
Desarrollo Social
(LDGS)
Ley de Presupuesto y
Responsabilidad
Hacendaria (LFPRH)
CONEVAL
SHCP
SFP
Evaluación de la
Política de Desarrollo
Social
Evaluación de programas
presupuestarios por
medio de indicadores
estraégicos y de gestión
Lineamientos
Generales de
Evaluación
Matriz de Indicadores
Tipos de evaluación
Seguimiento a
recomendaciones
Planeación de las
evaluaciones (PAE)
Presupuesto de
Egresos Federación
2007
Fuente: hania de la Garza, Evaluación de la Política y los Programas de
Desarrollo Social, Presentación realizada en el CIDE, Enero 2010.
Además de las dos leyes federales referidas, los principales dispositivos
normativos en los que se circunscribe la evaluación son: (1) Lineamientos Generales
para la Evaluación de los Programas Federales de la Administración Pública Federal
(Lineamientos de aquí en adelante), de los cuales se han derivado los (2) Programas
Anuales de Evaluación (PAE), así como el (3) Mecanismo de Seguimiento de los
Aspectos Susceptibles de Mejora 2008 (Mecanismo, de aquí en adelante).
29 Burdescu¸ et al., “Institucionalizar los sistemas de seguimiento y evaluación: cinco experiencias de
América Latina”, en Boletín del Banco Mundial, Núm. 78, Septiembre de 2005.
Programas Federales Comprometidos con el Proceso de Evaluación | 39
En cuanto a los Lineamientos, éstos incluyen previsiones para la
evaluación de los programas, en términos presupuestarios y de indicadores
estratégicos, así como especiicaciones en materia de la Política de Desarrollo
Social. La deinición de estos Lineamientos es responsabilidad compartida
de la SHCP, la SFP y del CONEVAL. Su objetivo es regular la evaluación de los
programas federales, la elaboración de la matriz de indicadores y los sistemas
de monitoreo, así como la elaboración de los objetivos estratégicos de las
dependencias y entidades. Un principio general de los Lineamientos es la
observancia obligatoria para todas las dependencias y entidades30 de la APF.31
Los Lineamientos establecen que los programas sujetos a ROP, y
en su caso, aquellos que determinen conjuntamente el CONEVAL, la SHCP
y la SFP, deberán ser evaluados. En el mismo documento se especiican los
siguientes tipos de evaluación:
Tabla 2: Tipo de evaluaciones de los programas federales en México
Tipos de evaluación Descripción
Evaluación de
Consistencia y
Resultados (ECR)
Da la posibilidad de tener un diagnóstico sobre la
capacidad institucional, organizacional y de gestión
de los programas para alcanzar resultados
Evaluación
de Diseño
Permite evaluar la consistencia y lógica
interna de los programas presupuestales
Evaluación
de impacto
Mide los efectos netos del programa
en la población que atiende
Evaluación de
procesos
Analiza mediante trabajo de campo si el programa
lleva a cabo sus procesos operativos de manera eicaz y
eiciente, y si contribuye al mejoramiento de su gestión
Evaluación
especíica del
desempeño (EED)
Es una síntesis de la información que las dependencias
integran en el Sistema de Evaluación del Desempeño
(SED) de la Secretaría de Hacienda y Crédito Público
Evaluación de
indicadores
Revisa mediante trabajo de campo la pertinencia
y el alcance de los indicadores de un programa
para el logro de sus resultados
Evaluaciones
complementarias
Son aquellas que los propios programas y dependencias realizan
para profundizar sobre aspectos relevantes de su desempeño
Evaluación estratégica Son una valoración de las políticas y estrategias de
desarrollo social, tomando en cuenta diversos programas
y acciones dirigidos a un objetivo común
Fuente: Elaboración propia con base en CONEVAL, sitio web oicial disponible
en: www.coneval.gob.mx Consultado el 02 de marzo de 2010
30 Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal,
Diario Oicial de la Federación, Art. I, 2007.
31 Ibídem., Art. II.
40 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Estos Lineamientos también deinen las reglas del juego para
la elaboración de la matriz de indicadores; para la contratación de los
evaluadores y el diseño de los términos de referencia (TR); así como para
la difusión de la evaluación. Sin embargo, las normas acerca del uso y
seguimiento de las evaluaciones son ambiguas. Por una parte todas las
dependencias y las entidades de la Administración Pública Federal (APF)
están obligadas a dar seguimiento a las evaluaciones y, por otro lado, las
normas establecen que únicamente aquéllas que requieran signar convenios
para el seguimiento de las evaluaciones deberán informarlo.
Derivado de los Lineamientos publicados en 2007, el CONEVAL,
la SHCP y la SFP delinearon los elementos centrales para la planeación
anual a través de los “Programas Anuales de Evaluación” (PAE). El primer
ejercicio se realizó en 2007, cada programa contiene información sobre
el tipo de evaluaciones que se realizarán durante cada año. Destaca la
Evaluación Especíica de Desempeño (EED) como la evaluación externa
anual obligatoria para todas las entidades y las dependencias de la APF.
Igualmente, en los PAE se incluyen los TR para cada tipo de evaluación a
realizar.
Dentro del PAE 2007 se estableció que a partir del PAE 2008 los
resultados de las evaluaciones se tomarían en cuenta en el proceso de
planeación y presupuestación.32 En contraste, en la práctica el presupuesto
basado en resultados es una asignatura pendiente y con muchos retos para
su consolidación.33
El resto de los PAE contiene disposiciones para el establecimiento
del calendario de ejecución de las evaluaciones de los programas federales
en operación, así como de los que vayan a comenzar su implementación;
la vinculación del calendario de las evaluaciones con el calendario de
actividades de programación y presupuestación de los siguientes ejercicios
iscales; la determinación sobre el tipo de evaluaciones a realizar por
programa; y la articulación de los resultados de las evaluaciones de los
programas federales en el marco del presupuesto basado en resultados.34
Esta última condición parece apuntar hacia el uso instrumental de la
evaluación, a pesar de ello, únicamente se enuncia como una consideración
general en el texto introductorio de los PAE y no se respalda con la deinición
concreta de los procedimientos a seguir para lograrla.
Hasta aquí podemos hacer dos relexiones: por una parte estos
programas anuales promueven la sistematización de la evaluación, en
tanto que todos los programas sujetos a ROP deben contar con la EED,
32 “Para los efectos del Programa Anual de Evaluación 2008, la Secretaría determinará los recursos y
previsiones necesarias, a in de incorporar sus resultados dentro del proceso presupuestario” Numeral 7
consideraciones generales, Programa Anual de Evaluación 2007.
33 González, Op. Cit.
34 Planes Anuales de Evaluación 2007, 2008, 2009 y 2010.
Programas Federales Comprometidos con el Proceso de Evaluación | 41
este es otro principio general del sistema de evaluación. Por otro lado, las
consideraciones sobre el uso de la evaluación, contenidas en los PAE, al
igual que en los Lineamientos son limitadas. Más bien las reglas se orientan
a detallar cómo hacer la evaluación y no a cómo utilizar sus resultados.
Además de la obligatoriedad y la sistematización de las evaluaciones,
la estandarización es otro eje del diseño institucional. Para ello, se adaptó
como instrumento transversal para la evaluación de los programas federales
la MIR con base en la metodología de marco lógico (MML).35 Esta matriz
debe elaborarse para cada programa sujeto a ROP y debe actualizarse e
incluirse dentro de dichas reglas; el objetivo es alinear el in, propósito,
componentes y actividades de cada programa al instrumento federal de
planeación, es decir, al Plan Nacional de Desarrollo Social.36 En efecto, las
Evaluaciones de Consistencia y Resultados (ECR) partieron de las MML
elaboradas por cada entidad y dependencia.
Algunos servidores públicos consideran que adoptar esta herramienta
implicó acoplar a los programas en una estructura de planeación para la
cual no fueron originalmente diseñados. Por ejemplo, en el caso de los
programas de la Comisión Nacional para el Desarrollo de los Pueblos
Indígenas (CDI), a excepción del PIBAI (Programa de Infraestructura Social
Básica para el Desarrollo de los Pueblos Indígenas) y el POPMI (Programa de
Opciones Productivas para Mujeres Indígenas), el resto de los programas se
diseñaron hace ya varias décadas, lo que representó un trabajo de alineación
forzada.37 A pesar de las diferentes opiniones al respecto, es indudable que
se ha avanzado en la estandarización. Hoy en día, las evaluaciones anuales
(EED) parten de la revisión de la MML y la MIR, de manera homogénea
para todos los programas federales evaluados.38
Adicionalmente, otro principio general del sistema de evaluación es
la difusión de los resultados. Contrario a lo que sucedía en años anteriores
a la creación del CONEVAL, a la fecha es posible identiicar un espacio
destinado a la publicación de las evaluaciones externas. Así los Lineamientos
35 Esta metodología se ha difundido por organismos internacionales como la Agencia de los Estados
Unidos para el Desarrollo Internacional (USAID) en la década de 1970 y, posteriormente, la Comisión
Económica para América Latina y el Caribe (CEPAL) la incorporó a través del Instituto Latinoamericano
de Planeación (ILPES). Regularmente el inanciamiento otorgado por estos organismos requiere de la
presentación de los proyectos a través de esta matriz. Los gobiernos de Chile y Perú lo utilizan como
mecanismos de planeación y evaluación de programas y proyectos públicos.
36 Este rasgo empata con la alineación programática de sistemas nacionales de evaluación como el
SINERGIA colombiano. Sonia Ospina, et al., y Ricardo Toledo explican que el rasgo principal del sistema
colombiano es la alineación de la evaluación a la planiicación de los programas del gobierno central con
claros propósitos políticos (political accountability). En este caso, la evaluación está diseñada para proveer
a los tomadores de decisiones y altos funcionarios con información sobre el desempeño organizacional y
sectorial, con la expectativa de que esta información se considere en los procesos de toma de decisiones y
planiicación. Véase: Ospina, et al. y Toledo, Op. Cit.
37 Opinión de funcionarios de la CDI. Comunicación personal establecida el 17 de mayo de 2010.
38 Otro ejemplo que sirve para ilustrar la estandarización es la elaboración de las ECR bajo los mismos
términos de referencia, lo mismo ocurre con las Evaluaciones de Diseño y las Especíicas de Desempeño.
42 | De las recomendaciones a las acciones: la experiencia del Premio 2011
determinan que después de diez días hábiles de haberse entregado la
información al CONEVAL, a la SHCP y a la SFP, las dependencias y entidades
deben dar a conocer de manera permanente en sus páginas de Internet – en
un lugar accesible y visible- los documentos y resultados de las evaluaciones
externas realizadas a sus programas.39
Este elemento ha sido uno de los principales cambios desde la
coniguración del sistema de evaluación y la entrada en vigor de la LGDS.
Como sugieren algunos funcionarios, previo a la labor del CONEVAL, las
evaluaciones se archivaban en un cajón, no necesariamente se leían y, si
alguien las requería, encontrarlas era todo un reto.40 De hecho, gracias a la
publicidad y difusión de las evaluaciones, hoy es posible hacer valoraciones
sobre la calidad metodológica de las mismas, revisar las recomendaciones
recurrentes a los programas federales, y que los propios operadores lean
cómo otras instancias valoran el desempeño de los programas a su cargo.
Sin duda este principio es una de las mayores aportaciones del sistema de
evaluación al quehacer de la APF.
En 2008, el CONEVAL, la SHCP y la SFP emitieron el Mecanismo
de Seguimiento de los Aspectos Susceptibles de Mejora. La preocupación
que dio origen a este instrumento fue el destino de la evaluación y
el mejoramiento de los programas con base en los hallazgos de las
evaluaciones.41 El Mecanismo es el último eslabón de la cadena de las reglas
del juego del sistema de evaluación.
Para explicarlo mejor, hasta ahí llega el diseño institucional de la
evaluación en México, más allá del Mecanismo no hay pautas que orienten u
obliguen a las unidades responsables de los programas a utilizar la evaluación
de cierto modo. Grosso modo el proceso de evaluación es el siguiente: (1) El
sistema de evaluación contempla Lineamientos y Programas Anuales de
Evaluación; (2) la elaboración de la Matriz de Indicadores de Resultados (o
metodología de Marco Lógico) es un insumo básico para las evaluaciones;
(3) con base en esta matriz, se realiza la evaluación de los programas;
(4) posteriormente se publican los resultados; y (5) las entidades y
dependencias se sujetan al Mecanismo. Al inalizar este proceso se da paso
a un espacio de discrecionalidad que, como se analiza más adelante, lleva a
distintos comportamientos entre dependencias y entidades.
39 “Lineamientos generales para la evaluación de programas federales de la APF”, Diario Oicial de la
Federación, Capítulo VII, Art. 26, 2007.
40 Opinión de ex-funcionarios del CONEVAL y SEP. Comunicación personal establecida el 19 y 21 de mayo
de 2010.
41 CONEVAL, Oicio Núm. 307-A-1981, Oicio Núm. VOZSE 273/08 y Oicio Núm.
SCAGP/200/821/2008. Sobre el mecanismo de seguimiento de los aspectos susceptibles de mejora.
Programas Federales Comprometidos con el Proceso de Evaluación | 43
Figura 3: El ciclo de la evaluación en México
Mecanismo de
seguimiento
Difusión de
resultados de la
evaluación en
los sitios web
institucionales
Evaluación
externa anual
obligatoria +
otras
evaluaciones
Elaboración
(Actualización)
de MIR por
dependencia
Lineamientos para
la evaluación y
publicación del
PAE
Fuente: Elaboración propia.
Con esta reseña vemos que en México se ha logrado la transición
de un esquema acotado de evaluación hacia un esquema en el que se
evalúa la totalidad de los programas de la APF: se ha conducido desde un
sistema sectorial hasta un sistema de alcance nacional.
42 El camino iniciado
se orienta también hacia la estandarización de la evaluación y a la inclusión
de estos ejercicios en un sistema que intenta impactar en las decisiones
presupuestarias, que como airman los especialistas, es una condición
necesaria para el éxito de los sistemas nacionales de evaluación.
Por otro lado, los actores involucrados han experimentado un proceso
de cambio que los ha inscrito en una nueva manera de hacer la evaluación. En los
primeros años del sistema se observa con éxito la difusión de las evaluaciones,
en parte gracias al desempeño del CONEVAL. Asimismo, al conformarse el
Consejo por especialistas investigadores y académicos, así como convocar
a organismos externos, se ha apostado por la profesionalización del sistema.
Ha sido muy importante que el CONEVAL dé la señal de ser un organismo
profesionalizado, transparente e imparcial. Por ejemplo, la integración de su
Comité Directivo conformado por seis investigadores académicos,43 que son
elegidos de manera externa por la Comisión Nacional de Desarrollo Social44, y
a través de convocatoria pública, sugiere el valor de la objetividad del Consejo.
De esta composición colegiada también se puede inferir la especialización y el
carácter técnico de las actividades de evaluación al interior del organismo.45
La obligatoriedad, la sistematización, la difusión, y el carácter externo
de las evaluaciones empatan con el uso conceptual planteado al inicio del
capítulo (fase de adopción). No obstante, queda aún por valorar la utilidad de
las evaluaciones en la planeación y la operación de los programas, es decir,
42 Castro et al., Op. Cit.
43 “Decreto de creación del Consejo Nacional de Evaluación de la Política Social”, Diario Oicial de la
Federación, Art. VII, 2005.
44 La Comisión Nacional de Desarrollo Social está integrada por los 32 titulares de las dependencias
responsables del desarrollo social de los gobiernos de las entidades federativas; por los presidentes de las
comisiones de Desarrollo Social de las Cámaras de Diputados y de Senadores; por un representante de
cada una de las asociaciones nacionales de autoridades municipales, y por los titulares de las secretarías de
Desarrollo Social; Educación Pública; Salud; Trabajo y Previsión Social; Agricultura, Ganadería, Desarrollo
Rural, Pesca y Alimentación, y Medio Ambiente y Recursos Naturales.
45 Además del Comité Directivo, el CONEVAL está a cargo de un secretario ejecutivo. Desde 2005
este cargo lo asume Gonzalo Hernández Licona. Las funciones en este cargo son coordinar, ejecutar y
supervisar los servicios técnicos y la administración de recursos con los que cuenta el CONEVAL.
44 | De las recomendaciones a las acciones: la experiencia del Premio 2011
saber si el uso también llega a la fase de implementación. Es en ese punto
donde, de modo general, el sistema de evaluación en México presenta una
serie de desventajas.
En primer lugar, el ajuste incremental que ha seguido la conformación
del sistema y la negociación de diferentes actores en torno a quién debe
realizar la evaluación, ha impuesto un obstáculo para el propio diseño
institucional. En segundo lugar, las atribuciones compartidas en materia de
regulación de la evaluación, el bajo nivel presupuestario y, en proporción,
el poco personal encargado de coordinar las funciones de evaluación del
Consejo le han dado un carácter de baja jerarquía institucional.46
Por su parte, las reglas para el uso instrumental no son explícitas.
Por ejemplo, en el caso de los Lineamientos hay inconsistencias que eximen
de la obligación para dar seguimiento y utilizar las evaluaciones, y pese a
la posterior emisión del Mecanismo 2008, el incentivo hacia modiicar los
programas en términos de planeación estratégica aún no está claro.
Los nuevos instrumentos normativos no se refuerzan con incentivos
que lleven a los responsables a comprender el beneicio del uso de los ejercicios
de evaluación en la modiicación de los programas, o por el contrario a realizar
un balance de los costos de no utilizar dichos ejercicios. La responsabilidad del
uso, así como sus implicaciones, no quedan explícitas en estos instrumentos.
Por otra parte, existen asimetrías de poder y capacidades entre los
mandantes de la evaluación (SHCP, SFP y CONEVAL), hecho que pone de
maniiesto la desarticulación en las atribuciones compartidas entre estas
instancias. Igualmente, la reacción de las unidades responsables (UR)
puede ser diferente según el mandante en cuestión, principalmente por las
diferentes atribuciones que los instrumentos normativos le otorgan a cada
entidad reguladora.
Si bien la evaluación externa es un avance, ello ha provocado las
resistencias de algunas UR de la operación de los programas, lo que puede
diicultar el uso de las evaluaciones. Por otro lado, las agencias evaluadoras
buscan asegurarse dentro de una nueva profesión y un nuevo mercado, así
pueden comportarse de manera estratégica para posicionarse dentro de la
nueva lógica del sistema de evaluación para volver a ser contratadas.
En cuanto a las unidades de evaluación (UE) dentro de las entidades
y dependencias, aunque éstas fungen como intermediarias, la evidencia
demuestra su empatía con las unidades que operan los programas.47
Igualmente, la conformación heterogénea de cada una de estas unidades
administrativas nos lleva a diferentes resultados sobre el uso de la evaluación.
46 Para 2010, el CONEVAL contó con un presupuesto de alrededor de 176 millones de pesos, que
representan 0.22 por ciento del gasto total del Ramo 20 Desarrollo Social (SHCP, PEF) y con una plantilla
de alrededor de 70 funcionarios que incluyen personal administrativo.
47 Esta información se extrae de las entrevistas realizadas a funcionarios de algunas entidades de la APF.
Hacia el inal del capítulo se describen más a detalle las opiniones de los entrevistados.
Programas Federales Comprometidos con el Proceso de Evaluación | 45
En resumen, vemos que inicialmente hubo un incentivo poderoso, es
decir, se logró que existieran entidades reguladoras y que éstas coordinaran
los procesos de evaluación. Pero, en una segunda fase, la preocupación
es saber si se utilizan y cómo se utilizan las recomendaciones de dichas
evaluaciones, en ese caso, es evidente que el diseño institucional del sistema
de evaluación en México resulta aún limitado para ese in.
El uso de la evaluación como instrumento de cambio
De 2006 a la fecha de publicación de este libro, se han realizado las
siguientes evaluaciones: evaluaciones externas a 85 programas federales
(2006-2007)48; evaluaciones de diseño para 13 programas nuevos (octubre
2007); 106 Evaluaciones de Consistencia y Resultados-ECR (2007-
2008); Evaluaciones Especíicas del Desempeño-EED a 131 programas
presupuestarios en 2008-2009; 127 en 2009-2010, y 133 programas en
2010-2011. Además de dos evaluaciones estratégicas: al Ramo 33 y la
Evaluación de Nutrición y Abasto; 14 evaluaciones de impacto,49 así como
la evaluación integral del desempeño de programas federales 2009-2010.
Del universo de evaluaciones realizadas, esta investigación se limitó
a las recomendaciones de la Evaluación de Consistencia y Resultados
(ECR) 2007-2008, publicadas en 2008, así como al cumplimiento de
los instrumentos de seguimiento correspondientes a este periodo de
evaluación. La razón para elegir este periodo es porque fueron las primeras
evaluaciones en el marco del sistema de evaluación conformado en el SED
y con la coordinación del CONEVAL, también porque el Mecanismo 2008
representa una fuente oicial de información sobre las reacciones a los
resultados de las evaluaciones a cargo de las unidades responsables (UR);
este ejercicio incluyó a un número considerable de programas sociales
federales (106), y, inalmente, el análisis es pertinente por el interés en el
uso instrumental de la evaluación.
Recordemos que este tipo de evaluaciones ofrece un diagnóstico
sobre la capacidad institucional, organizacional y de gestión de los
programas hacia resultados.50 Asimismo, según documentos oiciales, este
48 Estos ejercicios se realizaron previamente a la publicación de los Lineamientos Generales para la
Evaluación de los Programas Federales de la Administración Pública Federal (Marzo de 2007) y a la
metodología de Evaluaciones de Consistencia y Resultados.
49 Para conocer la lista de los programas que han sido objeto de evaluación de impacto en los años
1992, 2000, 2004-2007 consulte el siguiente link: http://www.coneval.gob.mx/cmsconeval/rw/pages/
evaluacion/evaluaciones/impacto_060910.es.do;jsessionid=e1a48043b850289ddd76d0562114a5c27c2c2
a3357af6cea7395a54d233ed603.e34QaN4LaxeOa40Nbx10
50 CONEVAL, “Informe de Seguimiento a los Aspectos Susceptibles de Mejora de Programas Federales
2008”, proceso de evaluación externa 2008 del Gobierno Federal. Disponible en: http://www.coneval.gob.
mx/contenido/eval_mon/2733.pdf Consultado el 02 de marzo de 2010.
46 | De las recomendaciones a las acciones: la experiencia del Premio 2011
tipo de evaluación “analiza sistemáticamente el diseño y desempeño global
de los programas federales, para mejorar su gestión y medir el logro de sus
resultados con base en la matriz de indicadores [MIR].”51
La aplicación del Mecanismo 2008 se circunscribió a las dependencias
y entidades de la APF responsables de operar programas federales que
realizaron ECR o Evaluaciones de Diseño, para el ejercicio iscal 2007, y
que en 2008 tuvieron presupuesto asignado. Los objetivos del Mecanismo
son: (1) establecer el procedimiento general para dar seguimiento a los
aspectos susceptibles de mejora de los resultados de las evaluaciones de
Consistencia y Resultados y de las Evaluaciones de Diseño 2007;52 (2)
deinir a los responsables de establecer los instrumentos de trabajo para
dar seguimiento a los aspectos susceptibles de mejora, así como para
la formalización de los mismos; y (3) deinir las fechas de entrega de los
documentos de seguimiento a los aspectos susceptibles de mejora.53
Para la implementación del Mecanismo, se establecieron cuatro
etapas: (1) Análisis y selección; (2) Clasiicación y priorización; (3)
Formulación de instrumentos; y (4) Difusión (igura 4).
Figura 4: Proceso del Mecanismo de los
Aspectos Susceptibles de Mejora
1. UE y UR, otras U
Análisis y selección de
los aspectos
susceptibles de mejora
2. UE y UR, otras U
Clasiicación y
priorización de los
aspectos susceptibles
de mejora
Rubros de Clasicación:
Especíicos
Institucionales
Interinstitucionales
Intergubernamentales
Criterios de selección:
Claridad
Relevancia
Justiicación
Factibilidad
Niveles de prioridad:
Alta
Media
Baja
3. UE y UR, otras U
Formulación de
instrumentos
susceptibles de mejora
4. Dependencias y
entidades
Difución de los
instrumentos
Plan de trabajo
Plan institucional
Posición institucional
Fuente: hania De la Garza, Op. Cit.
51 “Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública
Federal”, Diario Oicial de la Federación, 2007, Capítulo 1.
52 CONEVAL 2008, Op. Cit., p. 4.
53 Véase el apartado sobre el Mecanismo en el sitio oicial de CONEVAL. Disponible en: http://www.
coneval.gob.mx/coneval2/htmls/evaluacion_monitoreo/HomeEvalMonitoreo.jsp?categorias=EVAL_
MON,EVAL_MON-mecanismos Consultado el 23 de marzo de 2010.
Programas Federales Comprometidos con el Proceso de Evaluación | 47
Para el monitoreo del Mecanismo se diseñó un sistema informático en
línea “Sistema de Seguimiento de los Aspectos Susceptibles de Mejora” (SSAS)
en el cual las entidades y dependencias incorporaron su opinión fundamentada
con respecto a los hallazgos y las recomendaciones de las ECR. Este sistema
se dividió en 4 apartados: posición institucional; clasiicación; priorización, y
formulación de instrumentos (plan de trabajo y plan institucional).
ぅCルマラ ゲW ┌ピノキ┣;ヴラミ ノ;ゲ ヴWIラマWミS;IキラミWゲ SW ノ;ゲ
Evaluaciones de Consistencia y Resultados?
En el proceso del Mecanismo 2008, a excepción de la Secretaría de Economía,
la Secretaría de Medio Ambiente y Recursos Naturales (SEMARNAT) y el
Instituto Mexicano del Seguro Social (IMSS), la mayoría de las entidades
cumplieron con los requisitos en cuanto a la difusión de sus resultados.54 Por
su parte, según información oicial del CONEVAL, procedente de los hallazgos
de las ECR, en materia de planeación estratégica se registra que poco más de
la mitad (58%) de los programas utilizan los resultados de las evaluaciones
para mejorar su desempeño. Además, las unidades responsables reconocen
la importancia de utilizar los resultados de la evaluación, puesto que uno de
cada tres programas evaluados (32%), han clasiicado esta condición como
Aspecto Susceptible de Mejora (ASM) (tabla 3).55
Tabla 3: Hallazgos de las recomendaciones derivadas
de las ECR (Planeación estratégica)
ECR
Tema Subtemas Si No ASM
Orientación
a Resultados
Programas que utilizan los
resultados de las evaluaciones
para mejorar su desempeño
58% 42% 32%
Programas que tienen metas
pertinentes y plazos especíicos para
sus indicadores de desempeño
51% 49% 13%
Programas que tienen un número
suiciente de indicadores orientados a
resultados que relejen su propósito
49% 51% 13%
Planes que establecen claramente los
resultados que se buscan alcanzar
21% 79% 4%
Fuente: De la Garza, Op. Cit.
54 Más explícitamente estas dependencias cumplieron con la publicación de sus planes de trabajo, planes
institucionales y/o posiciones institucionales, en el sitio web oicial del CONEVAL.
55 hania De la Garza, Op. Cit.
48 | De las recomendaciones a las acciones: la experiencia del Premio 2011
En términos generales, se registra una alta tasa de cumplimiento
del Mecanismo, pues de los 106 programas sujetos a ECR, 93 dieron
seguimiento en tiempo y forma a los ASM. Proporcionalmente, las
dependencias o entidades más incumplidas fueron el Sistema Nacional para
el Desarrollo Integral de la Familia (SNDIF), la SEMARNAT y el Consejo
Nacional de Ciencia y Tecnología (CONACYT), mientras que el resto de las
dependencias y entidades cumplió en 100% con las obligaciones derivadas
del Mecanismo (tabla 4).
Tabla 4: Porcentaje de cumplimiento del Mecanismo
2008, por tipo de dependencia y entidad
DEPENDENCIA
O ENTIDAD
Programas

Sujetos
a ECR
Cumplimiento
ASM
% Incumplimiento
ASM
%
SALUD-DIF 1 0 0.00 1 100.00
SEMARNAT 14 5 35.71 9 64.29
CONACYT 4 2 50.00 2 50.00
SALUD 8 7 87.50 1 12.50
SAGARPA 11 11 100.00 0 0.00
SHCPAGROASEMEX
6 6 100.00 0 0.00
SEDESOL 16 16 100.00 0 0.00
SEP 26 26 100.00 0 0.00
IMSS 1 1 100.00 0 0.00
SE 6 6 100.00 0 0.00
SHCP-CDI 8 8 100.00 0 0.00
SRA 3 3 100.00 0 0.00
STPS 2 2 100.00 0 0.00
TOTAL 106 93 87.74 13 12.26
Fuente: Elaboración propia con base en la información presupuestal, consulta a funcionarios
del CONEVAL y veriicación de los sitios web institucionales de las dependencias.
En cuanto a los resultados generales publicados en el Informe de
Seguimiento del CONEVAL 2008, del total de los ASM, 73% fue emitido por tres
dependencias: la Secretaría de Educación Pública (SEP) (33%), la Secretaría de
Desarrollo Social (SEDESOL) (24%), y la SHCP (16%); mientras que la Secretaría
de Trabajo y Previsión Social (STPS), el IMSS y la Secretaría de Agricultura,
Desarrollo Rural, Pesca y Alimentación (SAGARPA) son las dependencias que
Programas Federales Comprometidos con el Proceso de Evaluación | 49
identiican menos ASM. En la gráica 1 se presenta el número de ASM por
dependencia coordinadora. Este porcentaje no signiica que las dependencias
coordinadoras que registran un mayor número de ASM tengan un mejor
desempeño, puesto que el número de programas evaluados varía entre cada una
de estas dependencias, sólo demuestra la distribución de los resultados.
Gヴ=gI; ヱぎ Número de Aspectos Susceptibles de
Mejora por dependencia coordinadora
0
50
100
150
200
250
300
350
SEP
SEDESOL
SCHP
SALUD
SE
SEMARNAT
SRA
CONCAYT
STPS
IMSS
SAGARPA
68
303
229
149
64 36 35
14 14 11 7
Fuente: CONEVAL, Informe de Seguimiento 2008.
Según el nivel de priorización de los ASM, la mayoría de estos
aspectos se clasiican como de alta prioridad, 66%, seguidos de 29% con
priorización media y 5% con baja prioridad (gráica 2).
Gヴ=gI; ヲぎ Porcentaje de Aspectos Susceptibles
de Mejora según nivel de prioridad
5%
29%
66%
ALTA
MEDIA
BAJA
Fuente: CONEVAL 2008, Informe de Seguimiento y Sistema de
seguimiento a Aspectos Susceptibles de Mejora (SSAS).
50 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Estos datos pueden tener distintas lecturas, por una parte puede
signiicar que las UR perciben un diseño inadecuado de sus programas, por
lo que las recomendaciones derivadas de la evaluación son prioritarias. Por
otra parte, puede representar que las UR reconocen las recomendaciones
como una actividad sustantiva dentro de la operación del programa o
también que las recomendaciones están orientadas a modiicar actividades
que son relevantes para el funcionamiento del programa, sin especiicar si
habrá cambios o no. Por ello, no se puede establecer a-priori una conclusión
sobre estas cifras.
Al ver los resultados por tipo de actor, llama la atención que 70%
de los ASM se consideraron especíicos, es decir que las UR perciben que la
solución se circunscribe a su propio ámbito de acción y depende únicamente
de ellas. Los ASM institucionales representaron 22%, esto es que su
atención está sujeta a diferentes unidades administrativas o áreas dentro
de una misma entidad o dependencia que opera el programa; sólo 5% se
clasiicaron como ASM intergubernamentales, lo que signiica que deben
involucrarse otros órdenes de gobierno, y, inalmente, 3% se perciben como
interinstitucionales, esto es que otras dependencias o entidades de la APF
deben estar involucradas para darles solución.
Gヴ=gI; ンぎ Porcentaje de Aspectos Susceptibles de Mejora
por clasiicación según actor responsable ESPECÍFICOS INSTITUCIONALES INTERGUBERNAMENTALES INTERINSTITUCIONALES
0
17.5
35
52.5
70
Fuente: CONEVAL 2008, Informe de Seguimiento y Sistema de
seguimiento a Aspectos Susceptibles de Mejora (SSAS).
Programas Federales Comprometidos con el Proceso de Evaluación | 51
Sin embargo, esta priorización resulta compleja cuando vemos
el nivel de prioridad según los actores encargados de atender la
recomendación. Así, la mayor parte de los aspectos intergubernamentales
(95%) es de alta prioridad, lo que supone un reto de mayor envergadura, ya
que las UR de los programas tienen la percepción de que para hacer cambios
y mejoras prioritarias se debe recurrir a la cooperación y coordinación entre
diferentes niveles de gobierno (gráica 4). Por su parte, cerca de 60% de los
ASM con carácter especíico, es decir que permanecen dentro del control de
las unidades de los programas, es de alta prioridad, y únicamente 10% de
este tipo de aspectos es considerado de baja prioridad.
Gヴ=gI; ヴぎ Hallazgos del seguimiento a las recomendaciones
de las ECR (por tipo de prioridad)
Especíicos
Institucionales
Interinstitucionales
Intergubernamentales
0% 25% 50% 75% 100%
ALTA MEDIA BAJA
Fuente: CONEVAL 2008, Informe de Seguimiento y Sistema de
seguimiento a Aspectos Susceptibles de Mejora (SSAS).
Como deinen las reglas del Mecanismo, cuando algún aspecto es
de carácter intergubernamental y/o interinstitucional, el CONEVAL en
conjunto con la SHCP y la SFP, es el responsable de intervenir y deinir cómo
solucionar dichos aspectos, para lo cual emite el Informe de Seguimiento
a los Aspectos Susceptibles de Mejora. El 30 de enero de 2009 se remitió
el Informe a la Comisión Nacional de Desarrollo Social y a la Comisión
Intersecretarial de Desarrollo Social, con el in de que dichas instancias
analizaran los aspectos intergubernamentales e intersecretariales,
respectivamente, y se propusieran cursos de acción para atender las
problemáticas identiicadas.56
56 Algunos aspectos que incluye el informe son: promover mecanismos para la identiicación de la
población potencial y de la población objetivo de los programas federales; promover sinergias entre
instituciones y dependencias para potenciar los beneicios otorgados por los programas federales; contar
con evaluaciones externas rigurosas y sistemáticas para las políticas y programas de desarrollo social de
estados y municipios; y mejorar la cobertura del conjunto de las acciones de la política social para acercarse
al cumplimiento de los derechos sociales de la población. Para conocer más sobre este tipo de aspectos
remítase al Informe, disponible en: http://www.coneval.gob.mx/contenido/eval_mon/2733.pdf
52 | De las recomendaciones a las acciones: la experiencia del Premio 2011
A la fecha en que se publica este libro, se desconoce el estatus
de los avances en los ASM clasiicados como interinstitucionales e
intergubernamentales en 2008, lo que pone en evidencia la “falta de
reciprocidad del Consejo, la SHCP y la SFP para con las dependencias y
entidades.”57 Si bien en los informes subsecuentes del Mecanismo 2009 y
2010 se hace alusión a estos ASM, no queda claro qué tipo de acciones se
implementarán para su mejora, únicamente se listan para identiicarlos.
Además, la información que el CONEVAL publicó en el Informe de
Seguimiento contrasta, en algunos casos, con los documentos de trabajo
publicados por cada dependencia o entidad. Por ejemplo, en el caso del
Sistema de Protección Social en Salud- Programa de Seguro Popular existe
cumplimiento en el Mecanismo ASM, según el sitio web del programa, pero
en el Informe del CONEVAL no se registra. De igual forma, en el caso de
la SEMARNAT, la mayoría de los programas evaluados por ECR – 9 de 14
programas- no aparecen en el registro que hace CONEVAL, sin embargo al
revisar el sitio electrónico de la dependencia todos los programas presentan
documentos de trabajo. A pesar de estas inconsistencias, en términos
generales se registra una alta tasa de cumplimiento del Mecanismo 2008.
Debemos tener en cuenta que se han hecho algunas modiicaciones
en la dinámica de seguimiento de las evaluaciones y en el propio Mecanismo.
Por restricciones de espacio no es posible realizar un análisis exhaustivo
sobre cómo las UR han reportado y clasiicado sus ASM para los ejercicios
de evaluación subsecuente (2009-2010 y 2010-2011), pero vale la pena
destacar algunos ajustes.
En primer lugar, se observa una tendencia similar en cuanto a los
ASM que reportan las UR. Para 2009 el CONEVAL informó lo siguiente:58
1. En el Mecanismo 2008, según el informe del CONEVAL,
participaron 91 programas de la APF; durante 2009 el número
ascendió a 150. Aunque ya vimos que el número real del
programas en 2008 fue de 106, aún así la cifra de programas
objeto del Mecanismo aumentó considerablemente.
2. El número de ASM incorporados en el Mecanismo 2008
disminuyó en 7% para 2009; la cifra pasó de 930 aspectos a 871.
3. En cuanto a la clasiicación de los ASM, en ambos años la
mayor parte de éstos se ubicaron dentro de la categoría
de aspectos especíicos (70% en 2008 y 83% en 2009); sin
57 Esta información se extrajo de la conversación con un funcionario de la SEP. Comunicación establecida
el 21 de mayo de 2010.
58 CONEVAL, “Informe de Seguimiento a los Aspectos Susceptibles de Mejora”, 2009. Disponible
en: http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/principales_recomendaciones_
eval_2009_2010/index.es.do Consulta realizada el 22 de septiembre de 2011.
Programas Federales Comprometidos con el Proceso de Evaluación | 53
embargo, se observó una disminución en el porcentaje de
aspectos intergubernamentales e interinstitucionales respecto
del año anterior: mientras en 2008 representaban 5% y 3%,
respectivamente, en el 2009 la cifras descendieron a 3% y 2%.
4. En cuanto al nivel de prioridad, en ambos años más de la mitad
de los ASM fueron clasiicados como de alta prioridad (66% en
2008 y 58% en 2009).
5. Acerca de los aspectos interinstitucionales e
intergubernamentales, en ambos años se identiicaron temas
coincidentes, como la necesidad de mejorar la coordinación entre
instituciones y órdenes de gobierno, así como la promoción de
sinergias para lograr mayores resultados en los programas
sociales.
Según los datos del Informe de Seguimiento del Mecanismo en
2010, el total de ASM fue de 413 relacionados con el seguimiento de 103
programas. Esto signiica que mientras el número de programas se ha
mantenido constante, los ASM han disminuido signiicativamente. En
relación con la categorización de estos ASM según los actores responsables
de darles seguimiento, se registraron 370 aspectos especíicos (90%); 17
aspectos institucionales (4%); 16 aspectos interinstitucionales (4%); así
como 10 aspectos intergubernamentales (2%), cuya solución demanda
la intervención de gobiernos estatales o municipales. Se observa que ha
aumentado el porcentaje de aspectos especíicos en el tiempo y ha habido
una leve disminución en la clasiicación de los aspectos interinstitucionales
e intergubernamentales.
La clasiicación de los ASM según su nivel de prioridad también
registró un menor porcentaje para los aspectos de alta prioridad en 55%
(en comparación con 66% en 2008 y 58% en 2009), así como un incremento
para las dos clasiicaciones restantes, 32% de media prioridad y 13% de
baja prioridad. Como se explicó en párrafos anteriores, es difícil hacer una
lectura precisa de estas cifras, lo que sí permiten discernir es que hacer
mejoras a la operación y el diseño de los programas no parece ser una
prioridad.
En el Mecanismo 2010 se registra además la inclusión del porcentaje
de avance en las acciones de mejora derivadas de las Evaluaciones Especíicas
de Desempeño 2008-2009, así como de Mecanismos anteriores. Alrededor
de 45% de los programas reportaron acciones con un avance entre 80 y
100%, correspondientes a las EED 2008-2009.
Esta distribución es similar para el reporte de avance de acciones de
mejora correspondientes a mecanismos anteriores. Según la información
contenida en el SSAS reportada por las dependencias y entidades de la APF
54 | De las recomendaciones a las acciones: la experiencia del Premio 2011
hasta marzo de 2011, la mayoría de las acciones reportadas registran un
avance entre 80 y 100%. Esto signiica que, paulatinamente, las entidades y
dependencias están reportando más acciones completadas.
En el caso de los aspectos especíicos, aquellos responsabilidad de
las UR dentro de cada entidad y dependencia, se identiica que “la mayor
parte de las acciones emprendidas se encuentran en proceso de realización
(…) destaca el caso de la CDI, la cual muestra que las acciones terminadas
representan alrededor de 50% de aquellas que se encuentran en proceso
de realización.”59 Las acciones concluidas se reieren principalmente a los
avances en la MIR tales como revisión de indicadores, así como la alineación
con las ROP, entre otras. Se subrayan los programas de la CDI, la SEMARNAT
y la SEDESOL.
Otro ajuste se reiere a la publicación especíica de los aspectos
institucionales, terminados y en proceso. Sólo la SAGARPA registra ASM
“terminados”, mientras que el resto de las entidades participantes registra
todas sus acciones de mejora “en proceso”. Esta distribución se entiende
debido a que los aspectos institucionales requieren de la participación de
varias áreas de una entidad y/o dependencia para mejorarlos.
El reporte 2010 incluye un apartado especial de los ASM
interinstitucionales e intergubernamentales que profundiza las
recomendaciones para su atención. Asimismo, clasiica la temática de los
ASM según la fase del programa: cobertura, diseño, operación, resultados,
o planeación. Por último, especiica cuál es el impacto de los ASM; en la
opinión de las UR: 36% de los ASM adiciona, 22% corrige, 18% modiica,
22% reorienta y 2% suspende totalmente los programas.
Es una buena noticia contar con estas modiicaciones en el reporte de
los ejercicios de seguimiento, sin embargo, hay tres elementos a considerar.
En primer lugar, las reglas no han cambiado de manera sustancial,
efectivamente se observan más esfuerzos del CONEVAL por caracterizar
y sistematizar el tipo de ASM que las entidades y dependencias reportan;
así como la difusión de las acciones de mejora concluidas y un listado más
detallado de los aspectos interinstitucionales e intergubernamentales que
son responsabilidad de la Comisión Intersecretarial de Desarrollo Social y
de la Comisión Nacional de Desarrollo Social. En contraste, podemos inferir
que las implicaciones para el uso de la evaluación se mantienen igual para
los tres ejercicios de seguimiento, aunque hoy existe un mayor análisis de
las acciones reportadas, las entidades y dependencias se mantienen sujetas
a las mismas reglas. Tampoco hay un plan o programa de cómo atender los
ASM interinstitucionales e intergubernamentales.
59 CONEVAL, “Informe de Seguimiento a los Aspectos Susceptibles de Mejora”, 2010. Disponible
en: http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/seguimiento_recomendaciones/
ASM_2010_2011.es.do Consulta realizada el 24 de septiembre de 2011.
Programas Federales Comprometidos con el Proceso de Evaluación | 55
En segundo lugar, la evidencia plasmada en el último Informe de
Seguimiento 2010 detecta un bajo nivel de cumplimiento de la totalidad
de los ASM y sólo la CDI muestra un porcentaje de acciones terminadas
para sus aspectos especíicos, alrededor de 20%, y en el caso de los aspectos
institucionales, ni siquiera la SEMARNAT, que es la dependencia que
reporta acciones terminadas, rebasa esta cifra. Si bien en el informe se
reportan algunos ejemplos de programas que han modiicado su diseño,
sus procesos de planeación estratégica, o alguna otra fase de su programa,
la generalidad se mantiene en un bajo porcentaje de acciones concluidas y
es difícil vincular estas acciones con el porcentaje de avance reportado.
En tercer lugar, aunque parecería que este instrumento se diseñó con
el in de resarcir la ausencia de reglas en torno al uso de las evaluaciones, la
percepción de algunos funcionarios del CONEVAL y de otras dependencias
es que el Mecanismo no se creó para iscalizar, ni para obligar, sino para
inducir hacia el uso de la evaluación.60
En este punto es interesante destacar la percepción que tienen
algunos actores de la APF sobre la importancia que el propio CONEVAL
ha dado al tema del seguimiento. Así, en opinión de un funcionario de la
CDI, el Consejo dejó abierta la opción para sujetarse a este convenio de
compromisos, del cual no se aclaró si era o no obligatorio.61 En la misma
línea, funcionarios de la SEMARNAT reieren que el propio Secretario
Ejecutivo del Consejo tras las primeras evaluaciones y, al presentar los
resultados de las mismas, les exhortó a un ejercicio de relexión sobre qué
se podía rescatar y qué aspectos de los programas a su cargo se podían
mejorar.62
Los datos sobre el cumplimiento de las obligaciones derivadas del
Mecanismo 2008 demuestran que casi todas las entidades o dependencias
(93%) han generado sus documentos, planes de trabajo y posiciones
institucionales en tiempo y forma. Los datos de 2009 y 2010 refuerzan
esta tendencia. En contraste, no se han hecho observaciones para las
unidades responsables de dependencias y entidades, que operando
programas sujetos a las ECR y con presupuesto 2008, no publicaron
sus documentos de trabajo, planes y posiciones institucionales. Ello
principalmente porque el Mecanismo no prevé reglas a este respecto y
porque, tal como advierten los funcionarios entrevistados, el rol del
CONEVAL no implica iscalizar.
60 Esto se extrae de las opiniones de funcionarios y ex funcionarios de algunas dependencias como CDI,
CONEVAL, SEP, SHCP y SEMARNAT. Comunicación personal establecida el 17, 18, 21, 26 y 28 de mayo de
2010, respectivamente.
61 Entrevista a funcionarios de la CDI. Comunicación establecida el 17 de mayo de 2010.
62 Entrevista a funcionarios de la SEMARNAT. Comunicación establecida el 28 de mayo de 2010.
56 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Frente a esta evidencia es pertinente preguntarse entonces ¿cómo el
Mecanismo favorece el uso de la evaluación? La respuesta no se muestra tan
clara, si bien el Mecanismo releja una preocupación que podría derivar en
el uso instrumental de las recomendaciones, parece que el camino que sigue
es un círculo burocrático en el que se hacen esfuerzos para veriicar que las
entidades y dependencias redacten sus planes y posiciones institucionales
y las difundan, más no que se utilice la evaluación para la mejora de los
programas, incluso podría considerarse como un ejercicio de simulación, de
cumplir por cumplir.
Las reglas emanadas del Mecanismo orientan a los responsables a
hacer un ejercicio de réplica hacia las recomendaciones de la evaluación.
Tal como lo explica un ex funcionario del CONEVAL el “Mecanismo le
dio voz a los programas,”63 pero ¿cómo se transita de la publicación de
documentos (plan de trabajo, posición institucional, etc.) hacia el uso
instrumental? Ciertamente, no se puede generalizar sobre el tipo de
uso posterior a la publicación de estos documentos, para veriicar el uso
instrumental, tendríamos que hacer un estudio de caso por cada programa
evaluado.
Con esta evidencia observamos que el diseño institucional del
sistema de evaluación en México modiica el comportamiento individual
en términos de uso en la fase de adopción. La lógica institucional que
mueve a las UR a cumplir con estas reglas es similar al que los indujo
en una primera fase a realizar, y dejar que se realizaran, las primeras
evaluaciones. Sin embargo, a simple vista es difícil asegurar que la sola
existencia de este Mecanismo conduce al uso en la fase de implementación;
es decir que lleve a utilizar la información de las recomendaciones
para realizar cambios en la planeación estratégica y el rediseño de los
programas. Además, después del Mecanismo ya no existen reglas, éste es
el último eslabón institucional.
En resumen, si más allá del cumplimiento del Mecanismo no hay un
agente que veriique que se están haciendo ajustes a los programas sociales
con base en las recomendaciones de los evaluadores o si el cumplimiento
implica aumentar los costos en la operación de los programas, o incluso si
no se aclara quiénes son los responsables de hacer las modiicaciones de
los programas, la tendencia esperada será el cumplimiento de lo que sí está
claramente normado.
¿Qué otros factores favorecen el uso de la evaluación?
63 Comunicación establecida el 21 de mayo de 2010.
Programas Federales Comprometidos con el Proceso de Evaluación | 57
La última parte de este capítulo presenta brevemente otros factores
que motivan al uso instrumental de la evaluación, más allá del diseño
institucional del sistema de evaluación. El ejercicio sirve para conocer
con más detalle cómo usan las recomendaciones aquellas entidades y
dependencias que sí cumplieron con las obligaciones del Mecanismo 2008
y qué hay detrás del incumplimiento de las que no remitieron a tiempo sus
instrumentos institucionales al CONEVAL. Este apartado sirve también
como preámbulo para entender qué ha llevado a las UR ganadoras del
“Premio 2011” a utilizar las evaluaciones para modiicar la operación, el
diseño, la planeación, o los instrumentos de sus programas.
Para conocer algunos comportamientos y percepciones de los
actores implicados en los procesos de evaluación, se realizaron entrevistas
a funcionarios de las siguientes entidades y dependencias: la Comisión
Nacional para el Desarrollo de los Pueblos Indígenas; la Secretaría de
Educación Pública y la Secretaría de Medio Ambiente y Recursos Naturales.
La selección de estas dependencias se basó en el análisis de los resultados
del Mecanismo 2008. El objetivo fue recuperar información de casos con
pleno cumplimiento como la CDI y la SEP, en contraposición con casos de
alto incumplimiento, como fue el caso de la SEMARNAT.
La información que se presenta a continuación es un resumen de
los hallazgos derivados de las entrevistas realizadas. Cabe advertir que no
representa información signiicativa que se pueda generalizar, ni siquiera a
todas las áreas de las dependencias en cuestión, menos aún a toda la APF.
Simplemente, es una exploración de las opiniones de algunos funcionarios
en torno al uso de las evaluaciones.
Las entrevistas realizadas comprueban que además de las reglas
formales (LGDS, LFPRH, Lineamientos, PAE, Mecanismo de Seguimiento)
y los incentivos planteados por el diseño institucional, hay otros factores
que llevan al uso de las evaluaciones en la fase de implementación, es decir
a ajustar los programas sociales federales con base en las recomendaciones
de la evaluación. A este respecto es posible destacar otros factores que
favorecen el uso de la evaluación:
(1) Liderazgo, pues aunque todas las entidades y dependencias
debieron cumplir con la generación de planes y posiciones
institucionales, en el caso de la CDI la conciencia sobre la
importancia y la utilidad de la evaluación signiicó un factor
muy importante, ya que esta visión permeó desde de la Junta de
Gobierno hacia el resto de las áreas de la Comisión.
(2)Calidad de la evaluación, como explican los entrevistados importa
mucho el tipo de información que las UR reciben por parte de los
evaluadores. El seguimiento de las recomendaciones depende de
si los resultados relejan la información proporcionada por las
áreas responsables, si se apega a la realidad de los programas, y,
58 | De las recomendaciones a las acciones: la experiencia del Premio 2011
sobre todo, si las UR consideran que la evaluación es un trabajo
profesional. En el caso de la SEMARNAT la deiciencia de las
evaluaciones inhibió su utilización.
(3) Claridad en las reglas, este factor sí tiene que ver con el diseño
institucional. El caso de SEMARNAT comprueba que fue la falta
de claridad, el cambio de enfoque sobre las reglas y la ausencia
de obligatoriedad lo que dejó abierta la posibilidad para el
incumplimiento de la Comisión Nacional del Agua (CONAGUA),
que no reportó sus ASM a tiempo.
(4)Relaciones entre instancias administrativas, parte de la complejidad
para incorporar los resultados de la evaluación tiene que ver con
la dinámica organizacional al interior de la dependencia. Más
concretamente la relación entre las UE y las UR o UPP (Unidades
de programación y presupuesto). El caso de la SEMARNAT
nuevamente pone de maniiesto la descoordinación como
factor que llevó al incumplimiento. Por su parte, el caso de la
SEP demuestra que aunque se cumplió en tiempo y forma con
el Mecanismo 2008, la posición de las UR ha sido muy crítica y
reactiva a las evaluaciones, condición que ha dejado al margen a
la UE.
(5)Tiempos de cumplimiento, este factor también se atribuye al
diseño institucional. Es difícil vislumbrar las diferentes cargas
de trabajo entre cada dependencia o entidad, no obstante el
hecho de cumplir con los tiempos establecidos lleva a círculos
burocráticos que disminuyen las ventajas de la evaluación. En
general el tiempo de reacción a las evaluaciones se sujeta a los
calendarios de los PAE y los Lineamientos, lo que implica hacer
evaluación y seguimiento en un solo ciclo presupuestal. Esta es
una de las quejas recurrentes sobre los procesos de evaluación.
CラミゲキSWヴ;IキラミWゲ gミ;ノWゲ
La evaluación importa porque permite: (1) valorar la efectividad y eiciencia
de las políticas y, con ese diagnóstico, motivar la mejora continua de los
programas; (2) fortalecer los procesos de rendición de cuentas a través del
monitoreo sobre el desempeño del gobierno; y (3) medir el impacto de la
asignación presupuestaria de los programas públicos. La conformación
del sistema de evaluación y el inicio de las evaluaciones a los programas
federales en México coinciden con la tendencia internacional hacia valorar
estos beneicios de la evaluación.
De esta manera, se ha consolidado un sistema en el que existen
instrumentos y ejercicios sistematizados de evaluación. Ello representa un
gran avance, pues anteriormente las evaluaciones, en especial las evaluaciones
Programas Federales Comprometidos con el Proceso de Evaluación | 59
realizadas a los programas sociales federales, se realizaban de manera aislada
y esporádica. A lo largo del capítulo se destacaron los principios generales que
rigen al sistema de evaluación y que permiten su funcionalidad. Entre estos
elementos está el alcance de la evaluación a toda la Administración Pública
Federal; la existencia y difusión de las evaluaciones; la naturaleza externa
de las mismas; la profesionalización del sistema al convocar a especialistas
investigadores y académicos, así como a evaluadores externos; y, inalmente,
el carácter obligatorio de las reglas del juego para realizar la evaluación.
Pero también se observó que el beneicio de la evaluación y el alcance
de los tres objetivos planteados dependen de si la evaluación se utiliza
como un verdadero instrumento de cambio. En ese sentido, y gracias al
recorrido sobre la conformación del sistema de evaluación en México, es
posible airmar que las nuevas reglas se orientaron a lograr que se evaluara
la mayor parte de los programas federales, más no necesariamente a que los
operadores de éstos utilicen los resultados de la evaluación.
Algunos de los obstáculos son: que el CONEVAL tiene atribuciones
compartidas con la SHCP y la SFP que disminuyen su fuerza legal; que el
presupuesto con el que opera el Consejo es bajo en proporción con el resto
de las entidades reguladoras; y a que tiene poco personal encargado de
coordinar las funciones que se le asignaron. Estos elementos denotan una
baja jerarquía institucional. A esto se suman las escasas atribuciones para
sancionar el incumplimiento de las dependencias y entidades de la APF.
Además de los problemas en la conformación del CONEVAL,
las reglas para el uso de la evaluación no están explícitas en los
instrumentos normativos. Por ejemplo, en el caso de los Lineamientos hay
inconsistencias que eximen de la obligación para dar seguimiento y utilizar
las evaluaciones, y pese a la emisión del Mecanismo, el incentivo hacia
modiicar los programas en términos de planeación estratégica aún no
está claro. La manera en que está diseñado el marco institucional no lleva
necesariamente a las Unidades Responsables a observar el beneicio del uso
de los resultados de evaluación, o por el contrario a realizar un balance de
los costos de no utilizar las recomendaciones para la operación, planeación
estratégica o diseño de los programas.
Durante la investigación se constató que hay una alta tasa de
cumplimiento del Mecanismo de Seguimiento a los Aspectos Susceptibles
de Mejora, 2008. Sin embargo, el alcance del Mecanismo está muy acotado
y se resume en el “control de lectura” de los actores implicados, así como
una “réplica” a los ejercicios de evaluación. El seguimiento lleva a un
círculo burocrático en el que hay esfuerzos por veriicar que las entidades
y dependencias elaboren su plan y posición institucional y los difundan,
más no que se utilicen. De manera general, es difícil asegurar que la sola
existencia de este Mecanismo conduzca a que las Unidades Responsables
utilicen la información de las recomendaciones para realizar cambios en la
planeación estratégica y el rediseño de sus programas.
60 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Asimismo, al entrevistar a los funcionarios de la CDI, la SEP y la
SEMARNAT se encontró que hay elementos del diseño institucional que
limitan el uso instrumental de las recomendaciones. Los elementos que
llevaron al incumplimiento del Mecanismo fueron: la poca claridad de las
reglas, la escasa obligatoriedad, la ambigüedad en las responsabilidades
de las dependencias, principalmente en términos de concentración de
información, y los tiempos establecidos.
Pese a que las reglas para el seguimiento no son del todo claras, sí
hay entidades y/o dependencias que utilizan las recomendaciones de las
evaluaciones para modiicar sus programas. Algunos factores que podrían
explicar el uso instrumental (fase de implementación) son: el liderazgo,
y la sensibilidad implícita en los beneicios de la evaluación -el caso de la
CDI demuestra que la Junta de Gobierno impulsó la evaluación y su uso
pero esta visión incluso permeó al resto de la dependencia-, la calidad
metodológica de las evaluaciones; el seguimiento de las recomendaciones
depende si los resultados relejan la información proporcionada por las
áreas responsables, si se apega a la realidad de los programas, y, sobre todo,
si los depositarios consideran que la evaluación es un trabajo profesional, y
inalmente las relaciones organizacionales al interior de las dependencias,
pues parte de la complejidad para incorporar los resultados de la evaluación
tiene que ver con las relaciones entre los implicados.
Hoy podemos describir al sistema de evaluación mexicano como un
sistema que muestra indicios de funcionalidad pero que no necesariamente
cierra el ciclo de las políticas públicas. Es necesario apostar a la crítica
objetiva utilizando la evaluación y ajustar lo necesario para que los
programas sociales federales realmente impacten en la calidad de vida de la
población. Paralelamente, será importante seguir desarrollando evidencia
en torno al uso de la evaluación como instrumento de cambio en los
programas gubernamentales en México.
BキHノキラェヴ;i;
Burdescu et al, “Institucionalizar los sistemas de seguimiento y evaluación:
cinco experiencias de América Latina”, Breve Boletín del Banco Mundial,
Núm. 78, septiembre 2005.
Caiden G. y Caiden N., “Enfoques y lineamientos para el seguimiento, la
evaluación y el desempeño en programas del sector público”, Revista del
CLAD Reforma y Democracia, Núm. 12, Caracas, Oct. 1998.
Programas Federales Comprometidos con el Proceso de Evaluación | 61
Cardozo, Brum, Myriam, La evaluación de políticas y programas públicos:
el caso de los programas de desarrollo social en México, México, Cámara de
Diputados- Miguel Ángel Porrúa, 2006.
Castro, Manuel Fernando, Gladys López-Acevedo, Gita Beker Busjeet y
Ximena Fernandez, El Sistema de M&E de México: Un salto del nivel sectorial
al nacional. IEG Independent Evaluation Group, Serie de documentos de
trabajo DCE Núm. 20, Banco Mundial, Washington, D.C, 2009.
Conde Bonil, Carola, “Evaluación de programas sujetos a reglas de
operación. ¿Un ejemplo de rendición de cuentas horizontal?”, Documentos
de Investigación, México, El Colegio Mexiquense, 2007.
CONEVAL (2008) Oicio No. 307-A-1981, Oicio No. VOZSE 273/08 y
Oicio No. SCAGP/200/821/2008. Sobre el mecanismo de seguimiento de
los aspectos susceptibles de mejora.
--------------- (2010) Oicio No. 307-A-0438, Oicio No. SSFP/
UEGDG/216/024/2010 y Oicio No. VQZ.SE.017/10. Mecanismo de
Seguimiento de los Aspectos Susceptibles de Mejor de los Programas
Federales, 2009. 17 de febrero de 2010. Elaboración de Instrumentos de
Trabajo para el Seguimiento a los Aspectos Susceptibles de Mejora, art. 18
González, Alejandro (Coord.), ¿Gobernar por resultados? Implicaciones de
la política de evaluación del desempeño del gobierno mexicano, México,
GESOC Gestión Social y Cooperación A.C, 2008.
Dahler-Larsen, Peter, “Surviving the Routinization of Evaluation:
he Administrative Use of Evaluations in Danish Municipilaties”,
Administration and Society, Vol.32, Núm. 1, 2000, pp. 70- 92.
De la Garza, Navarrete, hania, Evaluación de la Política y los Programas de
Desarrollo Social, Presentación realizada en el CIDE, Enero 2010.
De Lancer Julnes, Patria y Holzer, Marc, “Promoting the Utilization of
Performance Measures in Public Organizations: An Empirical Study of
Factors Afecting Adoption and Implementation”, Public Administration
Review, Vol. 61, Núm. 6, 2001, pp.693-708.
62 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Diario Oicial de la Federación, Ley General de Desarrollo Social. Publicada
el 20 de enero de 2004.
--------------- , Decreto por el que se regula el Consejo Nacional de la Política
de Desarrollo Social. Publicado el 24 de agosto de 2005.
--------------- , Lineamientos Generales para la Evaluación de los Programas
Federales de la Administración Pública Federal. Publicados el 30 de marzo
de 2007.
Hernández, Licona, Gonzalo, “Sistema de Monitoreo y Evaluación en
México”, presentación en el Banco Mundial, Series sobre casos de estudio
de MyE en América Latina, Unidad de Pobreza y Género, Banco Mundial,
Junio, en Manuel Fernando Castro et al. (2009) El Sistema de M&E de
México: Un salto del nivel sectorial al nacional. IEG Independent Evaluation
Group, Serie de documentos de trabajo DCE Núm. 20, Washington, D.C,
Banco Mundial, 2007.
Hintze, Susana, Relexiones sobre el conlicto y la participación en la
evaluación de políticas sociales, VI Congreso Internacional del CLAD sobre
la Reforma del Estado y la Administración Pública, Buenos Aires, Argentina,
noviembre de 2001
Majone, Giandomenico, Evidencia, argumentación y persuasión en las
políticas, México, 1997.
Marcel, Mario, “Presupuesto por resultados: ¿Moda burocrática o nuevo
paradigma en la gestión pública?” en García López, Laguzzi y Guerrero (Eds.),
Presupuesto por resultados, conferencia internacional auspiciada por la
Secretaría de Hacienda y Crédito Público (SHCP), el Banco Interamericano
de Desarrollo (BID), el Banco Mundial (BM), la Organización para la
Cooperación y el Desarrollo Económico (OECD) y el Centro de Investigación
y Docencia Económicas (CIDE), 2008.
Ospina, Sonia, Evaluación de la gestión pública: conceptos y aplicaciones
en el caso latinoamericano, V Congreso Internacional del CLAD sobre la
Reforma del Estado y de la Administración Pública, Santo Domingo, Rep.
Dominicana, 24-27 octubre de 2000
Programas Federales Comprometidos con el Proceso de Evaluación | 63
--------------- et al.,“Performance evaluation, public management
improvement and democratic accountability”, Public Management Review,
Vol. 6, Núm.2, 2004, pp. 229-251
Pérez Yarahuán, Gabriela, Comunicación personal establecida el 19 de
mayo de 2010.
--------------- “Entrevista realizada a la ex directora adjunta de Evaluación
en la sede del Banco Mundial en Washington, DC., Mesas redondas de
expertos sobre herramientas de medición del desempeño”, 3 de febrero
de 2009, en Manuel Fernando Castro et al. (2009) El Sistema de M&E de
México: Un salto del nivel sectorial al nacional. IEG Independent Evaluation
Group, Serie de documentos de trabajo DCE Núm. 20, Banco Mundial,
Washington, D.C.
Sanderson, Ian, “Evaluation, Policy Learning and evidence-based policy
making”, Public Administration, Vol. 80 Núm. 1, 2002, pp. 1-22.
Solarte Pazos, Leonardo, La evaluación de programas sociales en el Estado
Liberal, VII Congreso Internacional del CLAD sobre la Reforma del Estado
y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002.
Toledo Silva, Ricardo, Fortalecimiento de la función evaluación en los
países de América del Sur. Informe Técnico: Eiciencia y eicacia de la
acción gubernamental: un análisis comparativo de sistemas de evaluación,
Cooperación Técnica BID-IPEA, 2005.
Weiss, Carol, “Have we learned anything new about the use of evaluation?”,
American Journal of Evaluation, Vol. 19, Núm. 1, 1998, pp.21-33.
Referencias electrónicas
AGROASEMEX (2010) Evaluación de programas. Disponible en: http://
www.coneval.gob.mx/evaluaciones/evaluaciones.jsp?categorias=LINKS_
EVALUACIONES-shcp,LINKS_EVALUACIONES Consultado el 25 de mayo
de 2010.
64 | De las recomendaciones a las acciones: la experiencia del Premio 2011
CONEVAL (2008) Informe de Seguimiento a los Aspectos Susceptibles
de Mejora de Programas Federales 2008, proceso de evaluación externa
2008 del Gobierno Federal. Disponible en: http://www.coneval.gob.mx/
contenido/eval_mon/2733.pdf Consultado el 02 de marzo de 2010.
---------------- (2008) Mecanismo de Seguimiento a los Aspectos Susceptibles
de Mejora de Programas Federales, 2008. Disponible en: http://www.coneval.
gob.mx/coneval2/htmls/evaluacion_monitoreo/HomeEvalMonitoreo.
jsp?categorias=EVAL_MON,EVAL_MON-mecanismos Consultado el 23 de
marzo de 2010.
---------------- (2009). Informe de Seguimiento a los Aspectos Susceptibles
de Mejora. Disponible en: http://www.coneval.gob.mx/cmsconeval/rw/
pages/evaluacion/principales_recomendaciones_eval_2009_2010/index.
es.do Consulta realizada el 22 de septiembre de 2011.
--------------- (2010) Informe de Seguimiento a los Aspectos Susceptibles
de Mejora. Disponible en: http://www.coneval.gob.mx/cmsconeval/rw/
pages/evaluacion/seguimiento_recomendaciones/ASM_2010_2011.es.do
Consulta realizada el 24 de septiembre de 2011.
SEMARNAT (2009) Posicionamiento institucional del programa
APAZSU. Disponible en: http://www.semarnat.gob.mx/queessemarnat/
evaluaciones/evaluacion2007/Documents/documento_S074_APAZU_
integral.pdf Consultado el 27 de abril de 2010
---------------(2009) Posicionamiento institucional del programa
PROSSAPYS. Disponible en: http://www.semarnat.gob.mx/
queessemarnat/evaluaciones/evaluacion2007/Documents Consultado el
27 de abril de 2010
-----------------(2010) Evaluaciones del PROCREAT. Disponible en: http://
www.semarnat.gob.mx/queessemarnat/evaluaciones/evaluacion2007/
Paginas/PROCREAT.aspx Consultado el 27 de abril de 2010.
--------------- (2010) Evaluaciones del Programa de Ampliación de Distritos
de Riego. Disponibles en:
Programas Federales Comprometidos con el Proceso de Evaluación | 65
http://www.semarnat.gob.mx/queessemarnat/evaluaciones/
evaluacion2007/Paginas/ampliaciondistritosriego.aspx Consultado el 20
de mayo de 2010
SEP (2010) Reglas de operación del programa Programa de Educación
comunitaria y Fomento Educativo (CONAFE). Disponible en: http://
conafe.gob.mx/saro/index.html?fomento_educativo.htm Consultado el 27
de abril de 2010.
SHCP (2008) Catálogo de categorías programáticas de la Administración
Pública Federal publicado por la SHCP. Disponible en: http://www.
apartados.hacienda.gob.mx/presupuesto/temas/lineamientos/2008/
documentos/psro_2008.pdf Consultado el 27 de abril de 2010.
SFP (2008) Reglas de Operación de programas sociales federales, ejercicio
iscal 2008. Disponible en: http://www.funcionpublica.gob.mx/scagp/
dgorcs/reglas/2008/20%20SEDESOL%2008/desarrollo.htm Consulta
realizada el 23 de abril de 2010.
66 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Programas Federales Comprometidos con el Proceso de Evaluación | 67
El programa SICALIDAD: Ejemplo
SW ェWゲピルミ ヮ┎HノキI; ;ミIノ;S; Wミ ノ;
W┗;ノ┌;Iキルミ ヮ;ヴ; ノ; マWテラヴ; Iラミピミ┌;
Claudia Maldonado Trujillo
El objetivo de este capítulo es describir la trayectoria reciente del Sistema
Integral de Calidad en Salud (SICALIDAD) para rescatar la experiencia
del programa1
en materia de utilización de las evaluaciones para la
mejora continua. El Sistema obtuvo el primer lugar del “Premio 2011”,
por su notable apropiación de la lógica y del sentido de los resultados
de las evaluaciones para detonar procesos internos de mejora. Por esta
razón, la reconstrucción de la experiencia de SICALIDAD representa una
oportunidad única para identiicar buenas prácticas y extraer lecciones de
política pública para avanzar en la materia.
La utilización de las evaluaciones, lo sabemos bien, es quizá el
eslabón más débil de nuestro incipiente sistema de gestión por resultados.
Aún resueltos (y no airmo que lo estén) los aspectos institucionales
y gerenciales del proceso de evaluación; y aseguradas las condiciones
1
En sentido estricto, SICALIDAD es una estrategia que contempla muchos programas o proyectos. Sin
embargo, en este texto se utilizan ambos términos (programa y estrategia) de manera intercambiable.
68 | De las recomendaciones a las acciones: la experiencia del Premio 2011
mínimas para la generación de evaluaciones objetivas, coniables, de calidad
y, sobre todo, útiles para la toma de decisiones, la concreción del ciclo de
retroalimentación a partir de la evaluación requiere un esfuerzo adicional
de gran complejidad. En la medida en que la utilización de los resultados
de la evaluación no es automática ni obligatoria en sentido estricto, y que
existen numerosas razones para que no lo sea,2
la apropiación efectiva
de los resultados de las evaluaciones y su incorporación sustantiva en
los esfuerzos de mejora de los programas depende de variables suaves
de decisión: capacidades, incentivos, compromisos; muchas de ellas de
carácter contingente.
La actualización de la promesa de la evaluación como instrumento
de mejora requiere una combinación favorable de condiciones materiales
e intangibles para llegar a buen término. Entre las condiciones materiales
destacan, por ejemplo, la disponibilidad de recursos inancieros y humanos,
las facultades expresas y la capacidad de decisión, así como las ventanas
políticas y administrativas de oportunidad para detonar los cambios
necesarios. Entre los factores intangibles se encuentran el liderazgo, el
grado de atención organizacional, y el compromiso de los actores con el
sentido último de la función evaluativa: la agregación de valor público y la
rendición de cuentas orientada a resultados. De poco sirve la generación
de información puntual que permita orientar reformas gerenciales si no
existen condiciones materiales para su consecución, ni presiones externas
de rendición de cuentas que las motiven. Igualmente, las condiciones
materiales y normativas no aseguran el avance en la dirección deseada si
las premisas y los insumos con los que se articula el proceso de mejora son
imprecisos o provienen de valoraciones poco serias sobre el desempeño
de los programas. En la valoración del desempeño y de los resultados, la
distancia entre lo obtenido, lo deseable y lo asequible no es una ecuación
simple de automático resultado. Esta ponderación requiere un análisis de
tejido más ino desde la perspectiva de los actores involucrados en el área de
política pública de la que se trate: evaluadores, evaluados y, por supuesto,
los ciudadanos.
La motivación del “Premio 2011” tiene que ver precisamente con
el reconocimiento de que la apropiación de los resultados de la evaluación
requiere de la movilización de recursos y voluntades más allá del
cumplimiento puntual de las normas, y que opera en contextos especíicos
que los funcionarios públicos deben ponderar estratégicamente para
maximizar la utilidad de las evaluaciones y potenciar el impacto deseado de
los ajustes. En la ceremonia de entrega del “Premio 2011”, el Dr. Guillermo
Cejudo, en representación del Jurado, señaló:
2
En mi opinión, esto imprimiría excesiva rigidez y costos de regulación con una alta probabilidad de
resultar contraproducentes.
Programas Federales Comprometidos con el Proceso de Evaluación | 69
En forma unánime, los miembros del Jurado eligieron al
programa SICALIDAD como el programa merecedor del más
alto reconocimiento en el marco de esta iniciativa, ya que
consideraron que el programa realizó un análisis cuidadoso
de los hallazgos identiicados por las evaluaciones, incorporó
de manera asertiva, eicaz e informada, aquéllos de mayor
relevancia e impacto esperado y diseñó una estrategia de
implementación puntual para realizar las mejoras. Como
resultado de la claridad y determinación con la que el equipo
de SICALIDAD utilizó la evaluación y dio seguimiento de
manera comprometida a las acciones de mejora, el programa
cumplió plenamente con las metas planteadas. Ello permitirá
avanzar en la consolidación de una cultura de la calidad en el
Sistema Nacional de Salud y fortalecer el ejercicio del derecho
a la salud en México. Además, el programa SICALIDAD
dio muestras de una clara internalización del proceso de
evaluación en el proceso de gestión del programa y un
compromiso muy notable por la mejora continua.
Esa ruta crítica cuidadosamente pensada y ejecutada por el equipo
de SICALIDAD demuestra que, en el marco de las restricciones vigentes, el
enorme esfuerzo que hemos realizado como sociedad para transitar hacia
un modelo de gestión por resultados ha abierto espacios prometedores de
reforma que pueden y han sido apropiados por los programas de manera
creativa y eicaz. De ahí la importancia de documentar dicha experiencia
no sólo para reconocer públicamente los esfuerzos realizados sino, sobre
todo, para socializar y difundir las lecciones que de ella se desprenden para
contribuir a la relexión práctica que permita avanzar hacia una gestión
pública más eicaz y eiciente, aquí y ahora.
El derecho a la salud en México
El pleno ejercicio del derecho a la salud en México es una tarea pendiente.
A pesar de que en la última década se han realizado esfuerzos importantes
para lograr la cobertura universal en la protección en salud, es indiscutible
que la falta de equidad en el acceso a la atención a la salud es quizá una de
las peores caras de nuestra profunda desigualdad. En nuestro país, como
en muchos países de la región, el acceso a la seguridad social vinculado a
la participación en el mercado laboral formal, a pesar de sus innegables
virtudes y logros, condujo a la creación de un sistema limitado,3
con sesgo
urbano y de carácter regresivo. A principios de este siglo, México gastaba
3
Aunque es difícil contar con una estimación precisa, la cobertura de la seguridad social en México, de
acuerdo con diversas fuentes, no ha rebasado 50% de la población.
70 | De las recomendaciones a las acciones: la experiencia del Premio 2011
5.1% del PIB en salud, muy por debajo del promedio latinoamericano de
7%, y el nivel de gasto de países comparables como Argentina, Colombia o
Uruguay.4
Durante el Siglo XX no sólo no se consiguió construir un modelo
universal de protección a la salud como derecho de ciudadanía; también
se contribuyó, paradójicamente, a la acentuación de la desigualdad en esa
materia. El estado de salud, como atributo individual y como bien colectivo,
es uno de los recursos más poderosos con los que cuenta un país, ya que
es una precondición básica para que la inversión social en otros rubros –
como la educación—pueda rendir frutos económicos y sociales. De manera
creciente, además del imperativo moral de la protección social a la salud,
se reconoce que el capital humano es el activo más importante para el
desarrollo de largo plazo de los países. Constituye, por tanto, una prioridad
máxima de política pública.
A diferencia de otros derechos sociales, el derecho a la salud
se explicita de manera tardía en la Constitución (1983), y comienza a
articularse operativamente hasta la reforma de la Ley General de Salud, con
la creación del Sistema Nacional de Protección Social en Salud en 2003. A
pesar de que, formalmente, la población abierta (exenta de seguridad social)
ha contado con acceso a los servicios públicos de salud desde la década de
1940, con la creación de la Secretaría de Salubridad y Asistencia (SSA), los
problemas de baja cobertura, desigualdad en el acceso, fragmentación en la
provisión y problemas serios de calidad y heterogeneidad en los servicios
ofrecen un panorama desfavorable para el pleno ejercicio del derecho a la
salud en México. En 2005, un estudio realizado por la Organización para
la Cooperación y el Desarrollo Económicos (OCDE)5
demostró que, a pesar
de las reformas descentralizadoras de los años 1980 y 19906
e importantes
esfuerzos presupuestarios y operativos, prevalecen enormes disparidades
regionales de cobertura, gasto público y condiciones de salud en México.
Además de la herencia de subinversión pública en salud y los crecientes
problemas inancieros del sistema de seguridad social, la estructura misma
del sistema imposibilitó alcanzar la cobertura universal y el cumplimiento
de estándares de calidad que aseguraran la seguridad y la satisfacción del
paciente, así como la prestación de servicios en condiciones óptimas para
el personal médico y administrativo responsables. Entre otros factores,
el estudio identiicó serios problemas de coordinación, fragmentación,
inequidad en la inversión, baja capacidad técnica y administrativa en el
personal médico y de gestión, así como la ausencia de insumos e incentivos
para la mejora del desempeño individual y organizacional. En consecuencia,
existen rezagos importantes en los indicadores básicos de salud.
4
Julio Frenk, “La salud como derecho ciudadano”, Nexos, Núm. 410, Febrero 2012, p. 45.
5
Organización para la Cooperación y Desarrollo Económicos (OCDE), Estudios de la OCDE sobre los
sistemas de salud-México, México, OCDE-Secretaría de Salud, 2005.
6
La primera reforma descentralizadora de 1983, interrumpida en 1988, y retomada a mediados de los
años 1990; la creación del Consejo Nacional de Salud en 1986, y la creación de la Comisión Nacional de
Arbitraje Médico (CONAMED) en 1996, entre otras.
Programas Federales Comprometidos con el Proceso de Evaluación | 71
En respuesta al problema dual de cobertura y calidad, el Estado
mexicano impulsó una serie de reformas con el in de alcanzar la cobertura
universal en salud y detonar procesos endógenos de mejora continua en la
prestación de dichos servicios. Como parte de la estrategia para alcanzar
el universalismo, en 2003 se creó el Sistema Nacional de Protección Social
en Salud y el esquema de inanciamiento del Seguro Popular, con el in de
asegurar el acceso a la salud de la población abierta y prevenir la recurrencia
de gastos catastróicos en salud, que generan un círculo vicioso entre
pobreza, barreras de acceso a los servicios de salud, y precario estado de
salud.7
En 2000 se estimó que cerca de 4 millones de familias enfrentaron
gastos catastróicos o empobrecedores relacionados con el pago de bolsillo
por servicios de salud.8
En ese marco, el debate sobre la ampliación de
cobertura estuvo también anclado en la preocupación creciente por el
concepto de calidad como eje fundamental de la prestación de los servicios
en el Sistema Nacional de Salud.9
La creación del programa SICALIDAD en 2007, en sustitución de la
Cruzada Nacional de Salud (2001-2006), se inscribe en el proceso de tránsito
a la cobertura universal con un posicionamiento estratégico del concepto
de calidad. No obstante, es importante enfatizar que dichos esfuerzos se
realizan en un sistema sumamente fragmentado y con desafíos formidables
de gobernanza y coordinación. De ahí la importancia –y la promesa– de
una apuesta integral, basada en incentivos y concientización para todos los
actores, como la del SICALIDAD. Sólo en la medida en que todos los actores
del sistema –incluidos los ciudadanos– se apropien y movilicen el modelo
de calidad, podrán alcanzarse los objetivos esperados.
El concepto de calidad en salud y la creación
del Sistema Integral de Calidad en Salud
Al igual que en otras áreas de la administración pública, la prestación de
servicios de salud pasó de un modelo de control de calidad anclado en el
control directo, la iscalización y la auditoría10, a un modelo de gestión
orientado a la rendición de cuentas (por resultados), con mayor espacio y
responsabilidad para la participación ciudadana. Este difícil tránsito, como
sabemos, requiere, en primer lugar, deiniciones conceptuales y operativas
7
Se calcula que 51% del gasto en salud es gasto de bolsillo. F. Knaul et al., “Evidence is good for your
health system: policy reform to remedy catastrophic and empoverishing health spending in Mexico”, he
Lancet, Vol.368, Núm. 9550, Noviembre de 2006, pp. 1828-41, citado por Julio Frenk, Op. Cit., p. 46.
8
Ídem.
9
En los términos de la Ley General de Salud, el Sistema Nacional de Salud está compuesto por todas las
instituciones públicas de la administración pública federal y local, así como los organismos de los sectores
social y privado.
10 Las Auditorías Médicas del Instituto Mexicano del Seguro Social (IMSS) durante la década de 1950
fueron la primera experiencia de México en la materia.
72 | De las recomendaciones a las acciones: la experiencia del Premio 2011
sobre qué es calidad, cómo se mide (sistema de información) y cómo se
construye (modelo causal de intervención), para reorientar la cadena de
producción de los servicios. Por la naturaleza compleja y multidimensional,
la operacionalización de los conceptos de calidad y de los servicios de
atención a la salud en una estrategia de implementación concreta ha
representado un largo proceso de aprendizaje y ajuste organizacionales.
Cuadro 1: La evolución de la agenda de calidad
en la atención a la salud en México
AUDITORÍAS MÉDICAS (IMSS 1950s)
CÍRCULOS DE CALIDAD (INPER 1985)
EVALUACIÓN DE LA CALIDAD DE LA ATENCIÓN MÉDICA (IMSS 1987)
FINANCIAMIENTO DE PROYECTOS DE MEJORA CONTINUA (PASSPA 1994)
PROGRAMA INTEGRADO DE CALIDAD (IMSS 1997)
PROGRAMA DE MEJORA CONTINUA DE LA CALIDAD
DE LA ATENCIÓN MÉDICA (SSA 1997-2000)
CRUZADA NACIONAL POR LA CALIDAD DE LOS
SERVICIOS DE SALUD (SALUD 2001-2006)
SISTEMA INTEGRAL DE CALIDAD EN SALUD (2007-2012)
Fuente: Elaboración propia con base al “Programa de Acción Especíico 2007-2012 SICALIDAD”, 2007.
A partir de la reforma de 1983, se crearon Grupos Básicos
Interinstitucionales de Información, Evaluación y Planeación bajo la
coordinación de la Secretaría de Salud, en los que participaron el IMSS, el
Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado
(ISSSTE), el Sistema para el Desarrollo Integral de la Familia (SNDIF), la
Secretaría de Programación y Presupuesto y la Secretaría de la Contraloría
General de la Federación; así como el Gabinete de Salud de la Presidencia
de la República. En 1987, después de una prueba piloto en el ISSSTE, las
“Bases para la evaluación de la calidad de la atención en la unidades médicas
del sector salud” constituyeron el primer documento normativo inspirado
en el concepto multidimensional de calidad en salud.11 Sin embargo, cabe
recordar que ese periodo fue muy adverso para realizar reformas en esta
dirección por las presiones iscales, la inestabilidad económica y las fuertes
presiones políticas derivadas del deterioro de los salarios reales, que
11 Sistema Integral de Calidad en Salud (SICALIDAD), “Programa de Acción Especíico 2007-2012”,
Subsecretaría de Innovación y Calidad, México, Secretaría de Salud, 2007.
Programas Federales Comprometidos con el Proceso de Evaluación | 73
obligaron a poner en segundo término estas preocupaciones, y orientar
toda la atención a lograr la estabilización macroeconómica. Desde entonces
han surgido múltiples iniciativas que, por la fragmentación del sistema, por
resistencias al cambio y, sobre todo, por carecer de continuidad, tuvieron
efectos dispersos, desiguales e inconexos en el sistema.
En 2003, en el marco del Programa Nacional de Salud 2001-2006,
surgió la Cruzada Nacional por la Calidad de los Servicios de Salud como
una primera aproximación integral al problema sectorial. Los objetivos
de la Cruzada fueron: a) mejorar la calidad y reducir las diferencias
interinstitucionales y entre niveles de atención de la unidades médicas del
país; b) garantizar que los pacientes reciban un trato adecuado en función
de sus necesidades; y c) mejorar los niveles de satisfacción entre el personal
encargado de la prestación del servicio. Igualmente, la Cruzada creó el
sistema de información e indicadores (INDICA), con la participación12 de las
unidades médicas en auditorías, procesos de retroalimentación y la creación
de líneas de quejas. La Cruzada creó criterios explícitos de evaluación para
la práctica profesional (con componentes éticos, cientíicos y de calidad),
y una serie de espacios para fomentar la calidad y costo-efectividad de los
servicios de salud: los Comités Estatales de Calidad, los Observatorios de
Desempeño de Hospitales, el Foro Nacional para la Calidad y el Programa
Nacional de Certiicación para Establecimiento de Atención Médica.
El Sistema Nacional de Calidad en Salud rescata las primeras
lecciones de la Cruzada13 para avanzar desde la lógica de programa sectorial
a una visión más integral y de largo aliento: construir una política pública
nacional para la calidad. Además de perseguir un salto cualitativo en el
posicionamiento del tema de la calidad en la agenda de política pública,
el Sistema se inspira directamente en la Resolución de la 37ª Reunión de
la Organización Panamericana de la Salud-Organización Mundial de la
Salud, en la que se vincula la calidad con la sostenibilidad de los servicios
públicos de salud. El diagnóstico realizado en dicho encuentro identiicó
la falta de posicionamiento de los temas de calidad en la agenda del sector
como principal causa de las deiciencias en la prestación del servicio. De esa
reunión surgió un acuerdo en torno a la siguientes cinco líneas de acción:
1) posicionar la calidad de la atención sanitaria y la seguridad del paciente
como prioridad sectorial; 2) promover la participación ciudadana en temas
de calidad; 3) generar información y evidencia en materia de calidad; 4)
12 La participación en estas iniciativas federales es de naturaleza voluntaria, dada la gestión
descentralizada del sector y el marco normativo del Sistema Nacional de Salud en México.
13 De la Cruzada Nacional se retoman, en otras, la igura del aval ciudadano, la iniciativa del premio, el
énfasis en Sistema Nacional de Indicadores, los acuerdos de gestión para inanciar las mejoras de calidad, y
el marcado énfasis en la acreditación y la capacitación.
74 | De las recomendaciones a las acciones: la experiencia del Premio 2011
desarrollar, adaptar y apoyar la implantación de soluciones en calidad; y 5)
desarrollar una estrategia regional para el fortalecimiento de la calidad de
la atención sanitaria y seguridad del paciente.14
El Programa Sectorial de Salud 2007-2012 (PROSESA) retoma
estos conceptos a partir de un diagnóstico nacional e identiica la falta de
posicionamiento del tema de calidad en el sistema como principal obstáculo
para la construcción de ciudadanía en salud. Entre otros problemas,
destaca, en primer lugar, la elevada tasa de mortalidad materna vinculada
a problemas documentados de calidad en la atención, la prevalencia en
infecciones nosocomiales, particularmente en terapia intensiva y en
unidades de atención neonatal, el insuiciente abasto de medicamentos, los
largos tiempos de espera, las quejas documentadas por la CONAMED en
relación a la falta de información proporcionada por el médico, el recelo
de la instituciones frente a la igura del Aval Ciudadano, y la falta de
cumplimiento de la acreditación de las unidades que prestan servicios al
Sistema de Protección Social en Salud, que establece de manera obligatoria
la Ley General de Salud. En ese diagnóstico se parte también de una premisa
crucial del modelo de posicionamiento: el convencimiento y la participación
activa de todos los actores como eje de la estrategia. Como resultado de la
experiencia de la Cruzada Nacional y de los trabajos realizados en las mesas
temáticas del Foro Ciudadano de Calidad en Salud 2007, se identiicaron las
siguientes líneas de acción para posicionar, de manera permanente, el tema
de calidad en la agenda, a partir de la implantación del Sistema: incorporar
programas de calidad en la formación académica de técnicos y profesionales
de salud e impulsar la utilización de las guías de práctica clínica y protocolos
de atención médica.
Cuadro 2: Justiicación del programa SICALIDAD
AUDITORÍAS MÉDICAS (IMSS 1950s)
Variabilidad en la práctica
Deiciente Capacitación
Académica en calidad
Escasa Alienación de
Incentivos y Calidad
Dispersión de Proyectos sobre Calidad
Débil posición de las Áreas de calidad
Atomización de
los proyectos de la Cruzada
Organizaciones de salud sin
Estrategias de voz
SISTEMA
INTEGRAL
DE CALIDAD
EN SALUD
Fuente: Elaboración propia con información del Plan Sectorial 2007-2012
14 SICALIDAD, “Programa de Acción Especíico 2007-2012”, Op. Cit., p. 12.
Programas Federales Comprometidos con el Proceso de Evaluación | 75
SICALIDAD es el brazo operativo del sector para elevar la calidad
de los servicios con un enfoque de mejora continua anclado en tres
dimensiones interrelacionadas de la calidad: calidad técnica y seguridad del
paciente, calidad percibida y calidad en la gestión de los servicios, con un
componente transversal de incentivos y reconocimientos.
Cuadro 3: Proyectos SICALIDAD
1. CALIDAD PERCIBIDA
1.1 Construir ciudadanía en salud: Aval
Ciudadano
1.2 Percepción de los profesionales: Caminando
con los trabajadores de la salud
3. CALIDAD EN LA GESTIÓN DE LOS SERVICIOS
DE SALUD. INSTITUCIONALIZACIÓN DE LA
CALIDAD
3.1 Acreditación y Garantía de Calidad
3.2 INDICAS. Sistema Nacional de Indicadores de
Calidad en Salud
3.3 Comité Nacional por la Calidad en Salud
(CONACAS)
3.4 Comités Estatales de Calidad en Salud (CECAS)
3.5 Gestores de Calidad en Atención Primaria y
Hospitales
3.6 Creación y fortalecimiento de los Comités de
Calidad y Seguridad del Paciente (COCASEP) en
Hospitales y Atención Primaria
3.7 Componentes de calidad en Convenios de
Gestión de SPSS
3.8 Modelo de Gestión por la Calidad Total
3.9 Currícula de Calidad en la formación de los
profesionales
3.10Vinculación a SICALIDAD del programa de
estímulos a la calidad del desempeño del
personal de salud
2. CALIDAD TÉCNICA
2.1 Seguridad del paciente
2.2 Prevención y Reducción de la Infección
Nosocomial (PREREIN)
2.3 Expediente Clínico Integrado y de Calidad (ECIC)
2.4 Calidad en la Atención Materna
2.5 Cuidados Paliativos (PALIAR)
2.6 Uso Racional de Medicamentos (URM)
2.7 Servicios de Urgencias que Mejoran la
Atención y Resolución (SUMAR)
2.8 Medicina Basada en Evidencia: difusión de
Guías de Práctica Clínica (MGE-GPC)
2.9 Plan de Ciudados de Enfermería (PLACE)
2.10 Calidad de Atención Odontológica (CAO)
2.11 Programa de Atención Domiciliaria (PAD)
4. PROYECTOS DE APOYO Y RECONOCIMIENTO
4.1 Capacitación en Calidad
4.2 Compromiso de Calidad y Acuerdos de Gestión
4.3 Premio Nacional de Calidad y Premio a la
Innovación en Calidad en Salud
4.4 Foro Nacional e Internacional de Calidad en
Salud
4.5 Reuniones Nacionales de SICALIDAD
4.6 Red SICALIDAD: Boletín
4.7 Instrucciones de SICALIDAD
CALIDAD
Fuente: Plan Sectorial SICALIDAD 2007- 20012, p.26
76 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Tabla 1: Población objetivo de SICALIDAD
Tabla ヱぎ Población objetivo de SICALIDAD
INSTITUCIÓN No. de Unidades
Instituto Mexicano del Seguro Social.
Régimen Oportunidades
4137
Instituto Mexicano del Seguro Social 1387
Instituto de Seguridad y Servicios Sociales
para los Trabajadores del Estado
568
Petróleos Mexicanos 60
Secretaría de la Defensa Nacional 245
Secretaría de Marina 35
Servicios Médicos Estatales 14264
Servicios Médicos Municipales 42
Servicios Médicos Privados 892
Fuente: Programa Sectorial 2007-2012
Básicamente, en su vertiente de apoyos y reconocimientos,
SICALIDAD es un modelo diferenciado de transferencias monetarias en
las modalidades de inanciamiento y co-inanciamiento sujetos a libre
demanda, en los términos de las convocatorias emitidas por la Dirección
General de Calidad en Salud (DGES) y premios y/o reconocimientos
monetarios y no monetarios. Los procesos de selección son competitivos,
mediante la evaluación realizada por el equipo de la red de evaluación y
acreditación de la calidad (REACAL), de acuerdo a los criterios especíicos
de cada convocatoria. De manera transversal, las Reglas de Operación 2011
establecen los siguientes criterios de priorización:
1. Las unidades no acreditadas o con plan de contingencia que
prestan servicios al Sistema de Protección Social en Salud y
aquellas en vías de re-acreditación.
2. Reducción de muerte materna.
3. Acciones de calidad en municipios con el menor índice de
desarrollo humano.
4. Unidades médicas asociadas que participan de los proyectos de
SICALIDAD.
5. Los proyectos que contengan acciones interinstitucionales que
fortalezcan la rectoría de la Secretaría de Salud, a través del
programa SICALIDAD.
Programas Federales Comprometidos con el Proceso de Evaluación | 77
Además de ser un modelo multidimensional de intervención, es
importante señalar que involucra a todos actores del sistema, con lógicas,
incentivos y dinámicas organizacionales distintos. El Sistema supone la
articulación en red de diversos proyectos y componentes que dependen en
gran medida de la capacidad de concientización y movilización en torno a la
calidad en los distintos niveles jerárquicos y funcionales del sistema. Como
la participación en alguno de los instrumentos de estímulo de SICALIDAD
es resultado de un proceso de autoselección competitiva, la distribución
de los recursos del programa depende de la disposición, la asertividad y
la creatividad de las unidades médicas y la capacidad de la estrategia de
concientizar y motivar a todos los actores del sistema más allá de los
incentivos monetarios.
A pesar de que SICALIDAD parte de una propuesta conceptualmente
sólida, con un diagnóstico explícito y bien articulado15, y cuenta con una
serie de indicadores y mecanismos de planeación y gestión que cumplen
con estándares nacionales, la ejecución de los proyectos e iniciativas
inanciadas depende de una implementación descentralizada con
importantes asimetrías de información y costos de monitoreo. Por este
motivo, requieren de un muy alto nivel de coordinación, comunicación y
persuasión.
En ese sentido, la experiencia de SICALIDAD es particularmente
ilustrativa para la gestión de programas y proyectos en sectores
descentralizados con muy alto grado de heterogeneidad. Aunque los
proyectos están alineados conceptualmente a cuatro dimensiones de la
calidad en salud, cada proyecto tiene su propio modelo de intervención en
relación a los actores, los instrumentos y la complejidad de los procesos
respectivos. La gestión del programa involucra desde aspectos relativamente
simples como la transmisión de información a la red a través de un Boletín,
hasta el inanciamiento de procesos más complejos de acreditación de
unidades médicas, y la gestión cotidiana de los Gestores de Calidad y/o
la movilización de la igura del Aval Ciudadano con diferentes grados de
aceptación.
El programa se encuentra bajo la responsabilidad rectora de la
Dirección General de Calidad en Salud adscrita a la Subsecretaría de
Innovación y Calidad. La responsabilidad operativa directa del Sistema
recae en una Dirección General Adjunta de Calidad en Salud. De acuerdo a
las Reglas de Operación 2011, la cobertura del Sistema incluye los Servicios
Estatales de Salud de todas las entidades federativas, la Secretaría de Salud
del Gobierno del Distrito Federal, la Comisión Coordinadora de Institutos
Nacionales de Salud y Hospitales de Alta Especialidad, y otras instituciones
públicas del Sistema Nacional de Salud. La población objetivo del programa
son las unidades médicas de primer nivel, los hospitales generales, los
15 La Evaluación de Diseño, realizada por el Instituto Nacional de Salud Pública (INSP) en 2008, llega a
esta conclusión después de un cuidadoso análisis de los documentos programáticos de SICALIDAD.
78 | De las recomendaciones a las acciones: la experiencia del Premio 2011
hospitales regionales de alta especialidad, los Institutos Nacionales de Salud
y áreas centrales de calidad y seguridad del paciente en las instituciones
públicas del Sistema Nacional de Salud, que desarrollen proyectos en
cualquier de las cuatro dimensiones de calidad perseguidas por el programa.
El programa se difunde a través de una red nacional, entre las que se
encuentran Responsables Estatales de Calidad (de la Secretaría de Salud);
Responsables Institucionales de Calidad (IMSS, ISSSTE, SNDIF, Secretaría
de la Defensa Nacional, Secretaría de Marina, Petróleos Mexicanos, etc.) y
Gestores de Calidad en hospitales y jurisdicciones/delegaciones. A través de
esta red se han realizado no sólo las principales actividades del programa,
sino también las acciones de mejora derivadas de las evaluaciones externas.
Las principales actividades realizadas por SICALIDAD son16:
1. Apoyar inancieramente a las unidades médicas que presentan
compromisos de calidad en acuerdos de gestión con proyectos de
mejora.
2. Fortalecer la cultura de calidad en los establecimientos de salud
mediante el reconocimiento del Premio Nacional de Calidad en
Salud (PNC).
3. Impulsar la constitución de Comités Estatales de Calidad.
4. Adhesión al proyecto de capacitación en calidad en salud.
5. Medición de la satisfacción de los prestadores de servicios de
salud.
6. Fortalecer y consolidar la igura de Aval Ciudadano para construir
ciudadanía en el Sistema Nacional de Salud.
Los datos del Informe de Labores 2011 conirman el buen grado de
aceptación de SICALIDAD en el sistema. En el primer cuatrimestre del año
se reportaron Indicadores de Calidad en 9,818 unidades médicas del sector,
casi 568 unidades más que el año anterior. Se reportaron 818 Gestores
de Calidad (586 en unidades hospitalarias y 250 en jurisdiccionales,
16 Lista completa de acciones: 1) Apoyar inancieramente a las unidades médicas que presentan
compromisos de calidad en acuerdos de gestión con proyectos de mejora. 2) Evaluar y dictaminar unidades
de salud que prestan servicios al Sistema de Protección Social en Salud. 3) Fortalecer la cultura de calidad
en los establecimientos de salud mediante el reconocimiento del Premio Nacional de Calidad en Salud
(PNC). 4) Implementar el proyecto de alternativas de hospitalización para los pacientes con enfermedades
terminales (PALIAR), la hospitalización domiciliaria y la cirugía ambulatoria. 5) Implementar el proyecto
de uso racional de medicamentos. 6) Impulsar la constitución de Comités Estatales de Calidad. 7)
Adhesión al proyecto de capacitación en calidad en salud. 8) Implementación del proyecto de prevención
y reducción de la infección nosocomial. 9) Medición de la satisfacción de los prestadores de servicios de
salud. 10) Revisión periódica de los expedientes clínicos por las unidades médicas. 11) Vinculación del
proyecto de seguridad del paciente a los hospitales públicos de mediana y alta complejidad. 12) Fortalecer
y consolidar la igura de Aval Ciudadano para construir ciudadanía en el Sistema Nacional de Salud.
Programas Federales Comprometidos con el Proceso de Evaluación | 79
respectivamente), y la participación de 1,820 Avales Ciudadanos con
presencia en todas la entidades federativas del país (en 8,868 unidades).
Como resultado de la creciente participación ciudadana, se emitieron
6,495 sugerencias de mejora y se entregaron 4,572 Cartas Compromiso al
Ciudadano para mejorar la calidad y el trato a los usuarios.17 Igualmente,
se avanzó satisfactoriamente en la instalación de Comités de Calidad y
Seguridad del Paciente en las unidades médicas, una condición necesaria
para la institucionalización de la calidad en la gestión cotidiana de las
unidades.
En materia de capacitación, particularmente vinculada a la
prevención de infecciones nosocomiales, se capacitó a 3,000 trabajadores
de hospitales de todo el sector en 15 estados del país, y se integraron a
170 hospitales públicos al Modelo de Gestión de Riesgos de Infección
Nosocomial, cifra muy cercana a la meta de 50% para 2011. En general,
las cifras son alentadoras respecto del avance de implementación de la
estrategia, pero todavía no permiten identiicar con precisión cuáles son
sus efectos directos en los indicadores de calidad y seguridad del paciente,
así como en la evolución de la calidad percibida de los usuarios.
L; W┗;ノ┌;Iキルミ SW SICALIDADぎ ヮヴキミIキヮ;ノWゲ エ;ノノ;┣ェラゲ
SICALIDAD como respuesta gubernamental al problema de la calidad en
el sector salud es un programa relativamente nuevo que coincide con un
aumento signiicativo en el gasto público en salud con el in de alcanzar la
cobertura universal. La propuesta de SICALIDAD es muy ambiciosa, a pesar
de contar con un presupuesto modesto.18 Presumiblemente, el potencial de
los resultados de las evaluaciones en esta primera etapa de implementación
es mayor, dado el grado de maduración del programa. Esto se debe a que
por diversos factores de economía política y dinámica organizacional, los
programas tienden a volverse más rígidos con el tiempo; por tanto, menos
susceptibles de realizar mejoras en el margen, en ausencia de evidencia
contundente en relación a su fallido desempeño o una crisis de política
pública con gran visibilidad. En la medida en que todas las intervenciones
públicas implican decisiones distributivas que generan intereses y rutinas
con sesgos pro status quo, la primera etapa de maduración de un programa
público puede ser la más creativa y dinámica, si existen condiciones para un
proceso de aprendizaje derivado del adecuado monitoreo y la evaluación.
Todo indica que SICALIDAD es un buen ejemplo de ello.
17 Quinto Informe de Labores 2011, México, Secretaría de Salud, p. 46.
18 Ver Tabla 2. de Presupuesto en Apéndice.
80 | De las recomendaciones a las acciones: la experiencia del Premio 2011
SICALIDAD ha sido sometido a tres evaluaciones externas
realizadas por distintas instituciones. La evaluación de diseño de 2008,
realizada por el Instituto Nacional de Salud Pública, de carácter obligatoria
para todos los programas nuevos, arroja una valoración positiva del
diagnóstico del programa y sus principales características de diseño:
El diseño del programa SICALIDAD está suicientemente
sustentado en el Diagnóstico realizado por la DGCES, se ha seguido
todo el procedimiento señalado por el CONEVAL para la elaboración de
programas nuevos. En base al Diagnóstico se elaboraron ichas técnicas y
de ellas derivaron su propuesta de marco lógico y las reglas de operación
del programa. Los indicadores con los cuales monitorearán y vigilarán se
encuentran bien identiicados así como el tiempo de duración entre un
monitoreo y otro. En la versión preliminar de las ROP se señala de manera
sustantiva la forma como operará el programa, normando cada estrategia
en tiempos y forma. Los mecanismos para lograr mejorar la comunicación
entre el nivel federal y el estatal están en prueba y se han materializado
a través del Boletín SÍCALIDAD, instrumento que difunde las principales
actividades de la DGCES, así como datos de relevancia del sistema nacional
de salud. Los lineamientos generales del programa se están difundiendo
electrónicamente a través de Instrucciones en las cuales se detalla el camino
a seguir para lograr la consolidación de las estrategias propuestas. Ambas
formas de difusión son valoradas positivamente por el equipo evaluador.
El programa cuenta con todos los elementos para ponerse en marcha a
partir de enero de 2008, siendo sus planteamientos concretos y estando
bien identiicado el sistema de monitoreo de indicadores que les permitirá
lograr los objetivos planteados.
En general la evaluación identiica muchas fortalezas
de diseño, conceptualización y operacionalización de los
indicadores, así como un adecuado establecimiento de
metas y objetivos. No obstante, se señalan también algunas
amenazas o debilidades susceptibles de atención. En primer
lugar, a pesar de que el modelo parte de una visión amplia de
lo que implica la generación de una cultura de calidad entre
los prestadores de servicios a la salud y sus usuarios, las
estrategias de capacitación explícitas del programa se reducen
a los aspectos técnico-profesionales, sin que se mencione
cómo se incorporarán factores culturales y de contexto en
dicha estrategia, o si existirán componentes especíicos de
capacitación más allá de la dimensión técnica. Igualmente,
el equipo evaluador concluye que, a pesar de que todos los
indicadores cumplen con los criterios propuestos por el Consejo
Nacional de Evaluación de la Política de Desarrollo Social
Programas Federales Comprometidos con el Proceso de Evaluación | 81
(CONEVAL), no existen mecanismos coniables para veriicar
la veracidad de la información aportada por las unidades
médicas y otros actores involucrados en los proyectos.19
En 2008, la Evaluación Especíica de Desempeño realizada por
Investigación en Salud y Demografía S.C. (INSAD) ofrece conclusiones
consistentes con la evaluación anterior: SICALIDAD cuenta con una
adecuada integración de componentes y suicientes indicadores de gestión
que permitirán el adecuado monitoreo de la gestión. A solo un año de
implementación, el programa goza de gran aceptación entre las unidades
de salud y los usuarios y ha desarrollado una buena coordinación entre
programas (Seguro Popular, Oportunidades, Caravanas de Salud, entre
otros) e instituciones del sector: “[SICALIDAD es] un programa integrador
que ha logrado revivir el interés por hacer mejor las cosas en las unidades
de salud.”20 Por el lado de las debilidades, las principales amenazas para
SICALIDAD están relacionadas con el potencial incumplimiento con
las expectativas generadas en los participantes, vinculados con factores
externos a la operación del programa, como el serio problema de desabasto
de insumos y materiales en las unidades de salud. Además de la necesidad
de realizar una evaluación de impacto y generar más indicadores a nivel
in y propósito, el equipo evaluador de SINAD recomienda que no se
incremente la complejidad operativa del programa con más componentes,
sin que antes se tenga mayor certeza en torno a los riesgos de operación del
modelo existente y sus potenciales impactos.
En 2009-2010, Instituto Nacional de Salud Pública, con un
equipo evaluador distinto, realizó una segunda Evaluación Especíica
de Desempeño, en la que se reitera la valoración positiva del desempeño
de SICALIDAD. En particular, la evaluación señala que los aspectos
más favorables de la gestión del programa se reieren a la expansión de
cobertura y al seguimiento de los aspectos susceptibles de mejora: “[Este]
rubro evidencia el interés de los operadores del programa por identiicar
las áreas de oportunidad de SICALIDAD y actuar en consecuencia.”21 Entre
las fortalezas destaca la consolidación de líneas de acción sumamente
consolidadas como la Acreditación y los Acuerdos de Gestión, así como
“evidencias innegables del interés de los operadores por identiicar las
áreas de oportunidad, aprovechar los resultados de evaluación y establecer
acciones de mejora.”22 La mayor parte de las observaciones y hallazgos
derivados de las evaluaciones han detonado acciones concretas y han
informado la reforma de diversos procesos gerenciales, así como la revisión
de los documentos normativos y operativos de SICALIDAD, en particular los
19 INSP, “Evaluación de Diseño 2008”, Op. Cit., p. 45.
20 Investigación en Salud y Demografía (INSAD), “Evaluación Especíica de Desempeño 2008”, p. 15.
21 INSP, “Evaluación Especíica de Desempeño 2009-2010”, p. 18.
22 Ibídem, p. 19.
82 | De las recomendaciones a las acciones: la experiencia del Premio 2011
que están relacionados con el fortalecimiento del control y la supervisión.
Al momento de la evaluación, SICALIDAD había cumplido con 60% de
las acciones de mejoras comprometidas, y el resto contaba con plazos de
cumplimiento de corto plazo que, en opinión del evaluador, habían sido
muy bien deinidos y conceptualizados.
SICALIDAD incorpora de manera explícita el papel de la evaluación en
la selección de cursos de acción para la mejora continua en sus documentos
institucionales y en las instrucciones especíicas que genera el programa, en
las que se establecen acciones correctivas y se deinen los plazos concretos
para su cumplimiento. Este nuevo ejercicio de evaluación releja también
la preocupación creciente por documentar los impactos concretos en
la calidad de la prestación de los servicios de salud y la calidad percibida
por los usuarios, como resultado directo de las estrategias, programas y
proyectos vinculados a SICALIDAD.
La evaluación realizada por la Universidad Autónoma
Metropolitana (Campus Xochimilco) en noviembre de 2009 concluye
también que SICALIDAD va por buen camino, a pesar de los notables
riesgos de operación que conlleva un programa con una población objetivo
tan heterogénea y fragmentada:
La estrategia general de los componentes de SICALIDAD
analizados resulta innovadora por sus características
e incentivos propuestos. Además, concuerdan con las
tendencias actuales impulsadas en diversos países de la región
y por organismos internacionales para vincular la dotación de
recursos a proyectos concretos de apoyo para mejorar la calidad
de los procesos, incluidas estrategias de gestión de servicios
a determinados grupos de trabajadores.(…) SICALIDAD ha
constituido una red de procesos que abarcan los distintos
niveles de gobierno y de organización de los servicios médicos
con potencialidades para mejorar la calidad de la atención
médica. Existe una sólida consistencia de sus objetivos (…)
Ha establecido una articulación luida entre sus operadores
en los niveles estatal, jurisdiccional y de unidades de atención,
respaldados por un soporte de asesoría a nivel central de la
DGCES y DGACS que fortalece su aplicación. El contenido de
sus estrategias estimula la conformación de una cultura de
mejoramiento de la calidad en los servicios médicos.23
23 Universidad Autónoma Metropolitana-Xochimilco, “Evaluación técnico y inanciera de y de procesos de
SICALIDAD 2008”, 2009, p. 55 y ss.
Programas Federales Comprometidos con el Proceso de Evaluación | 83
No obstante, al igual que en previas evaluaciones, la principal
preocupación en torno a la efectividad de la estrategia tiene que ver con
las fuertes restricciones materiales de las unidades médicas en las que
SICALIDAD no puede incidir directamente, pero de las cuales depende, en
gran medida, el cumplimiento de los objetivos sustantivos del Sistema. Por
ejemplo, a pesar de que la participación de los responsables de calidad tiene
un efecto positivo innegable en los procesos de acreditación de las unidades,
las enormes carencias de infraestructura, equipamiento y personal médico
y administrativo son un obstáculo para el cumplimiento de los planes
anuales de acreditación de los Sistemas Estatales de Salud (SESA).
Como resultado directo de la gran aceptación de SICALIDAD entre
la población objetivo, y las carencias materiales y de calidad existentes en
el sistema, los límites más apremiantes para la articulación efectiva de la
estrategia son inancieros, ya que la capacidad de respuesta de SICALIDAD a
la demanda articulada que se observa en estos primeros años no es suiciente.
En consecuencia, el equipo evaluador recomienda ampliar el apoyo para
la compra de bienes y, en general, fortalecer la capacidad inanciera de
SICALIDAD. Evidentemente, las decisiones de orden presupuestario
rebasan el margen de maniobra directo de los responsables del programa.
Otro problema recurrente en los proceso clave de SICALIDAD tiene que
ver con el aparente retraso en el lujo de recursos del SICALIDAD entre las
autoridades estatales y las unidades médicas, y la desigual documentación
del ejercicio de los mismos. Claramente, este problema está relacionado
con la complejidad de la incidencia de un programa federal en un sector
descentralizado, y con enorme variación en las capacidades de gestión y
el desempeño de las autoridades estatales de salud, así como las unidades
médicas receptoras.
En síntesis, el análisis de las evaluaciones realizadas a SICALIDAD
desde su creación en 2007 arroja lecciones y recomendaciones operativas y
estratégicas consistentes: SICALIDAD es un programa bien diseñado, con
un alto grado de aceptación, y con potencial para incidir positivamente en
la calidad de los servicios de salud en México. No obstante, el programa no
cuenta con elementos explícitos que permitan evaluar su impacto concreto,
de un lado, y enfrenta barreras materiales signiicativas que podrían afectar
su incidencia entre la población objetivo, del otro.
SICALIDADぎ ┌ミ ヮヴラェヴ;マ; IラマヮヴラマWピSラ
con el proceso de evaluación
En los términos de la convocatoria del Premio, SICALIDAD presentó una
estrategia de acciones de mejora anclada en una lectura y una valoración
propia de los hallazgos derivados de las evaluaciones realizadas a
SICALIDAD, la identiicación de prioridades y la selección estratégica que
permitiera maximizar su incidencia en el corto y mediano plazo.
84 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Tabla 3: Cadena de Valor: Hallazgos, Acciones, Resultados
HALLAZGOS ACCIONES RESULTADO
ESPERADO
METAS Avance
ふAgostoぶ
No existen
elementos
para valorar
aspectos
culturales que
inciden en la
calidad más allá
de la capacidad
técnica.
1.- Incrementar en
20% la instalación
de los Comités
de Calidad
y Seguridad
del Paciente
(COCASEP) en
hospitales y
jurisdicciones
como foros de
análisis y toma
de decisiones
para mejorar la
calidad de los
servicios de salud.
Documentar el
nivel de avance
de la cultura de
calidad en los
profesionales de
la salud a través
del programa.
20% (Dic.
2011)
60%
2.-Incrementar
20% la igura del
gestor de calidad
en hospitales y
jurisdicciones
como brazo
coordinador de
las acciones para
mejorar la calidad
y seguridad de
los pacientes.
20% (Dic.
2011)
60%
3.- Medición
de la cultura
de seguridad
del paciente en
al menos 30
hospitales del país.
30 hospitales
(Dic. 2011)
80%
4.- Realizar
encuesta de
calidad en los
profesionales
de salud para
evaluar el nivel
de conocimiento,
la aplicación y
el impacto del
programa en
las unidades
médicas y en el
personal, derivado
de la difusión
y capacitación
desde 2007.
100% (Dic.
2012)
60%
Programas Federales Comprometidos con el Proceso de Evaluación | 85
HALLAZGOS ACCIONES RESULTADO
ESPERADO
METAS Avance
ふAgostoぶ
Falta presencia,
supervisión y
seguimiento de
las DGES y de
los REC para
mantener la
eiciencia en
los procesos.
5.-Realizar planes
de re-acreditación
y de supervisión
para garantizar
la calidad de los
servicios en las
unidades médicas
acreditadas
a la fecha.
Garantizar los
estándares de
calidad que
permitieron la
acreditación e
incrementar
el número
de unidades
acreditadas.
Planes y
dictámenes
de re-acreditación
y de
superivsión
de unidades
médicas en
todas las
entidades
federativas.
(Nov. 2012)
30% (al
menos 10
entidades
federativas)
Trámites lentos
y engorrosos
para el lujo
de recursos a
las unidades
médicas
inanciadas.
6.- Publicación
de convocatorias
y transferencias
de recursos
inancieros en el
primer semestre
del año.
Dictámenes de
inanciamiento
en el primer
cuatrimestre
del año y
transferencia
de recursos
en el primer
semestre.
Dictamen
del Comité
Técnico en
apoyos inancieros
y comprobantes
de
transferencias
de recursos
(Ene.2012)
60%
Privilegiar la
acreditación
Establecer
prioridades.
Realizar
evaluación
de impacto
7.-Establecer como
prioridades en
la convoctarias
de Acuerdos
de Gestión y
Capacitación 2011
las prioridades de
los proyectos.
Fomentar
aplicación de
proyectos de
SICALIDAD en
las unidades
médicas
Criterios de
prio-rización
en las convocatorias
e
Informe de
Resultados de
la Eva-luación
de Impacto.
(Ene.2012)
40%
Criterios de
priorización
y resultados
de impacto
de al menos
10 entidades
federativas.
8.-Desarrollar
y aplicar
instrumentos
para “Evaluación
de Impacto de
la Acreditación”
en las unidades
médicas de
las entidades
federativas
Medir el
impacto de la
acreditación
en los servicios
de salud en
las entidades
federativas,
evaluando
también las
prioridades de
los proyectos
SICALIDAD
100% (Ene.
2012)
40%
Informes de
resultados
de impacto
en al menos
10 entidades
federativas.
9.- Desarrollar y
aplicar “Evaluación
de la voz de los
ciudadanos” en
donde exista igura
de aval ciudadano.
Medir el
impacto de la
igura de aval
ciudadano en
las unidades
médicas
100% (Dic.
2011)
60% Resultados
de
encuesta y
recomendaciones.
10.- Diseño y
aplicación de una
nueva Encuesta
de Satisfacción
y Conianza
(ENCONSA)
Medir la
conianza de los
ciudadanos en
la prestación
de los servicios
de salud
100% (Dic.
2011)
60%
(Piloto y
recomendaciones)
Fuente: Elaboración propia con información de la Ficha de Inscripción al “Premio 2011”.
86 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Como resultado de una reunión con el Jurado del “Premio 2011”, y
el subsecuente proceso deliberativo al interior del equipo responsable de
los procesos clave de SICALIDAD, el programa presentó un compromiso
de mejora y una estrategia de implementación más detallada, en la que
se ainaron las metas y los plazos idóneos para su cumplimiento. Las diez
acciones de mejora comprometidas fueron las siguientes:
Tabla 4: 10 Acciones de Mejora
Acción de Mejora Meta comprometida
ふAgosto ヲヰヱヱぶ
Alcanzada
1.- Avanzar en la instalación de
Comités de Calidad y Seguridad
del Paciente (COCASEP) en
hospitales y jurisdicciones.
Incremento de 20% en
su operación a nivel
nacional en el sector.
>20% . 20% unidades
de atención
primaria. 1.3%
en hospitales
2.- Apoyar la igura del Gestor
de Calidad en hospitales y
jurisdicciones como brazo
coordinador de las acciones
para mejorar la calidad y
seguridad de los pacientes
Incremento de 12% en
el número de hospitales
y jurisdicciones con
Gestor de Calidad.
9.7%
3.- Medir la Cultura de Seguridad
del Paciente para evaluar el
avance de las campañas “Está
en tus Manos” y “Cirugía
Segura Salva Vidas”
Implementación del
Instrumento de Medición
en al menos 30 hospitales
del país de mediana y
alta complejidad (80%)
40%
4.- Realizar la “Encuesta de
Calidad en los Profesionales
de Salud” para evaluar el inivel
de conocimiento, aplicación
e impacto del programa,
derivado de la difusión y
capacitación realizada en 2008.
Sistematización de
resultados (60%)
80%
5.- Realizar Planes de
Acreditación, Re-Acreditación y
de Supervisión para garantizar
la calidad de los servicios
en las unidades médicas
acreditadas hasta agosto 2011.
30% 23%
6.- Publicación de Convocatorias
y transferencia de recursos
dinancieros en el primer
semestre del año para Acuerdos
de gestión y Proyectos de
Capacitación en Calidad.
60% 71.1%
Programas Federales Comprometidos con el Proceso de Evaluación | 87
Acción de Mejora Meta comprometida
ふAgosto ヲヰヱヱぶ
Alcanzada
7.- Establecer como Prioridades
en la convocatoria de acuerdos
de gestión y Capacitación en
calidad 2011 las prioridades
de SICALIDAD.
100% 100%
8.- Desarrollar y aplicar el
instrumento para la Evaluación
de Impacto de la Acreditación.
Al menos 4 entidades
federativas (40%)
60%
9.- Desarrollar y aplicar el
instrumento para la “Evaluación
de las voz de los ciudadanos”.
Todas las unidades
médicas de las entidades
federativas que cuentan
con Aval Ciudadano. (60%)
80%
10.- Diseñar y aplicar una nueva
“Encuesta de Satisfacción y
Conianzas de los usuarios de los
servicios de salud” )ENCONSA)
60% 100%
Fuente: Elaboración propia con base en el Resumen Narrativo presentado por SICALIDAD en la segunda
etapa del Premio. Las metas de 100% se reieren a acciones de mejora discretas (no procesales).
Además, SICALIDAD diseñó un mapa de ruta en el que asignó
responsables directos por la instrumentación de cada línea de acción,
identiicó riesgos potenciales y diseñó medidas de contingencia
para asegurar el seguimiento de las acciones. La calidad del ejercicio,
ciertamente perfectible24, releja una lectura cuidadosa del entorno
directo de implementación y una actitud resolutiva para responder a las
contingencias. Por ejemplo, el equipo considera que aún en ausencia
de la información necesaria para hacer una evaluación del impacto de la
acreditación, deberán considerarse alternativas (second-best), para no
renunciar a esta necesidad por falta de información completa. También
es importante enfatizar que el equipo entiende el potencial peligro de
la simulación o débil posicionamiento de los espacios para la promoción
de la calidad, y no se limita a fomentar su constitución formal, sino que
busca incidir directa e indirectamente en su empoderamiento con medidas
administrativas e incentivos suaves de persuasión.
24 Por ejemplo, algunas de las medidas de contingencia que se proponen no resuelven el problema de
fondo. Como respuesta a la baja participación en la Encuesta de Voz para los Avales y la posibilidad de
que la muestra no sea representativa a nivel nacional, se plantea ampliar el universo de participantes a
diversos actores sociales. Aunque esto permite incorporar otras percepciones que son importantes para la
formación de ciudadanía en salud, no resuelven el problema de atribución ni de poca representatividad de
la muestra per se.
88 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Tabla 5: Mapa de riesgos
ACCIÓN RESTRICCIONES RIESGOS MEDIDAS DE CONTINGENCIA
COCASEP Resistencia de los
directivos para
instalar el Comité
y sesionar de
manera continua.
Simulación. Seguimiento trimestral,
e incentivos para realizar
la Memoria Anual.
Gestor de
Calidad
Rotación de
personal elevada.
Falta de
posicionamiento
del gestor en la
unidad médica.
Establecer un peril
mínimo para el gestor.
Cultura de
Seguridad en
el Paciente
Baja participación
en la encuesta.
Retraso en
distribución y
levantamiento
del instrumento.
Desarrollar el
instrumento vía internet
para llegar a todas las
unidades hospitalarias.
Encuesta de
profesionales
Baja participación,
y limitantes en
la interconexión
a internet.
Pérdida de conianza
del personal en la
participación en
encuestas, derivado
de que no se realicen
las recomendaciones
de las encuestas
anteriores.
Difundir resultados de
encuesta a nivel estatal
y solicitar planes de
acción especíicos y
difundir avances.
Planes de
acreditación,
reacreditación

y supervisió
Deiciencia de
infraestructura
y de personal en
algunas unidades
médicas
Falta de
presupuesto en la
unidades. Falta de
presupuesto de la
DGES para salidas
de acreditación,
re-acreditación
y supervisión.
Preparar un plan
de acreditación por
entidad federativa,
de común acuerdo
con el responsable
estatal de calidad.
Solicitar ampliación
presupuestaria
para viáticos.
Acuerdos de
Gestión y
Capacitación
en Calidad
Falta de
documentación de
cuentas bancarias
por parte de
las entidades
federativas
para realizar las
transferencias
o entrega tardía
de documentos.
Modiicaciones
por parte de SHCP
al presupuesto
asignado, por
cambios en
la política de
hacienda.
Fomentar en su
momento otros medios
de inanciamiento en las
entidades federativas.
Priorización
en
Convocatorias
Ninguna Ninguna Ninguna
Medición del
impacto de la
acreditación
Que los
responsables de
calidad estatales
no acepten la
evaluación de
impacto.
Falta de datos preacreditación
y/o
sobre el proceso
de acreditación.
Considerar alternativas
de evaluación.
Programas Federales Comprometidos con el Proceso de Evaluación | 89
ACCIÓN RESTRICCIONES RIESGOS MEDIDAS DE CONTINGENCIA
Evaluación
de la voz
de Avales
Ciudadanos
Baja participación
ciudadana.
Que la muestra
de avales
ciudadanos no
sea representativa
a nivel nacional;
que no exista
comunicación
efectiva con
los avales.
Dirigir la encuesta a
todas las entidades
federativas y considerar
a todos los grupos
representativos de los
avales (ciudadanos
a título individual,
asociaciones,
escuelas, etc.)
ENCONSA Que haya baja
participación de
la ciudadanía
Fala de personal
en las unidades
médicas para
aplicar la
ENCONSA
Incentivos la
participación en la
prueba piloto, a través
de gestores, emitiendo
una constancia de
participación.
Fuente: Elaboración propia con base en la Ficha de Compromisos de SICALIDAD.
Antes de describir las estrategias diseñadas por el programa para
alcanzar los objetivos que se plantearon, es importante señalar que las
acciones seleccionadas están directamente vinculadas con las preocupaciones
más relevantes identiicadas por varias evaluaciones y, sobre todo, tienen una
clara relación con la búsqueda de mayor incidencia del programa.
Conceptualmente, estas acciones tienen que ver, en primer lugar,
con la generación de información coniable y sistemática que permita
evaluar los impactos concretos de la estrategia, así como garantizar que
los procesos de acreditación y re-acreditación cumplan con los estándares
establecidos; en segundo lugar, avanzar en la adopción de los mecanismos
institucionales y de voz que permitan ampliar la cobertura y el nivel de
apropiación de los conceptos de calidad en las unidades médicas; en tercer
lugar, revisar los documentos normativos de SICALIDAD para asegurar que
se articulen de mejor manera la prioridades centrales del mismo, evitando
así la dispersión de procesos, proyectos y esfuerzos.
En conjunto, esta combinación de medidas normativas y esfuerzos
de medición parecen acciones de simple ejecución. No lo son. Por el
contrario, es importante enfatizar que toda la estrategia depende de la
colaboración voluntaria de las unidades médicas, de la generación de
consensos y la colaboración para el intercambio de información, y del
concurso de una compleja red de actores para llegar a buen término. Por
esta razón, la efectiva instrumentación de las acciones depende de una labor
de gestión descentralizada y de movilización de recursos, información y
concientización con gran complejidad. Una vez analizadas las implicaciones
operativas y organizacionales detrás de cada compromiso puntual del
programa, resultó evidente que las acciones eran no sólo necesarias y
pertinentes, sino que las metas establecidas por el programa eran, a la vez,
realistas y ambiciosas.
90 | De las recomendaciones a las acciones: la experiencia del Premio 2011
De manera paralela al mapa de ruta de cada línea de acción de mejora,
SICALIDAD diseñó una estrategia dual de implementación para todas las
acciones, identiicando los actores clave para su efectiva realización y los
mecanismos necesarios para inducir la colaboración y el involucramiento
proactivo de los actores. El primer componente de la estrategia fue fortalecer
la gestión con el personal de salud a nivel estatal e interinstitucional a través
de la comunicación constante con los Responsables Estatales de Calidad
(RECs), los Responsables Institucionales de Calidad y con visitas del equipo
de SICALIDAD a las entidades federativas. Además, se estableció un intenso
intercambio de información vía correo electrónico y telefónico, con el in de
establecer los planes de acreditación, aumentar la participación en proyectos
de mejora, promover la instalación de Comités de Calidad y Seguridad del
Paciente (COCASEP)25, de gestores de calidad y la aplicación adecuada de las
encuestas por Internet. El principal mecanismo de transmisión de información
fue el Gestor de Calidad, quien tuvo a su cargo coordinar las acciones en
las unidades médicas, apoyar y dar seguimiento a la instrumentación de
las mejoras. Además, se estableció la igura de enlace administrativo en la
entidades federativas, para que desde las áreas inancieras y de adquisiciones
existiera un actor local que pudiera dar seguimiento a la entrega de los recursos
provenientes de SICALIDAD y que pudiera establecer responsabilidades
técnicas y administrativas a nivel estatal, para que el lujo de recursos sea ágil y
permita el monitoreo en forma descentralizada. De igual manera, SICALIDAD
intensiicó la celebración de reuniones, eventos de capacitación y la creación
de espacios interinstitucionales de discusión para promover las acciones de
mejora directamente y un mayor conocimiento de los apoyos del programa
SICALIDAD. En esa misma lógica, se buscó incidir en los niveles jerárquicos
estratégicos para mejorar la coordinación entre las principales instituciones del
sector. Por ejemplo, se gestionó directamente con el IMSS que se autorizara el
Manual de Integración y Funcionamiento del Comité Institucional de Calidad y
Seguridad del Paciente (CICASEP) en perfecta alineación con el COCASEP. Esto
último, cabe señalar, es un avance muy importante ya que, históricamente,
estas instituciones cuentan con sistemas e indicadores propios con un nivel de
consolidación organizacional muy alto, lo que hace muy difícil su coordinación
con otros miembros del sistema y, en consecuencia, la adaptación lexible de
sus estrategias y la adopción de un lenguaje común.
El segundo componente de la estrategia se concentró en el
fortalecimiento de los elementos de gestión y coordinación basados en
Internet y otras tecnologías de la información. Se intensiicó la difusión y
la promoción de la participación en las acciones del programa a través de
la RED SICALIDAD, con la transmisión constante de información, por vía
electrónica, a más de 20,000 profesionales en salud de todo el sector. Por esta
25 Las Reglas de Operación 2011 así lo deinen: “Comité colegiado de carácter técnico consultivo orientado
al análisis de la problemática en materia de calidad de la atención de los establecimientos de salud, que
propone y recomienda a los directivos, acciones de mejora continua de la calidad y seguridad del paciente”,
pero no deine explícitamente su composición ni la forma en la que estos deben constituirse y operar.
Programas Federales Comprometidos con el Proceso de Evaluación | 91
vía también se emitieron instrucciones con lineamientos especíicos para
cada acción y se veriicó que fuera socializada en toda la Red. Utilizando las
ventajas de las tecnologías de información, se aplicaron diversas encuestas
a los profesionales de la salud y a los avales ciudadanos en todo el país. Se
publicaron todas las convocatorias en la página WEB y se promovió la
utilización de la página y la diseminación de la información a través de la RED
SICALIDAD. Igualmente, se realizó una prueba piloto de la Encuesta Nacional
de. Conianza y Satisfacción (ENCONSA) y se validó estadísticamente para
asegurar la coniabilidad del instrumento.26 Se realizó también una nueva
encuesta de satisfacción con el software INDICAS II, con el in de analizar los
resultados y realizar los ajustes necesarios en la encuesta para todo el sector.
Las estrategias de SICALIDAD para mejorar sus procesos y sus
resultados, aquí y ahora, a partir de una compleja red, son notables porque
trabajan de manera simultánea en la infraestructura básica de información y
fomentan, de manera concurrente, la apropiación de estos insumos por parte
de los actores en dos dimensiones: a nivel jerárquico institucional (top-down)
y desde los enlaces administrativos y gestores de calidad en cada unidad
(bottom-up). El equipo de SICALIDAD asumió un liderazgo organizacional
decisivo y buscó fortalecer a la red en diversos niveles, con múltiples insumos
e incentivos, de manera simultánea. No es una exageración airmar que el
equipo ha sabido sortear las resistencias organizacionales y las limitaciones
de recursos con el in de posicionar de manera permanente la preocupación
por la calidad en la agenda del sector salud.
Un primer paso para alcanzar el objetivo ha sido perfeccionar los
instrumentos de gestión y monitoreo y fortalecer las capacidades de apropiación
y gestión de la red, con incentivos de diversa índole, que van más allá de los
apoyos inancieros del programa. Todo esto, es importante señalar, a partir del
trabajo en equipo de un grupo comprometido de funcionarios públicos.27
Cumplimiento de los compromisos de SICALIDAD
Al momento del cierre de la convocatoria del “Premio 2011”, SICALIDAD había
documentado el avance de todas las acciones comprometidas. El programa
cumplió las metas de 7 de las 10 acciones comprometidas, y rebasó las metas en
6 de ellas; las tres restantes demostraron avances, pero estuvieron por debajo
de las metas establecidas. En primer lugar, destaca la instalación de 1,461
Comités de Calidad y Seguridad del Paciente, con lo que se alcanzó en agosto la
meta proyectada para diciembre de 2011. La instalación de los Comités asegura
un espacio permanente para la deliberación en torno a temas de calidad en las
26 Se utilizó el alpha de Cronbach para valorar la coniabilidad de los instrumentos (análisis de correlación
de los ítems de una encuesta).
27 En el marco de las reuniones e intercambios derivados del “Premio 2011”, el Jurado identiicó de manera
consistente, que el grado de motivación, compromiso y sentido de misión del equipo es muy sobresaliente.
92 | De las recomendaciones a las acciones: la experiencia del Premio 2011
unidades, y releja cierto grado de aceptación por parte de los grupos directivos.
Esto representa en sí mismo, que se han vencido resistencias internas de las
organizaciones, se han resuelto problemas de acción colectiva y que el mensaje
va permeando en espacios estratégicos de las unidades. Sin embargo, nada nos
dice sobre la operación e inluencia de los comités en la variable de interés: la
calidad de los servicios de salud y la formación de ciudadanía en salud.
Tabla 6: Número de Comités de Calidad y Seguridad
del Paciente (COCASEP) por tipo de unidad
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
2007 2008 2009 2010 2011
378 391 607 615 250
8726
7273
218 225 0
ATENCIÓN
PRIMARIA
HOSPITALES
Fuente: Elaboración propia con datos de SICALIDAD.
La encuesta nacional “Calidad de Vida Profesional y Compromiso
con la Calidad de los Trabajadores en Salud”, todavía en proceso al
momento del cierre de la convocatoria, pero con un avance mayor a la meta
comprometida para agosto, contaba con un corte preliminar de 14,790
profesionales de salud participantes provenientes de todas las entidades
federativas, el Distrito Federal, el IMSS, el ISSSTE e instituciones privadas.
Esta encuesta contó con una batería de preguntas muy relevantes para la
operación y evaluación de SICALIDAD con relación a la Calidad de Vida
Profesional y al Compromiso con la Calidad. El informe preliminar de
resultados revela información sumamente útil para la toma de decisiones
en diversos aspectos del programa y arroja un diagnóstico preciso de
la percepción, el conocimiento y el grado de aceptación de las diversas
estrategias de SICALIDAD. Entre otros aspectos, la encuesta indica
que la estrategia dual de intervención (entre directivos y desde la base)
es adecuada, ya que a pesar de que existe un alto reconocimiento de las
capacidades técnicas del equipo directivo entre los profesionales de salud,
también existe una percepción baja del apoyo de los mismos para la mejora
de la prestación de servicios, y de la receptividad de las autoridades frente
a propuestas de mejora planteada por los profesionales. Apenas una tercera
parte de los participantes consideró que el equipo directivo se compromete
con la calidad de la atención a la salud. Esto último es, sin duda, uno de
los indicadores clave de la institucionalización y el posicionamiento de la
calidad en las prioridades del sector.
Programas Federales Comprometidos con el Proceso de Evaluación | 93
Cuadro 4: Resultados encuesta profesionales
¿Diría usted que el equipo directivo de su centro laboral
se compromete con la calidad de la atención a la salud?
6% 17% 44% 33%
¿Sus propuestas de mejora son escuchadas y aplicadas en su establecimiento médico?
15% 28% 42% 15%
¿En su establecimiento médico le informan sobre los objetivos de los programas de salud?
8% 20% 42% 30%
¿Cuenta con el apoyo de sus compañeros para la realización de su trabajo?
3% 11% 45% 41%
¿Recibe apoyo del equipo directivo para mejorar la calidad de su trabajo?
9% 25% 43% 24%
¿Tiene conianza en la capacidad técnica de su equipo directivo?
5% 13% 40% 43%
NUNCA CASI NUNCA CASI SIEMPRE SIEMPRE
Fuente: Informe de Encuesta a Profesionales (SICALIDAD)
Otro dato relevante, derivado de la encuesta, tiene que ver con los
niveles de estandarización y adopción de las guías prácticas clínicas en la toma
de decisiones cotidiana. Aunque SICALIDAD ha puesto particular énfasis en
un modelo de medicina basado en evidencia, y la adopción de protocolos y
guías profesionales para las diversas etapas de la atención médica, incluyendo
el manejo adecuado de los expedientes y la actualización y la regularización de
las prácticas clínicas, existe todavía un número importante de profesionales
que toma decisiones en función de su experiencia personal. Si a este hecho se
agrega que la mayoría de los participantes cuenta con menos de 10 años de
antigüedad, esto puede ser la fuente de mucha variación en el manejo clínico.
A la pregunta, “¿cómo toma usted las decisiones en su práctica profesional?”
menos de uno de cada diez profesionales hizo alusión a las Guías de Práctica
Clínica, y sólo 4.1% suele consultar las publicaciones cientíicas.
Cuadro 5: ¿Práctica clínica basada en evidencia?
Mediante artículos
cientíicos, revistas
y publicaciones
Libros de texto
Utiliza Planes de Cuidados
de Enfermería (PLACE)
Utiliza Guías de
Práctica Clínica (GPC)
Consulta a otros colegas
y compaeros de trabajo
Uso de las Normas Oiciales
Mexicanas o Lineamientos
de los Programas
Experienca
0% 5% 10% 15% 20% 25% 30%
30%
26%
17.7%
9.7%
7.3%
5.3%
4.1%
Fuente: Informe de Encuesta a Profesionales (SICALIDAD)
94 | De las recomendaciones a las acciones: la experiencia del Premio 2011
En general, a pesar de que el nivel de satisfacción con la calidad de
vida profesional en el sector salud es alto, la mayoría de los participantes
considera que el nivel ingreso no corresponde con las responsabilidades y
las capacidades técnicas que implica el ejercicio profesional. Esto coincide
con el señalamiento de la OCDE (2005) sobre la necesidad de vincular el
ingreso de los profesionales con variables de desempeño. Los datos relevan
también un alto grado de sentido de pertenencia y orgullo profesionales en
el sector, lo que constituye un capital social que puede y deber ser movilizado
a través de la Red SICALIDAD para posicionar los temas de calidad: 7 de
cada diez profesionales de la salud se sienten orgullosos de su adscripción
institucional y de la labor que realizan. A pesar de las carencias materiales
de equipamiento y medicamentes, el nivel de motivación y compromiso
profesional es relativamente alto.
Cuadro 6: Satisfacción y ambiente laboral
¿Se siente satisfecho con el trabajo que realiza?
¿Se siente orgulloso de pertenecer a su organización laboral?
¿Se desconecta del trabajo cuando está en su entorno familiar?
¿Tiene buen balance entre su vida personal y profesional?
¿Existe concordancia entre su puesto y sus capacidades profesionales?
3% 6% 29% 62%
1% 4% 32% 63%
1% 5% 37% 48%
1% 3% 19% 77%
1% 2% 24% 73%
NUNCA CASI NUNCA CASI SIEMPRE SIEMPRE
Fuente: Informe de Encuesta a Profesionales (SICALIDAD)
En el Componente de Compromiso con la Calidad, la encuesta
permite contar con un barómetro de todas las actividades de SICALIDAD,
desde la perspectiva de los profesionales. Esta información permitirá
valorar los niveles de aceptación de la estrategia y entender si el modelo
de intervención percibido corresponde al modelo funcional de incidencia
que se persigue. De igual manera, permitirá identiicar las áreas de menor
percepción favorable e identiicar sus determinantes. En suma, esta
información permitirá operacionalizar, a partir de evidencia actualizada,
cuáles son las variables y determinantes más importantes para avanzar en
los temas de calidad desde la perspectiva de los profesionales en salud. 76
% de los profesionales dice conocer SICALIDAD, lo que concuerda con el
Programas Federales Comprometidos con el Proceso de Evaluación | 95
alto grado de aceptación reportado por otras evaluaciones. No obstante, el
grado de conocimiento de los proyectos especíicos de la estrategia es muy
heterogéneo, como se muestra en el Cuadro 7.
Cuadro 7. Conocimiento de SICALIDAD
Premio a la Innovación y Calidad
(CALINNOVA)
Programa de Atención Domiciliaria (PAD)
Cuidados Paliativos(PALLAR)
Apoyos de SICALIDAD a la Capacitación en
Calidad, Investigación Operativa y Publicaciones
Calidad en la urgencia (SUMAR)
Calidad en la Atención Materna,
Experanza de la Vida (CAMEV)
Acuersdos de Gestión
Boletín SICALIDAD
Premio Nacional de Calidad en Salud
Uso Racional de Medicamentos (URM)
Planes de Cuidados de Enfermería (PLACE)
Prevención y Reucción de Enfermedades
Nosocomiales (PREREIN
Gestores de Calidad
Guías de Práctica Clínica (GPC)
Modelo de Expediente Clínico
Integrado y de Calidad (MEOIC)
Modelo de Gestión de Quejas,
Felicitaciones y Sugerencias (MANDE)
Acreditación - Reacreditación de Unidades
Comités de Calidad y Seguridad
de Paciente (COCASEP)
Programa de Estímulos a la Calidad
Seguridad del Paciente
Aval Ciudadano
Sistema Nacional de indicadores
de Calidad en Salud (INDICAS) 67.2%
63.2%
55.4%
52.6%
52.5%
45.5%
43.5%
39.4%
39.3%
38.4%
31.1%
30.9%
29.%8
26.5%
26.2%
22%
21.9%
15.4%
16.4%
14.5%
14.4%
11.8%
Fuente: Informe de Encuesta a Profesionales (SICALIDAD)
A pesar de que el Sistema Nacional de Indicadores de Calidad en Salud
(INDICAS) es el rubro más conocido por los profesionales, el indicador es
bajo en vista de que la internalización de un sistema de indicadores es la
columna vertebral de las institucionalización de los temas de calidad. Un
96 | De las recomendaciones a las acciones: la experiencia del Premio 2011
buen sistema de información utilizada para la toma de decisiones es una
condición absolutamente necesaria para detonar procesos endógenos de
mejora continua orientada a la calidad de los servicios. De la misma manera,
es preocupante que la dimensión de innovación de calidad (conocimiento
del Premio a la Innovación y Calidad) es muy baja, ya que puede ser un
relejo de condiciones adversas para la innovación en el ambiente laboral
cotidiano de los prestadores de servicios.
La encuesta también incluyó preguntas sobre la cobertura y la
percepción de las iguras clave del programa, como el Comité de Calidad y
Seguridad del Paciente y el Aval Ciudadano, y ofrece pistas importantes para
entender tanto el potencial transformador como las fuertes restricciones
que enfrentan estas iguras en la dinámica organizacional de las unidades.
Por ejemplo, 53% respondió saber de la existencia del Aval Ciudadano en su
unidad, 9% airmó que no existía, y el 38% restante no sabe o no contestó.
Entre quienes sabían de la existencia de dicha igura, sólo 16% consideró que el
Aval Ciudadano no ha tenido efecto alguno en la calidad de la unidad médica,
mientras que al menos la tercera parte de los profesionales señala que el Aval
Ciudadano: ha promovido mejoras en las instalaciones (34.2%); ha contribuido
a mejorar el trato y la información otorgada por el personal (34.8%); permite
conocer la opinión real que tienen los ciudadanos sobre la calidad (43.9%); y
contribuye a la reducción de tiempos de espera (44.2%). Estos datos son de
difícil interpretación, al menos en ausencia de mayor información de contexto.
No obstante, en combinación con los datos derivados de la Encuesta realizada a
los Avales Ciudadanos, podría no sólo dar cuenta del papel y grado de aceptación
de esta igura, sino también informar estrategias para fortalecer y diversiicar
la contribución de este importante actor de la estrategia en la promoción de
la ciudadanía en salud. Cabe recordar que esta igura es voluntaria, por lo que
seguramente presentará niveles altos de rotación y discontinuidad, al menos
durante la primera etapa de implementación de SICALIDAD; es decir, en
tanto no se logren condiciones básicas de institucionalización de la calidad en
la agenda del sector y existan mejores condiciones para el empoderamiento
efectivo de la igura del Aval.
Otro de los compromisos cumplidos se reiere a la agilización de
trámites y la agilización de la transferencia de recursos. Para agosto de 2011
se había realizado con éxito la transferencia de recursos por un monto de
$20,972,220.00 (71.1% del total), con el in de apoyar 95 proyectos derivados
de Acuerdos de Gestión en igual número de unidades médicas y 45 proyectos
de Capacitación en Calidad en las entidades federativas. Dicho avance
rebasó la meta comprometida inicialmente (60%). Un monto adicional de
$4,860,560.00 estaba proyectado para ser transferido a poco días del cierre
de la convocatoria del “Premio 2011”. Todo esto sugiere, en suma, que
SICALIDAD logró transferir la mayoría de los recursos asignados durante el
primer semestre de año. Este avance, sin duda, permitirá que el ciclo natural
de los proyectos de desarrolle de mejor manera, al contar con mayor tiempo
para su adecuado ejercicio en las unidades médicas respectivas.
Programas Federales Comprometidos con el Proceso de Evaluación | 97
Tabla 7: Transferencia de recursos SICALIDAD
$0
$200,000
$400,000
$600,000
$800,000
$1,000,000
$1,200,000
$1,400,000
$1,600,000
AGUASCALIENTES
CAMPECHE
COLIMA
CHIAPAS
CHIHUAHUA
DISTRITO FEDERAL
DURANGO
GUANAJUATO
JALISCO
MICHOACÁN
NAYARIT
QUERÉTARO
QUINTANA ROO
SINALOA
SONORA
TAMAPULIPAS
TLAXCALA
YUCATÁN
ZACATECAS
ISSSTE
DIF TULTITLÁN
BAJA CALIFORNIA
COLIMA
GUERRERO
MÉXICO
MORELOS
NUEVO LEÓN
OAXACA
PUEBLA
TABASCO
VERACRUZ
Fuente: Elaboración propia con información proporcionada por SICALIDAD.
Como resultado de la publicación de convocatorias en Internet y un
mayor esfuerzo de comunicación se logró la participación de 1,005 proyectos
en Acuerdos de Gestión y 201 Proyectos Estatales de Capacitación en
Calidad, todo ellos con pleno cumplimiento de los criterios de priorización
establecidos, en seguimiento a las recomendaciones de la evaluación.
En materia del análisis de impacto de los procesos de acreditación28
también se rebasó la meta de 40% de avance, con un cierre al mes de agosto de
60%. SICALIDAD entregó Reportes de Medición de Impacto de la Acreditación
en Hidalgo 2004-2010, Tabasco 2004-2010, Distrito Federal 2004-2010,
Aguascalientes 2004-2010, Tlaxcala 2004-2009 y Guerrero 2004-2009. Al
momento del cierre de la convocatoria se encontraban ya en proceso de análisis
los siguientes reportes: Estado de México 2004-2010, Oaxaca 2044-2010, y en
proceso de medición 4 entidades federativas más. Para la realización de estos
reportes se recopila información de acuerdo a los siguientes instrumentos:
1) Guía de Medición de Impacto de la Acreditación, e 2) Instrumento de
Percepción del Usuario. De manera complementaria se utiliza la información
de la Encuesta de Conianza y Satisfacción en el Sistema Nacional de Salud
para pacientes ambulatorios en unidades de atención primaria, y de consulta
externa hospitalaria. También se utilizan fuentes de información secundaria
proveniente de las encuestas disponibles y las evaluaciones realizadas por la
Dirección General de Evaluación del Desempeño.
28 La acreditación es una auditoría a las unidades médicas que contempla condiciones iniciales para la
prestación de los servicios del catálogo en función de tres criterios principales: capacidad, seguridad y
calidad. La vigencia de la acreditación es de 5 años. Todos los prestadores de servicios del Seguro Popular
deben contar con dicha acreditación. “La acreditación se concibe como un elemento de Garantía de Calidad
(…) dirigida a garantizar los servicio que integran el Catálogo Universal de Servicios de Salud (CAUSES)
y del Fondo de Protección contra Gastos Catastróicos (FPGC)”, Manual de Acreditación 2008, México,
Secretaría de Salud, p. 4.
98 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Los resultados de los reportes relejan, en general, efectos
positivos de la acreditación e ilustran que el proceso se ha desarrollado de
manera muy desigual en distintas entidades federativas. Cabe mencionar
que las diferentes fuentes de información no siempre son representativas
en el ámbito estatal, y no siempre arrojan resultados consistentes. En este
sentido, resulta deseable seleccionar un número reducido de indicadores
globales que permitan comparar los efectos de la acreditación entre
entidades federativas, y permitan informar estrategias para mejorar
el proceso, particularmente en las entidades con notable rezago en
acreditación, como el estado de Guerrero.
Tabla 8: Sintética de resultados acreditación29
DIMENSIONES/
ENTIDAD
HIDALGO GUERRERO TABASCO AGUASCALIENTES
Número de
Procesos
Mejorados
5 6 6 8
Percepciones 84% trato
digno
93%
recomendaría
la unidad
84% trato
digno
98%recomendaría

unidad
34.8%
acreditación
trae mejoras
90% percibe
mejora
secundaria
78% la
acreditación
mejoró
percepción
de usuarios
93.4% trato
digno
96.7%
recomendaría
la unidad
89.8% percibe
mejora
secundaria
Expedientes 80% glucosa
32% presión
arterial
80% glucosa
55% presión
63% control
de glucosa,
57% presión
75% glucosa
55% presión
Personal y
Equipamiento
3,406 contrataciones
(alta
especialidad)
Amplicación y
obra nueva en
486 unidades
47,722
profesionales
Ampliación y
obra nueva en
43 unidades
2,906 contrataciones
(Alta
especialidad)
Remodelaciones
y obra
nueva en 491
unidades
29
contrataciones
(Consulta
Externa)
Medicamentos
(Recetas
surtidas)
82% 64% 65%-75% 70%
Avance
Acreditación
80.1% 23.8% 89.9% 105%
Financiamiento
Global
$ 600,
323,539.88
$13,815,736.35 $466,107,273.89 $9,161,075.35
Fuente: Elaboración propia con información de los Reportes de Impacto de la Acreditación.
29 El porcentaje de expedientes con revisión de glucosa capilar en pacientes diabéticos, y la revisión
de tensión arterial en aquellos que se encuentran fuera de rango es un buen proxy de la adopción de
estándares de manejo clínico de estos pacientes.
Programas Federales Comprometidos con el Proceso de Evaluación | 99
La Encuesta de Profesionales releja percepciones relativamente
bajas del vínculo entre acreditación y mejora sustantivas en las unidades
de salud. El cambio más notable, en la percepción de los profesionales, es
al aumento en la disponibilidad de medicamentos para la atención de los
ailiados al Seguro Popular.
Cuadro 8: Efectos percibidos de la acreditación
27%
16%
15%
14%
13%
10%
6%
Con la acreditación ha impulsado la
capacitación o actualización académica del
personal médico y paramédico
La unidad médica cuenta con los servicios a
los que tienen derecho los usuarios ailiados
al Seguro Popular
La acreditación ha signiicado cambios en la
calidad de la atención
La acreditación ha supuesto mejoras en los
procesos de atención médica
La acreditación no ha representado un cambio
en las condiciones de la unidad de salud
Con la acreditación se ha podido cumplir
con requisitos de infraestructura,
equipamiento, mobiliario o instrumental
La unidad acreditada cuenta con aumento
en la cantidad de medicamentos para los
usuarios ailiados al Seguro Popular
Fuente: Encuesta a Profesionales (SICALIDAD).
Durante el mes de julio se aplicó la Evaluación de Voz a los Avales
Ciudadanos, con la participación de 30 entidades federativas y el Distrito
Federal. En esta encuesta participaron 3,732 avales ciudadanos con el in
de identiicar las facilidades o restricciones que ha tenido su intervención
para la mejora de la calidad en salud. El avance de 80% rebasó la meta
comprometida (60%). El Reporte de la Evaluación señala que la tasa de
participación en dicho instrumento fue baja y muy desigual entre entidades
federativas (rango de participación de 0.03% en Coahuila a 18,84% en el
Estado de México). Esto releja un incipiente, pero importante nivel de
articulación de la igura del Aval como actor clave del sistema. La mayoría de
los avales tiene acceso a espacios institucionales para informar a usuarios y
pacientes sobre la igura del Aval y transmitir información del programa, y
la trasmitida por pacientes y familiares en la unidad respectiva. Los avales
conocen al Gestor de Calidad de la unidad y han sido invitados a participar
en los Comités de Calidad y Seguridad del Paciente. Esta información es muy
importante para valorar y profundizar la densidad de la colaboración de
los diversos actores del sistema. En ausencia de una preocupación explícita
por la integración de las vertientes complementarias de la estrategia, todos
100 | De las recomendaciones a las acciones: la experiencia del Premio 2011
estos esfuerzos se pueden atomizar si no existe colaboración directa entre
usuarios, profesionales, autoridades y los mecanismos de contraloría social,
entre ellos el Aval Ciudadano.
Finalmente, en relación a la ENCOSA se logró 100% de cumplimiento
(respecto a 60% comprometido). Se realizó una prueba piloto en 6
entidades federativas y, a partir de los resultados se rediseñó la encuesta
que será aplicada en todo el país, con un número menor de reactivos y varias
modiicaciones solicitadas por el personal de las unidades que participó en
la prueba piloto.
Cuadro 9: ENCONSA
TRATO DIGNO Y PRIVACIDAD
COMUNICACÓN E INFORMACIÓN
LISTA Y TIEMPO DE ESPERA: ATENCIÓN PRONTA
SURTIMIENTO DE MEDICAMENTOS
CONFORT-SEGURIDAD
SATISFACCIÓN Y CONFIANZA DEL SERVICIO EN GENERAL
Fuente: Elaboración propia con información del Reporte Enconsa 2011 (SICALIDAD)
Tareas pendientes
Las metas que no se alcanzaron fueron el número de gestores de
calidad designados, el avance en la aplicación de la encuesta Cultura de
Seguridad del Paciente y el avance en la acreditación, re-acreditación y
supervisión de unidades médicas. En relación a los gestores, el programa
documentó la designación de 110 gestores (entre enero y agosto), lo que
representa un incremento de 9.7% respecto de 2010, ligeramente abajo de
la meta de 12%, lo que probablemente compromete la meta de 20% para
2012. Sin embargo, SICALIDAD reporta un retraso en la contabilización
de los gestores del IMSS y del ISSSTE, cuya documentación ya había
sido enviada a la Dirección General de Calidad. Este hecho puede indicar
menor luidez en la comunicación y la realización de trámites con estas dos
instituciones que, por su peso e inluencia en el Sistema de Salud, son de la
mayor importancia.
Programas Federales Comprometidos con el Proceso de Evaluación | 101
Tabla 8: Evolución del Número de Gestores
0
500
1000
1500
2000
2007 2008 2009 2010
NÚMERO DE GESTORES
Fuente: Elaboración propia con datos de SICALIDAD.
La encuesta de Cultura de Seguridad del Paciente ya contaba con el
consenso explícito de los hospitales participantes y el diseño de la aplicación
en línea para el levantamiento se encontraba en curso (programado
para octubre de 2011). En consecuencia, el grado de avance se considera
favorable, a pesar de no haberse alcanzado la meta comprometida para
agosto. Como se mencionó anteriormente, el Jurado del “Premio 2011”
consideró que las metas eran realistas pero, por ser ambiciosas, tenían una
probabilidad moderada de ser alcanzadas en su totalidad.
También hubo rezagos en los procesos de acreditación. Durante
2011, se acreditaron 425 unidades nuevas en 24 entidades federativas
(acumulado de 8,979 unidades en el país); se realizaron 47 re-acreditaciones
y 3 visitas de supervisión, lo que equivale a un 23% de avance frente a 30%
comprometido para agosto.
La información proporcionada por SICALIDAD no permite
identiicar las razones concretas por las cuales no fue posible alcanzar la
meta de acreditación, re-acreditación y supervisión. Durante 2011 sólo
se realizaron 3 visitas de inspección. El control directo de este proceso
por parte de los operadores de SICALIDAD a nivel federal es mucho más
elusivo que en otras líneas de mejora, ya que depende de la distribución
preexistente de condiciones, de infraestructura y capital humano, para la
acreditación y/o re-acreditación en la unidades que prestan servicios al
Sistema de Protección Social en Salud, y aquellas que decidan hacerlo de
manera voluntaria. La acreditación es el proceso más complejo, y con mayor
capacidad de incidencia en la mejora de la calidad en la prestación de los
102 | De las recomendaciones a las acciones: la experiencia del Premio 2011
servicios de salud. De ahí que diversas evaluaciones hayan sugerido que
SICALIDAD focalice y redoble esfuerzos en esta importante dimensión de
la estrategia.
En el caso del levantamiento de la encuestas Calidad y Seguridad
del Paciente, el programa alcanzó sólo la mitad de lo comprometido para
agosto: 40% de avance. Sin embargo, una vez que se obtuvo consenso en
los hospitales en los que habría de realizarse la encuesta y completado
el desarrollo de la plataforma en Internet, el cumplimiento de las metas
estaba previsto para la primera semana de octubre de 2011.30
Tabla 9: Evolución de la acreditación 2004-
2011 (Número de unidades)
HISTÓRICO 2004-2010 2011
$0
100
200
300
400
500
600
700
900
800
AGUASCALIENTES
BAJA CALIFORNIA SUR
CHIAPAS
COAHUILA
DISTRITO FEDERAL
ESTADO DE MÉXICO
GUERRERO
JALISCO
MORELOS
NUEVO LEÓN
PUEBLA
QUINTANA ROO
SINALOA
TABASCO
TLAXCALA
YUCATÁN
FEDERALES
Fuente: Elaboración propia con información del Reporte de Acreditación 2011 (SICALIDAD)
Resultados esperados
Todas las iniciativas de mejora parecen indicar que SICALIDAD estará
mejor posicionado para avanzar en la consecución de sus objetivos a
partir de la instrumentación de estas acciones. La debida alineación y la
cuidadosa y comprometida instrumentación de la ruta crítica derivada de la
evaluación fue precisamente la que le granjeó el reconocimiento del Jurado
30 Las decisiones de Jurado se realizaron estrictamente con el criterio de corte a agosto de 2011. Esta es
únicamente una aclaración de contexto.
Programas Federales Comprometidos con el Proceso de Evaluación | 103
en la primera edición del “Premio 2011”. En esta sección se presentará en
primer lugar, una síntesis analítica de los resultados de mediano plazo
y de las lecciones aprendidas desde la perspectiva de los operadores de
SICALIDAD. En segundo término, se ofrecerá un balance externo y un
análisis de las lecciones de esta experiencia que pueden ser útiles para
otras instituciones y programas. Naturalmente, algunas de estas lecciones
y aprendizajes son intrínsecas a la lógica y operación de SICALIDAD. No
obstante, la motivación de este análisis es potenciar la portabilidad de las
lecciones y ofrecer algunas pistas adicionales para la relexión práctica sobre
la utilización de las evaluaciones para la mejora continua y la rendición de
cuentas, aquí y ahora, con la premisa básica que motivó al “Premio 2011”.
El equipo de SICALIDAD presentó seis resultados esperados
concretos en el Resumen Narrativo que elaboró en el marco del “Premio
2011”. En mi opinión, estos resultados pueden agruparse en dos grandes
rubros: avance en la institucionalización y fortalecimiento de la evaluación.
Este solo hecho releja una estrategia diversiicada e integral de mejoras
que, en conjunto, tendrá mayor probabilidad de incidencia que la
instrumentación de todas las acciones de mejora en un mismo nivel de la
cadena de valor de SICALIDAD (por ejemplo, enfocarse exclusivamente en
procesos gerenciales).
Uno de los principales retos de la implementación en red de
un programa que busca posicionar el tema de la calidad en la agenda
permanente del sector salud, en el contexto de fragmentación y
heterogeneidad del sistema, requiere, necesariamente, construir y orientar
una nueva institucionalidad. Por institucionalidad se entiende el conjunto
de reglas, incentivos y expectativas de acción que estructuran las decisiones
individuales de los actores en el sistema; por extensión, determinan el
curso de la acción colectiva. La institucionalidad, por generar patrones
sistemáticos de comportamiento, construye al mismo tiempo criterios
normativos de adecuación de las conductas (el deber ser; lo que es correcto)
e incentivos contundentes para producirlos (el ser; lo que es esperable en
función de la estructura de incentivos).
En este sentido, avanzar en la institucionalización de la cultura de la
calidad implica generar un entramado de reglas, normas, valores e incentivos
que inluyen en las expectativas de los actores, induciendo así sus conductas
y estrategias individuales. En el caso particular que nos ocupa, la visión de
institucionalización se materializa cuando los usuarios, los prestadores y
las instituciones a cargo de la atención a la salud asumen roles deinidos y
permanentes que ponen a la calidad en el centro de sus preocupaciones y la
erigen en ancla de sus relaciones funcionales (interacción, comunicación y
producción): el usuario que conoce, reconoce y exige, el prestador de servicio
que cuenta con la capacidad ética, profesional y material para satisfacer la
demanda ciudadana por el lado de la oferta, y una serie de instituciones que
104 | De las recomendaciones a las acciones: la experiencia del Premio 2011
fomentan, preservan y ofrecen premios y castigos en directa relación con el
nivel de calidad producida a nivel individual y colectivo, en el ámbito de su
actuación. En una frase: capacidades e incentivos.
La estrategia de institucionalización de SICALIDAD está
claramente orientada al fortalecimiento de los actores clave que pueden
articular, de manera descentralizada, una agenda permanente de atención,
monitoreo y respuesta a las preocupaciones en torno a la calidad de los
servicios en la unidades de atención: avanzar en la cobertura y fortalecer
el papel de la igura del Gestor de Calidad como interface entre los niveles
federal y estatal de gobierno, y el nivel de unidad; mejorar la coordinación
de las acciones de las áreas técnica y administrativa de calidad, para agilizar
la transferencia de recursos y el control efectivo de su adecuado ejercicio.
Igualmente, asegurar el funcionamiento continuo y efectivo del Comité de
Calidad y Seguridad del Paciente, y contribuir al empoderamiento del Aval
Ciudadano mediante su interlocución directa con los comités y los gestores,
para aumentar así su credibilidad y su capacidad tanto de movilizar
demandas (vs. apatía de los usuarios) como de insertarse en las esferas de
deliberación y decisión que permitan satisfacer las demandas ciudadanas y
proteger los derechos de los pacientes. Es a partir de estas tres iguras, en
directa colaboración y coordinación, que puede fomentarse y canalizarse
capital social a favor de la calidad. Por el lado de la estructura, a nivel
unidad, el perfeccionamiento de los procesos de acreditación y la elevación
de los estándares materiales y técnicos para la prestación de los servicios
es la otra pieza clave en la dimensión de institucionalización. En la medida
en que logre avanzarse de manera consistente en todas estas dimensiones,
se podrá avanzar más eicazmente en la construcción de institucionalidad
para la calidad en salud.
La segunda dimensión tiene que ver con el fortalecimiento de
la capacidad de evaluación, autoevaluación, diagnóstico y generación de
mejoras endógenas en todos los actores del sistema. Evidentemente, la
calidad y pertinencia del lujo de información en los espacios de negociación
que ofrece la red de actores de SICALIDAD depende, en gran medida de
la veracidad, validez y oportunidad con el que se manejen los indicadores
objetivos y de percepción en el sistema. Por esta razón, es un acierto que
el programa haya dedicado tanto esfuerzos y atención organizacional para
documentar de manera periódica y coniable el grado de avance de la cultura
de la calidad. A partir de las encuestas realizadas, y el pilotaje cuidadoso de
sus instrumentos, será posible regularizar la medición anual de las variables
clave en todo el sector a in de aumentar la conianza de la ciudadanía con
base en evidencia: el cumplimiento puntual de sus expectativas y la asertiva
respuesta frente a las preocupaciones y las percepciones reveladas por
diversas encuestas.
Programas Federales Comprometidos con el Proceso de Evaluación | 105
La primera dimensión podría caracterizarse como inversión en
infraestructura a partir del fortalecimiento de los nodos de la red (los
actores clave); la segunda, vinculada con la evaluación, es una inversión en
la información sistemática, periódica y coniable, para que la transmisión
de información y comunicación de la red tenga asideros claros para detonar
procesos de mejora en todos los niveles. Como es evidente, una dimensión
es condición necesaria de la otra y viceversa: esta es precisamente la
dialéctica entre actor y sistema en la teoría de redes. Por esta razón, los
resultados esperados por el equipo de SICALIDAD relejan no sólo claridad
en los objetivos, sino conocimiento de las dinámicas del sector de los
que éstos dependen: articulación en red, buscando un círculo virtuoso de
posicionamiento, retroalimentación y fortalecimiento.
Las lecciones aprendidas de este proceso, en la voz de los
participantes, ilustran una visión compartida por el equipo en torno a la
importancia de articular todas sus acciones con la lógica de red, buscando
abrir e institucionalizar espacios para la generación de consensos y mejorar
la coordinación.
Cuadro 9: Lecciones aprendidas por el equipo de SICALIDAD
La integración de una red de personas clave que interactúen para conocer,
difundir y aplicar acciones que a nivel federal se establezcan. Por ello la
importancia de un líder de proyecto a nivel federal, un responsable estatal de
calidad y un gestor de calidad local, estableciendo canales permanentes de
comunicación, explotando las ventajas de las tecnologías de información.
La creación de mecanismos de análisis y toma de decisiones locales que
impacten en los resultados globales, que se utilicen como foros (COCASEP).
No sólo para tratar los temas de calidad y seguridad del paciente, sino
para vincular a SICALIDAD con otros programas interinstitucionales a
nivel local (Seguro Popular, Caravanas de Salud, Oportunidades, etc.).
Aumentar la visibilidad de los foros y espacios de discusión y toma de
decisiones mejora la comunicación y permite generar compromisos
del cuerpo directivo, los profesionales de salud y la ciudadanía.
Medir la coniabilidad de los instrumentos utilizados en las encuestas permite
identiicar las preguntas que agregan más valor y facilitan su interpretación.
Es importante generar información ex ante y ex post, para valorar
el desempeño no sólo en relación a las metas, sino en relación a
la naturaleza de los avances, para poder distinguir los cambios
permanentes de las acciones que tienen efecto temporal.
En un sistema federal, es más importante involucrar a todos los actores
y delegar responsabilidades de acuerdo al ámbito de intervención de
cada uno, en vez de perseguir el control directo. Un ejemplo de esto es
el impacto de la creación de un enlace administrativo para agilizar en
proceso de transferencia, y permitió alcanzar las metas inancieras.
Fuente: Adaptación del Resumen Narrativo de SICALIDAD
106 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Ahora bien, a pesar de que el mapa de ruta es conceptualmente
idóneo. Es necesario advertir algunos potenciales riesgos, como el manejo
y la administración de las expectativas, y la potencial proliferación de
instrumentos de evaluación sin que exista la capacidad concurrente para
procesarlos e internalizarlos en el proceso de toma de decisiones o se
conviertan en una serie de señales inconexas respecto a distintos aspectos
del programa, con espacio para la ambigüedad en su interpretación.
La literatura sobre evaluación ha documentado uno de los
principales riesgos del tránsito a la gestión por resultados: la proliferación
errática de indicadores e insumos de información, el ajuste estratégico de
metas (cambiar el estándar en vez de cambiar el desempeño), y la fatiga
de reforma que ocurre cuando un sistema enfrenta exceso de información,
presiones dispersas, y cuenta con poco instrumentos efectivos para
responder. Si bien es cierto que todos estos levantamientos de datos son
muy importantes en la primera etapa de implementación del programa,
como insumos para ir ajustando el modelo causal de intervención, debe
reconocerse que la atención y la energía organizacionales son limitadas,
y que éstas deberán administrarse para asegurar la internalización del
modelo de gestión, en vez de un bing-bang que pueda agotar el ímpetu de
la iniciativa. Si se bombardea con exceso de levantamientos y requisitos
de información a los actores en el sistema, sin que se pueda documentar
una respuesta decisiva derivada de los resultados de los levantamientos,
gradualmente disminuirá la tasa de participación, la coniablidad, y por
tanto la utilidad de la información recabada. Por ejemplo, todo parece
indicar que, aún en las condiciones precarias que todos conocemos del sector
salud, de manera consistente, más de 90% de los usuarios recomendaría la
unidad. Igualmente, los niveles de satisfacción del paciente ya están arriba
de 85% lo mismo en Guerrero que en Aguascalientes, estados que cuentan
con grados de acreditación y niveles de calidad notoriamente diferentes.
Con esos patrones de respuesta, como línea base de percepción, podría
llegarse a conclusiones erróneas y una deinición inadecuada de las metas
de mejora de percepción. En la medida en que las percepciones dependen de
las expectativas y del nivel de información con el que cuentan los usuarios,
y que la percepción de un servicio tan complejo y multidimensional como
la atención en salud es de suyo problemática, valdría la pena relexionar,
desde la óptica de los derechos, si los niveles altos de percepción favorable
se basan en bajas expectativas y fuertes asimetrías de información o en el
efectivo cumplimiento de los derechos de los pacientes. De lo contrario,
será difícil conciliar, e interpretar, para la mejora de la atención, los datos
sobre tiempos de espera, desabasto de medicamentos y poca información
provista por el personal médico y de enfermería, con los niveles altos de
percepción de que el trato recibido fue digno y que la unidad médica merece
una recomendación por parte del paciente.
Programas Federales Comprometidos con el Proceso de Evaluación | 107
Por esta razón, es pertinente que el programa utilice la experiencia
de estos primeros levantamientos para asegurarse que la información que
de ellos se desprende sea realmente útil para la toma de decisiones en todos
los niveles del sistema, y que releje cambios sustantivos en las variables de
interés. Que permita valorar la contribución relativa de cada componente
de la estrategia al objetivo general, y ajustar las prioridades de SICALIDAD
en consecuencia. Con la generación de instrumentos de medición y la
realización de evaluaciones anuales en todas estas dimensiones se asegura
una condición necesaria, más no suiciente para fortalecer las capacidades
de evaluación de la estrategia y maximizar el papel de la evaluación como
un instrumento permanente y cotidiano para la mejora continua. En gran
medida, la capacidad de internalización de los procesos de evaluación
requiere de una selección cuidadosa de los aspectos que deben medirse
regularmente, pero sobre todo, de su signiicado concreto en el contexto de
la prestación de servicios, así como sus implicaciones para los procesos de
gestión y la deinición de prioridades.
Balance general y lecciones aprendidas
Como se mencionó al inicio de este capítulo, el Jurado del “Premio 2011”
encontró una serie de atributos notables en la ruta crítica elaborada por
SICALIDAD a partir de los hallazgos de las evaluaciones. Estos atributos,
además de merecer un reconocimiento público al compromiso, el esfuerzo y
la asertividad con los que el equipo de SICALIDAD incorpora los resultados
de las evaluaciones en su relexión práctica sobre la gestión de la estrategia,
y rescata los aspectos más importantes para detonar acciones de mejora
con metas, objetivos y estrategias puntuales de instrumentación, puede
ofrecer pistas para una relexión más general sobre los factores que inciden
en esta capacidad de convertir la evaluación en acción puntual para la
mejora. SICALIDAD es un ejemplo de compromiso con la evaluación.
Antes de aventurar algunas hipótesis sobre los factores que explican este
alto nivel de compromiso y apropiación, vale la pena recordar los atributos
identiicados por el Jurado, como resultado de las sesiones deliberativas
con los operadores del programa, y el análisis cuidadoso del contenido,
la calidad y la pertinencia de las acciones comprometidas y los resultados
alcanzados.
LキSWヴ;┣ェラが ゲWミピSラ SW マキゲキルミ ┞ デヴ;H;テラ Wミ Wケ┌キヮラ
El equipo de SICALIDAD es relativamente reducido y cuenta con pocos
instrumentos directos de intervención en su compleja y diversa población
objetivo, en el marco de las facultades expresas del gobierno federal en el
sector, para inducir una auténtica revolución cultural en la prestación de los
servicios médicos y contribuir a la formación de ciudadanía en salud. En ese
108 | De las recomendaciones a las acciones: la experiencia del Premio 2011
marco, los recursos con los que cuenta el equipo podrían describirse como
soft power: incentivos suaves que dependen de la credibilidad y la capacidad
de generación de consensos para frenar las resistencias naturales de las
organizaciones frente a la evaluación externa de sus rutinas arraigadas, y
la presión para que existan espacios de contraloría social y deliberación en
aspectos sensibles de la toma de decisiones. El equipo reconoce que mucho
depende de su capacidad de convocatoria, de la credibilidad de su mensaje
y del buen talante en el manejo de las relaciones intergubernamentales.
Sortear este difícil camino hacia la transformación de las prioridades del
sector parece sólo posible con un sentido de misión compartido, mucho
trabajo en equipo y un liderazgo decisivo. Ésa dinámica de trabajo se relejó
claramente en la interacción del Jurado con el equipo de SICALIDAD.
Todos los miembros del equipo participaron activamente en la selección
de hallazgos, acciones y estrategias para cumplir las metas. Se asignaron
responsables directos por cada línea de acción, pero se mantuvo la
cooperación transversal del equipo en todas las acciones comprometidas.
Durante la revisión de las acciones, ofrecieron retroalimentación informada
y entusiasta, compartieron experiencias fallidas y algunos éxitos que
permitieron al equipo evaluador conocer mejor la complejidad del entorno
que enfrentan los operadores: alta rotación en niveles jerárquicos de los
sistemas estatales de salud, enormes barreras de entrada para los avales
ciudadanos, diicultades para incentivar el conocimiento y la participación
en la convocatorias, restricciones vinculadas al ciclo presupuestal.
En ese margen, y con una clara disposición para darle vuelta a los
obstáculos, los miembros del equipo relexionaron sobre la necesidad de
ser facilitadores constantes del seguimiento de todos los procesos y tener
siempre abiertos los canales de comunicación. Por reconocer que su misión
tiene que ver con un cambio en las actitudes, los valores y las conductas
de usuarios y prestadores de servicios por igual, el equipo de SICALIDAD
depende mucho de la concientización y la generación de espacios en los que
las partes colaboren de manera voluntaria y permanente. El liderazgo, el
sentido de misión y el trabajo en equipo son factores de difícil medición.
No obstante, su presencia es inconfundible. El lenguaje común y el sentido
de compromiso se relejan no sólo en la apropiación individual de la misión
de SICALIDAD por parte de los miembros del equipo. Se encuentra también
en el bagaje conceptual y normativo que permea todos los documentos de
SICALIDAD.31
31 Por dar un ejemplo: El Plan de Acción Especíico 2007-2012 reconoce públicamente y de manera
individual a todos los actores que contribuyeron en la conceptualización y diseño de SICALIDAD,
reconociendo que es una empresa colectiva en la que participaron especialistas del IMSS, ISSSTE, SNDIF,
CONAMED, OCDE, entre otras. Finalmente, el documento señala: “Nuestro agradecimiento entrañable a
quienes nos precedieron en el trabajo y la dedicación a los temas de calidad y seguridad del paciente, por
su trabajo, su legado y su testimonio.” SICALIDAD, “Programa de Acción Especíico 2007-2012”, Op. Cit.,
p.108.
Programas Federales Comprometidos con el Proceso de Evaluación | 109
Aceptación y credibilidad de las evaluaciones
Varias evaluaciones de SICALIDAD destacan el nivel de aceptación de los
resultados de la evaluación por parte del equipo, y su clara determinación
por tomarlos con seriedad, e incorporarlos ex oicio en sus estrategias
de mejora de la gestión. En primer lugar, es evidente que existe una
convicción compartida en torno al sentido y la utilidad de las evaluaciones
externas, no sólo como fuente de información relevante para ajustar la
operación del programa, sino también como catalizador interno de las
energías reformadoras y para movilizar apoyos externos para algunas
iniciativas. Lejos de verlo como una amenaza, una intromisión o un trámite
engorroso, el equipo de SICALIDAD ha internalizado a la evaluación como
un aliado estratégico y una contribución sustantiva al proceso continuo
de retroalimentación con el que operan, y en el que incorporan no sólo la
evaluación externa, sino las opiniones y las sugerencias de los actores de
las Red SICALIDAD y las lecciones extraídas de los foros que organizan
regularmente. Efectivamente, desde el inicio de SICALIDAD el equipo ha
incorporado prácticamente la totalidad de recomendaciones derivadas
del proceso de evaluación. Ahora bien, este hecho es también atribuible
a la calidad y la pertinencia de las evaluaciones. A pesar de que el equipo
tiene una predisposición favorable frente a la tarea evaluativa, la efectiva
utilización de las recomendaciones es también una función de la calidad y la
credibilidad de sus resultados, y de la pertinencia de sus recomendaciones.
En este sentido, vale la pena destacar que la utilización de las evaluaciones
no es únicamente responsabilidad de los operadores de los programas,
sino que debe ser una preocupación central para quienes realizan las
evaluaciones. En la medida en que el evaluador incorpore los criterios de
aplicabilidad de las recomendaciones y no se limite a generar valoraciones
y recomendaciones generales sin que medie un conocimiento especíico de
las restricciones en las que operan los programas, se estará fortaleciendo
también la apropiación de las evaluaciones por parte de los operadores. Los
evaluadores deben entender que los lineamientos son estándares mínimos
para realizar la evaluación, y no machotes o check-lists que agotan los
requisitos de una sólida evaluación con el cumplimiento pro forma de los
términos de referencia. Si quienes realizan la evaluación se comprometen
directamente con los operadores de los programas como destinatarios
de primer orden de sus resultados, como los evaluadores de SICALIDAD
parecen haberlo hecho, la traducción de los hallazgos en planes concretos
de acción será más ágil y productiva.
AデWミIキルミ ラヴェ;ミキ┣;Iキラミ;ノ ; ノ;ゲ ゲWモ;ノWゲ SWノ Wミデラヴミラ
El modelo de gestión de SICALIDAD, por la diversidad de actores e
instituciones que involucra, ha conducido, de manera afortunada, a una
lógica de operación abierta a las señales diversas que provienen del entorno
110 | De las recomendaciones a las acciones: la experiencia del Premio 2011
de los Sistemas Estatales de Salud y la heterogeneidad relativa del contexto
en que estos operan. Este modelo de operación, muy distinto al modelo
clásico de control burocrático, ha permitido que la dinámica organizacional
incorpore de manera permanente una muy alta receptividad a la
retroalimentación como forma de operación y como estrategia de gestión.
El caso de la evaluación es uno de ellos, pero no el único. SICALIDAD,
por ser un programa que depende de la generación de consensos para su
articulación en red, interactúa de manera abierta con el entorno como
precondición de efectividad. Esta forma de operar ofrece condiciones muy
favorables para la internalización de las evaluaciones, como ha quedado de
maniiesto en el análisis de esta experiencia.
Sólidos conocimientos en evaluación
Desde las primeras etapas del “Premio 2011”, la calidad del material de
inscripción de SICALIDAD fue sobresaliente en muchos sentidos. En
primer lugar, porque relejó una sólida capacidad analítica del equipo, que
permitió no sólo extraer los hallazgos de mayor relevancia y potencial
impacto en la mejora del programa, sino porque supieron traducirlos en un
plan de acción concreto con indicadores adecuados y una conexión lógica
explícita con el modelo de intervención de SICALIDAD, sus productos y
procesos. La icha de inscripción fue la más completa e integral: la selección
de prioridades fue adecuada, las acciones de mejora tenían un vínculo claro
con la modiicación de las debilidades identiicadas, los indicadores y los
medios de veriicación eran idóneos y relejaban de manera transparente
el grado de avance esperado en las variables de interés. En los procesos de
deliberación y retroalimentación con el Jurado, el equipo demostró tener
certeza y claridad respecto a las prioridades identiicadas como resultado
de la evaluación, y que las acciones de mejora provenían de un proceso de
análisis y priorización bien planteado. Los operadores de SICALIDAD podían
ofrecer explicaciones y justiicaciones claras para cada una de las acciones,
y ofrecer relexiones informadas sobre las alternativas, y el diferente grado
de factibilidad de las recomendaciones, así como su pertinencia directa
para la gestión del programa. Es decir, podían identiicar con seguridad qué
factores se encontraban en su ámbito de intervención, y cuáles, a pesar de
ser pertinentes, tendrían que considerarse variables estructurales desde el
punto de vista de los operadores.
A pesar de estar vinculados con el nivel de compromiso del equipo,
estos atributos no son resultado directo de la voluntad y/o la disposición de
los participantes. En mi opinión, con una perspectiva comparada, el factor
determinante tiene que ver con un alto nivel de capacitación y manejo de los
conceptos e instrumentos de evaluación de los miembros del equipo. Otros
programas, igualmente comprometidos con la mejora continua a partir de
la evaluación, tuvieron mayor diicultad en la deinición de indicadores y
Programas Federales Comprometidos con el Proceso de Evaluación | 111
la mejor aproximación a los aspectos susceptibles de mejora. En suma, la
capacidad y el conocimiento en materia de evaluación de este equipo fue
superior el promedio.
ぅAgミキS;S WノWIピ┗;い
Una hipótesis natural derivada del análisis de la experiencia de SICALIDAD
se relaciona con la naturaleza misma del programa. La familiaridad del
equipo de SICALIDAD con los conceptos, los requisitos y la vocación
transformadora de la evaluación tiene mucho que ver con el hecho de que
SICALIDAD opera con instrumentos, insumos y modelos de intervención
anclados en la evaluación para la mejora continua orientada a la calidad en
la atención. En ese sentido, la vocación de política pública y la dinámica de
su población objetivo, generan una ainidad electiva con las preocupaciones
y capacidades que imperan en el ámbito federal en material de evaluación
de programas. La implicación directa de esta hipótesis, es que el desempeño
notable del programa puede ser parcialmente atribuible a una ventaja
comparativa pre-existente, derivada de las condiciones de operación
del programa. SICALIDAD se dedica a fomentar la calidad a partir de la
evaluación de la calidad en el servicio de las unidades médicas, y tiene un
modelo de incidencia análogo al esfuerzo de la política pública de evaluación
de todos los sectores: generación de indicadores, promoción de modelos de
mejora de la gestión, creación de un lenguaje común y una red de actores
para fortalecer la redición de cuentas, etc. A pesar de que en todos los
ámbitos de política pública existen condiciones para –y la necesidad de–
la evaluación y la utilización de las evaluaciones para la mejora continua,
algunos sectores, tienen ya antecedentes importantes en materia de
evaluación, sobre todo si se les compara con sectores como el cultural o
el ambiental, en donde la cultura de evaluación es mucho más reciente o
los requisitos técnicos para monitorear los productos y los resultados son
todavía materia de debate técnico y conceptual de fondo. A pesar de que
sólo lo que se mide se puede mejorar, algunos programas tienen que tomar
decisiones de mayor complejidad para decidir qué medir y cómo hacerlo, de
manera consistente con sus objetivos sociales.
Es importante señalar que estas diferencias entre el nivel de
maduración, la calidad de las evaluaciones y el tipo de compromisos
planteados fueron tomados en consideración por el Jurado, tratando
de aislar los factores que explican el nivel de compromiso y la adecuada
internalización de la evaluación, controlando por las diferencias
sistemáticas de insumos y margen de maniobra de cada programa, evitando
así comparar peras con manzanas. Sin embargo, el análisis más puntual de
esta experiencia nos lleva necesariamente a explorar esta posibilidad con el
in de informar lecciones de política pública más allá del sector.
112 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Conclusiones
Es evidente que nuestro sistema de gestión por resultados se
encuentra todavía en la etapa de ensayo y error. A pesar de que se ha avanzado
de manera muy notable en la dimensión institucional de la evaluación,
existe todavía mucho margen de mejora y una gran heterogeneidad en
relación a la utilización de la evaluación. En primer lugar, todavía hay
mucho por avanzar en el fortalecimiento del mercado de evaluación per se,
para asegurar niveles óptimos en la calidad de las evaluaciones y fomentar
su orientación al proceso de toma de decisiones. La consolidación del
mercado de evaluación seguramente requeriría revisiones y ajustes a nivel
normativo y gerencial, pero depende en última instancia, de la formación
de capital humano no sólo para la realización de las evaluaciones en todas
sus variantes metodológicas, sino también la formación de capacidades
entre quienes tienen bajo su responsabilidad tanto la gestión de las
evaluaciones como su incorporación en el proceso interno de mejora de la
gestión. Es en ese sentido que la relexión práctica sobre la utilización de la
evaluación, aquí y ahora, nos lleva a la necesidad de invertir, mucho más de
lo que hemos hecho a la fecha, en la capacitación de los actores vinculados
al proceso de evaluación.
Una de las grandes lecciones de SICALIDAD tiene que ver con las
capacidades adquiridas por el equipo operadores del programa en materia
de evaluación. En cómo, a partir de una formación sólida en torno a la
función evaluativa, los funcionarios adquieren conciencia de su enorme
utilidad y cuentan con elementos profesionales para ser interlocutores
proactivos de los evaluadores, receptores críticos de los hallazgos y actores
capaces y dispuestos a internalizar las recomendaciones y movilizarlos
estratégicamente para detonar procesos de mejora. El nivel de compromiso
y liderazgo que caracteriza la experiencia de SICALIDAD en el marco del
“Premio 2011” es también atribuible a la “convicción basada en evidencia”,
de los potenciales de la evaluación. En la práctica cotidiana de la red de
SICALIDAD, los funcionarios han aprendido, mediante ensayo y error, cuál
es la importancia de que el lujo de información y el manejo de indicadores
sean acompañados por la creación de infraestructura de capital humano
que tenga incentivos para apropiarse dichos insumos y hacer suya la meta
común: agregar valor al ciudadano. Muchos de los atributos del equipo de
SICALIDAD que merecen reconocimiento tienen que ver con la actitud y
los valores pro evaluación que caracterizan al equipo. Esto permite que
la evaluación no sea vista como un costo organizacional, sino como un
valioso insumo estratégico, merecedor de un nivel alto de atención y una
incorporación permanente en el proceso de toma de decisiones.
Por esta razón, la experiencia de SICALIDAD nos recuerda que, sin
menoscabo del perfeccionamiento del marco regulatorio e institucional de
nuestro sistema de evaluación, existe un muy amplio margen de maniobra
en las tareas de concientización y capacitación para la evaluación. En
analogía con la misión de SICALIDAD en la formación de ciudadanía en
Programas Federales Comprometidos con el Proceso de Evaluación | 113
salud, la inversión en capital humano para el posicionamiento permanente
de la orientación a resultados en la agenda del sector público y social pasa,
primero, por fortalecer a los actores centrales del proceso de evaluación, y
construir espacios de legitimidad, comunicación y negociación en los que
puedan compartir información y experiencias, ser reconocidos por sus
esfuerzos, y generar un lenguaje común. Todo esto con el in de avanzar
colectivamente para que el Estado mexicano pueda rendir cuentas por sus
frutos, y satisfacer plenamente las legítimas expectativas ciudadanas por
una acción gubernamental eicaz y eiciente.
Apéndices
Características de los apoyos de SICALIDAD
ESTRUCTURA DE LOS APOYOS FINANCIEROS
CONCEPTO MONTO MÁXIMO
Acuerdos de Gestión con
Compromisos de Caldiad
$150,000.00 (Centros de Salud)
$300,000.00 (Unidades Hospitalarias)
Proyectos de
Capacitación,
publicaciones
e investigacion
operativa en calidad
$400,000.00 (Capacitación)
$200,000.00 (Publicaciones)
$200,000 (Investigación Operativa)
Premio Nacional de
Calidad en Salud
$500,000.00 (Premio Nacional)
$400,000.00 (Primer Reconocimiento )
$300,000.00 (Segundo Reconocimiento)
$300,000.00 (Premio Nacional a
la Innovación en Calidad)
$200,000.00 (Primer Reconocimiento
a la Innovación en Calidad)
$100,000.00 (Segundo Reconocimiento
a la Innovación en Calidad)
Reconocimiento a la
Memoria Anual del
Comité de Calidad y
Seguridad del Paciente
$100,000.00 (Establecimientos de Atención Primaria
en primer nivel de atención y atención ambulatoria)
$100,000.00 (Hospitales en diversas modalidades
e Institutos Nacionales de Salud)
Premios y
reconocimientos
SICALIDAD podrá otorgar reconocimientos y
mención sin aporte económico, en el seno del
Foro Anual de Calidad a aquellas iniciativas
de mejora en las unidades de salud que, de
conformidad con las prioridades anuales de
SICALIDAD, contribuyan a la mejora continua y a la
reingeniería de procesos en la atención de salud.
Fuente: Reglas de Operación 2011
114 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Evolución del presupuesto
Año Presupuesto %
SICALIDAD SS
2007 No disponible 55,583,155,867 -
2008 115,622,808 69,426,100,000 0.17
2009 115,718,875 85,036,468,164 0.14
2010 164,304,081 89,892,930,927 0.18
2011 166,587,627 105,313,896,605 0.16
Año Gasto %
SICALIDAD SS
2007 No disponible 53,144,031,993 -
2008 101,069,538 69,743,470,263 0.14
2009 81,856,375 80,959,255,960 0.10
2010 153,132,365 86,765,574,210 0.18
2011 No disponible No disponible -
Año SICALIDAD Х de Presupuesto
Ejercido
Presupuesto Gasto
2007 No disponible No disponible -
2008 115,622,808 101,069,538 87.41
2009 115,718,875 81,856,375 70.74
2010 164,304,081 153,132,365 93.20
2011 No disponible No disponible -
Fuente: Presupuesto de Egresos de la Federación.
BキHノキラェヴ;i;
F. Knaul et al., “Evidence is good for your health system: policy reform to
remedy catastrophic and empoverishing health spending in Mexico”, he
Lancet, Vol.368, Núm. 9550, Noviembre de 2006, pp. 1828-41.
Frenk, Julio, “La salud como derecho ciudadano”, Nexos, Núm. 410, Febrero
2012.
Programas Federales Comprometidos con el Proceso de Evaluación | 115
Instituto Nacional de Salud Pública (INSP), “Evaluación de Diseño 2008”
---------, “Evaluación Especíica de Desempeño 2009-2010”, p. 18.
Investigación en Salud y Demografía (INSAD), “Evaluación Especíica de
Desempeño 2008”.
Ley General de Salud
OCDE, Estudios de la OCDE sobre los sistemas de salud-México, México,
OCDE-Secretaría de Salud, 2005.
Secretaría de Salud, Manual de Acreditación, México, 2008.
Sistema Integral de Calidad en Salud (SICALIDAD), “Programa de Acción
Especíico 2007-2012”, Subsecretaría de Innovación y Calidad, México,
Secretaría de Salud, 2007.
--------, Quinto Informe de Labores 2011, México, Secretaría de Salud, p. 46.
Universidad Autónoma Metropolitana-Xochimilco, “Evaluación de
Procesos”, 2010.
116 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Programas Federales Comprometidos con el Proceso de Evaluación | 117
Programa de Atención a la Demanda de
Educación para Adultos y Modelo de
Educación para la Vida y el Trabajo (INEA)
Eréndira Avendaño y Mariana García
Antecedentes
El Programa de Atención a la Demanda de Educación para Adultos y el
Modelo de Educación para la Vida y el Trabajo, que coordina el Instituto
Nacional para la Educación de los Adultos (INEA), buscan atender los
problemas de rezago educativo y analfabetismo que enfrenta la población
mexicana. Esto, con el propósito de “contribuir a disminuir las desigualdades en
las oportunidades educativas entre grupos sociales incrementando la escolaridad
de los beneiciarios.”1
Desde su creación en 1981, el INEA emprendió acciones
para generar una oferta de educación básica que permitiera atender a la
población que no pudo iniciar o concluir su formación educativa, a nivel
primaria o secundaria, en edad normativa.
1 Reglas de Operación de los programas Atención a la Demanda de Educación para Adultos (INEA) y Modelo de
Educación para la Vida y el Trabajo (INEA), 2012, publicadas en el Diario Oicial de la Federación el viernes
30 de diciembre de 2011. (ver en: http://www.inea.gob.mx/transparencia/pdf/marco_normativo/Reglas_
de_Operacion2012.pdf)
118 | De las recomendaciones a las acciones: la experiencia del Premio 2011
En México, durante la década de 1970, los problemas de
analfabetismo afectaban a más de 25 por ciento de la población de 15 años y
más. Sin embargo, las últimas cifras disponibles muestran una disminución
importante, ya que en 2010 se registró que 7.6 por ciento de la población
se encontraba en esta condición.2
Recientemente, se generaron mediciones
que permiten capturar otras dimensiones del problema que enfrenta la
población sin acceso a servicios educativos. De esta manera, el Consejo
Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)
estima la dimensión del rezago educativo, que se reiere a la población de
3 a 15 años que no asiste a la escuela y que no ha concluido la educación
secundaria, así como la población nacida hasta 1981 que no ha concluido
la educación básica. El rezago educativo que enfrenta el país, según este
indicador, afectó a 19.6 por ciento de la población en 2010 y, de acuerdo
con el INEA, cerca de 31 millones de mexicanos enfrentan condiciones de
rezago educativo3
.
La situación que relejan las cifras anteriores no es un asunto menor
y de ahí deriva la importancia del INEA, pues es el único instrumento de
política pública en el país que atiende el problema de analfabetismo y rezago
educativo de la población joven y adulta. Las acciones que coordina el INEA
buscan atender dichos problemas mediante: la oferta de servicios gratuitos
de alfabetización; apoyo para que la población concluya la primaria o
secundaria; servicios de acreditación y certiicación del aprendizaje; así
como una oferta educativa acorde a las necesidades de formación para la
vida y el trabajo.
El INEA, al igual que el sistema de educación básica en el país,
es federalizado, lo cual implica la descentralización de los servicios de
educación para adultos. Para la operación de estos servicios, se suscriben
Convenios de Coordinación con los gobiernos estatales y son los Institutos
Estatales de Educación para Adultos (IEEA) quienes proporcionan la
educación básica a la población beneiciaria. No obstante, el INEA es el
órgano que mantiene la rectoría de la educación para adultos y acredita los
servicios prestados por los IEEA.
Actualmente, el INEA recibe un presupuesto de poco más de 2 mil
millones de pesos, cantidad que representa únicamente 0.8 por ciento del
gasto educativo aprobado para la Secretaría de Educación Pública (SEP).4
En comparación con otros programas educativos, la atención a la demanda
de educación para adultos cuenta con recursos escasos, y ello plantea
retos importantes para la operación y cobertura del programa. A través
2 Los datos se obtuvieron de los resultados del Censo de Población y Vivienda del Instituto Nacional de
Estadística y Geografía (INEGI).
3
Indicadores de carencia social CONEVAL ver: http://web.coneval.gob.mx/Paginas/principal.aspx
4
Información del Decreto de Presupuesto de Egresos de la Federación para el ejercicio iscal 2012,
publicado en el Diario Oicial de la Federación el 12 de diciembre de 2011 (ver en: http://dof.gob.mx/
nota_detalle.php?codigo=5226418&fecha=12/12/2011).
Programas Federales Comprometidos con el Proceso de Evaluación | 119
del INEA se atiende a más de 2 millones de jóvenes y adultos de 15 años
y más en situación de rezago educativo en todo el país. Esto es posible
gracias a la colaboración y coordinación con otras instituciones públicas o
privadas y con la sociedad civil. Cabe resaltar que el Programa de Atención
a la Demanda de Educación para Adultos y el Modelo de Educación para
la Vida y el Trabajo funcionan con la participación voluntaria de asesores
que brindan apoyo en las tareas de formación educativa5
y mediante el
préstamo de inmuebles para ofrecer los servicios educativos; no obstante,
dichos espacios no necesariamente cuentan con todas las características
indispensables para llevar a cabo las actividades educativas que promueve
el INEA.
L;ゲ W┗;ノ┌;IキラミWゲ Iラマラ ヮ┌ミデラ SW ヮ;ヴピS;
en la mejora del desempeño
Las evaluaciones relevantes en el marco del “Premio 2011” se insertan
dentro de los esfuerzos de evaluación de la presente administración federal
(2006-2012) y forman parte, tanto del Programa de Mejora de la Gestión
(PMG), como del Sistema de Evaluación del Desempeño (SED); ambos en
operación desde 2008. El Programa de Atención a la Demanda de Educación
para Adultos6
y el Modelo de Educación para la Vida y el Trabajo (MEVyT),
diseñados y normados por el INEA, fueron sujetos a dos evaluaciones en
este periodo: una Evaluación de Consistencia de Resultados en 2008 y
una Evaluación de Peril, Reclutamiento, Capacitación y Gratiicación de
Asesores en 2009, las cuales ofrecieron resultados y recomendaciones para
mejorar el funcionamiento y la operación del Programa.
La Evaluación de Consistencia de Resultados fue realizada en marzo
de 2008 por la Facultad Latinoamericana de Ciencias Sociales (FLACSO) e
implicó, en términos generales, “un diagnóstico sobre la capacidad institucional,
organizacional y de gestión de los programas para alcanzar resultados”. Con
esta óptica, se identiicaron algunas de las principales fortalezas y áreas de
oportunidad en la operación del Programa; entre las cuales se encuentran,
principalmente, el diseño del Programa, cuyo propósito está bien orientado
hacia el compromiso de desarrollar capacidades para la vida y el trabajo
en sectores diferenciados de la población, a través de la concepción de la
educación como un proceso permanente de generación de capacidades. Por
otro lado, en el Programa existe también una clara deinición del problema
que se busca atender: en este caso, a través del Modelo de Educación para la
Vida y el Trabajo (MEVyT), se brindan opciones educativas que se ajustan
5
El Instituto Nacional para la Educación de los Adultos (INEA) no establece ninguna relación laboral con
las personas de la sociedad civil que apoyan en las funciones de formación educativa.
6
Referido en el documento como el “Programa”.
120 | De las recomendaciones a las acciones: la experiencia del Premio 2011
a las características y necesidades de los beneiciarios a través de módulos
diferenciados para jóvenes, mujeres amas de casa, trabajadores, indígenas,
entre otros.
Existe, entonces, una alineación efectiva entre el propósito del
Programa, sus objetivos y las actividades propuestas para alcanzarlos. No
obstante, permanece una tensión entre el enfoque limitado a la acreditación
de conocimientos y el enfoque de desarrollo de capacidades. Es en este
último en el que se concentran los esfuerzos del MEVyT, aunque persisten
algunas fallas que obstaculizan su eiciencia.
Asimismo, entre las áreas positivas del Programa destacadas en
la evaluación de FLACSO, se encuentran: la existencia de sistemas de
información para dar seguimiento a los servicios que se otorgan y de
monitoreo de los avances educativos de los beneiciarios; la deinición
adecuada de la población potencial; la disponibilidad de una extensa red
de unidades operativas a nivel nacional (a través de los institutos estatales
y las delegaciones); y la aplicación de encuestas de satisfacción entre los
beneiciarios.
Sin embargo, siguen existiendo aspectos susceptibles de mejora
en la planeación, operación y focalización del programa. Entre los
más sobresalientes destacan: las limitaciones de los datos recabados
por el Sistema Automatizado de Seguimiento y Acreditación (SASA)
para caracterizar el peril socioeconómico de los educandos; la falta de
profundidad en la focalización de su población objetivo, por lo que ésta
no se diferencia suicientemente de su población potencial, haciendo
poco viable que el INEA pueda cumplir con la cobertura de una población
objetivo de más de 24 millones de personas; la inexistencia de mecanismos
de coordinación entre los niveles e instancias del Instituto para avanzar
sobre las prioridades y estrategias del Programa, sobre todo con las
entidades federativas; la falta de seguimiento de las personas registradas
como inactivas en el Programa; y la carencia de un peril adecuado en los
asesores educativos, quienes tienen además una permanencia muy escasa
dentro del esquema del MEVyT.
El último punto se vincula directamente con la segunda evaluación
externa referida en la metodología del “Premio 2011”, esto es, la Evaluación
del Peril, Reclutamiento, Capacitación y Gratiicación de los Asesores,
realizada en 2009 por Ahumada, Lobo y Asociados.7
Dicho estudio planteó
el diseño y operación de un Sistema de Información para el Seguimiento y
la Evaluación (SISE) que valora el peril y las capacidades desarrolladas por
los beneiciarios, además de evaluar el peril académico y profesional de los
asesores.
7
Ahumada Lobo y Asociados, Estudios Económicos y Políticas Públicas, Informe Final del Diseño y
Desarrollo para 2008 del Sistema de Seguimiento y Evaluación de los Beneicios del MEVYT y Evaluación
del Peril, Reclutamiento y Remuneración de los Asesores que Aplican el MEVYT, México, INEA, 2009.
Programas Federales Comprometidos con el Proceso de Evaluación | 121
La evaluación señaló, entre los principales obstáculos para la
operación del Programa, la falta de instrumentos de diagnóstico de las
competencias y las necesidades de formación de los asesores: las tasas
de reprobación siguen siendo empleadas como el principal insumo para
valorar las diicultades que enfrentan los asesores en el proceso educativo,
lo que deriva en una oferta indiscriminada de talleres de formación a todos
los asesores, independientemente de que lo requieran o no, además de una
baja regulación de los contenidos de formación.
En ambos ejercicios de evaluación se encuentran convergencias en
los resultados obtenidos: por un lado, se reitera la importancia de contar
con evaluaciones de impacto para medir a cabalidad los efectos del MEVyT
en la formación de competencias para la vida y el trabajo; por el otro, se
enfatiza la necesidad de contar con esquemas de evaluación del peril de
los asesores en función de la competencias ideales que deben desarrollar
para operar el MEVyT, acentuando aquellas capacidades relacionadas con
la orientación y la motivación de los educandos, la selección y organización
de contenidos educativos, así como la evaluación de los conocimientos
adquiridos por los beneiciarios.
El aspecto vinculado con la ausencia de evaluaciones sobre el peril y
competencias de los asesores, es presentado en la primera evaluación como
parte de las principales debilidades para operar el Programa, mientras
que, en la segunda evaluación, se propone precisamente una metodología
que permita valorar a cabalidad la pertinencia del peril que presentan los
asesores para asegurar la eiciencia del MEVyT.
En este sentido, las evaluaciones citadas plantean estrategias
dirigidas a los formadores educativos del Programa para asegurar, por
un lado, que se mejoren los mecanismos de reclutamiento, capacitación y
retención de los mismos; y, por el otro, para que los asesores generen una
intervención pedagógica más sólida alcanzando metas más ambiciosas en
términos de la atención, formación y acreditación de los educandos.
Mejora de las capacidades de formación:
factor clave para el INEA
A partir de las evaluaciones realizadas al programa, se identiicaron una
serie de recomendaciones en los ámbitos de gestión y operación del INEA,
las cuales han sido valoradas por el Programa para emprender acciones
que le permitan alcanzar su propósito y mejorar su desempeño. De las
conclusiones de la Evaluación de Consistencia y Resultados 2008, realizada
por FLACSO, el INEA seleccionó como aspecto susceptible de mejora los
122 | De las recomendaciones a las acciones: la experiencia del Premio 2011
hallazgos vinculados con la falta de un peril adecuado de asesores educativos
del programa, ya que ello genera limitaciones en la implementación del
modelo de formación para adultos.8
Asimismo, de la evaluación del Peril, Reclutamiento, Capacitación
y Gratiicación de los Asesores 2009, se retomaron las observaciones
asociadas con la inexistencia de mecanismos formales para valorar las
habilidades y las capacidades que posee el asesor para guiar a los educandos
en el proceso de aprendizaje; así como la falta de un diagnóstico de sus
necesidades de formación y capacitación para implementar el Programa.
Como consecuencia del reconocimiento de estos aspectos susceptibles de
mejora, en el marco del “Premio 2011”, el INEA ijó los siguientes objetivos
para avanzar en la atención de los retos de su formación: (1) precisar
el peril de los asesores educativos; y (2) diseñar un instrumento de
diagnóstico para detectar necesidades de formación de asesores educativos
“en los distintos ejes del modelo de educación para adultos (matemáticas, lengua
y comunicación, ciencias, actitudes socioculturales y habilidades pedagógicas)”.
9
Esto, mediante la (3) aplicación en línea de un instrumento diagnóstico
para identiicar fortalezas y debilidades de los asesores educativos frente
al peril que requiere la implementación del programa. En este sentido, el
INEA se planteó como meta que el 100 por ciento de los asesores educativos
activos en todo el país fueran evaluados.
Las acciones formuladas por el Programa para atender el aspecto
susceptible de mejora consideraron, por lo tanto, una estrategia que
abarca: la valoración diagnóstica de asesores; la elaboración de programas
de formación a nivel estatal con base en la evidencia de los resultados
del diagnóstico; la integración de equipos de formación en los Institutos
Estatales; la implementación de los programas de formación; y, nuevamente,
la revaloración de las capacidades y habilidades de los asesores educativos
para identiicar los resultados del proceso de capacitación. Así también,
llevar a cabo acciones continuas de detección de necesidades de formación y
valoración permanente del peril de asesores que participan en el programa.
Para realizar estas acciones, el INEA construyó el Registro Automatizado de
Formación (RAF), el cual empezó a operar en el año 2009 con el objetivo de
sistematizar y automatizar el proceso de caliicación de cada asesor solidario
para la identiicación de requerimientos de formación. La funcionalidad de
este sistema es que proporciona retroalimentación de manera inmediata al
asesor y permite al Programa establecer rutas de formación especíicas con
base en los resultados obtenidos en el Registro.
En su conjunto, se percibe un amplio compromiso del INEA con
el proceso de evaluación que se releja en la selección de hallazgos para
mejorar su desempeño derivados de las evaluaciones externas. En este
8
FLACSO, Evaluación de Consistencia y Resultados, Op. Cit.
9
Valoración Diagnóstica, documento presentado por el INEA para la inscripción en el Premio 2011:
Programas Comprometidos con el proceso de evaluación.
Programas Federales Comprometidos con el Proceso de Evaluación | 123
sentido, la búsqueda del fortalecimiento y mejora de las capacidades de
formación educativa que ofrece el programa, sin duda, representan un
aspecto fundamental para ampliar las posibilidades en la generación de
efectos positivos en la población objetivo que atiende el programa, en este
caso, jóvenes y adultos mexicanos en condición de rezago educativo.
Estudios internacionales consideran que existe, hasta cierto punto,
un consenso en cuanto a que la formación de los docentes, profesores, o
asesores mantiene una relación positiva con el aprovechamiento10 de los
educandos.11 De acuerdo con la Organización para la Cooperación y el
Desarrollo Económico (OCDE) “la calidad docente es la (…) variable escolar
de más peso que inluye en el desempeño del estudiante”.
12 Bajo esta lógica,
concentrar los esfuerzos del INEA en fortalecer el peril de asesores
encargados de llevar los servicios de educación para adultos es un acierto
que tiene un amplio potencial. Este aspecto es valorado en mayor medida,
debido a que las características de la educación para adultos implican un
reto signiicativo a la oferta de los servicios de educación básica en la
deinición de un modelo pedagógico y capacidades de formación, mismas
que deben responder a las diversas necesidades de jóvenes y adultos.
Es decir, impulsar acciones para mejorar las capacidades de
formación implica elevar la probabilidad de una correcta implementación
del programa, pues los asesores educativos son los encargados de proveer
los servicios a la población objetivo. En los hechos, esto signiica la
generación de una oferta de educación para adultos más adecuada que en
el pasado, y en consecuencia un mejor servicio público. Finalmente, ello
permitirá elevar las posibilidades de un impacto positivo en lo superación
del rezago educativo de los jóvenes y adultos mexicanos.
Cabe mencionar que, aunque las evaluaciones externas analizadas
en el contexto del “Premio 2011” presentan más hallazgos relevantes sobre
los retos que debe enfrentar el INEA, la selección del aspecto de mejora
de la formación de asesores es prioridad. Parte de las recomendaciones de
las evaluaciones consideran aspectos que son pertinentes, como lo son la
medición del impacto del programa, la valoración sobre la satisfacción de
beneiciarios, el fortalecimiento de un sistema de seguimiento y monitoreo,
la mejora en la cuantiicación de la población objetivo, la revisión de
mecanismos de coordinación institucional. Sin embargo, la mayor parte
de ellos, a excepción del tema de focalización de la población objetivo,
son aspectos que relejan desafíos mayores en las etapas de diseño e
implementación del programa. Por ello se advierte la asertividad del INEA en
10 S. Lawrence, “Social Structure and Teacher Efects on Academic Achievement: A comparative Analysis”,
Comparative Education Review, Vol. 27, Núm. 1, Febrero de 1983, pp. 69- 88.
11 M. Boissiere, Determinants of Primary Education Outcomes in Developing Countries, Washington, D.C.,
Banco Mundial, 2004.
12 Organización para la Cooperación y el Desarrollo Económico (OCDE), Mejorar las escuelas: Estrategia
para la acción en México, 2010.
124 | De las recomendaciones a las acciones: la experiencia del Premio 2011
la selección del aspecto de mejora relacionado con el fortalecimiento de las
capacidades de formación, pues esto imprime un efecto de transformación
al programa que tiene efectos en todo el ciclo de política pública.
En ese sentido, el INEA formuló acciones para atender la falta de un
peril adecuado en los asesores educativos a partir del desafío que implica
la propia operación del programa, pues como se mencionó anteriormente,
su gestión depende de la participación de la sociedad civil como asesores
solidarios y a ello, se suma la alta movilidad y rotación de los facilitadores
del aprendizaje que participan en el programa. Ante estas condiciones, se
realizaron pláticas de sensibilización y concientización con los asesores,
acerca de la importancia de la evaluación, lo que facilitó la valoración
diagnóstica.
Conforme a la evidencia presentada por el INEA, el programa diseñó
una estrategia integral que comprometió actividades articuladas entre sí,
para generar cambios de largo aliento en la implementación del programa
y que contribuyeran en la resolución del aspecto de mejora seleccionado.
Probablemente una interpretación simplista del hallazgo de evaluación
únicamente hubiera considerado la construcción del peril de asesor “ideal”.
No obstante, el INEA consideró como punto de partida de la
estrategia la obtención de un diagnóstico de las debilidades y necesidades de
formación de los asesores educativos, lo que generó información estratégica
para la elaboración de programas de capacitación que respondieran a los
requerimientos de los asesores solidarios. Se implementaron mecanismos
que permitieron sistematizar la información de las evaluaciones aplicadas a
los asesores y se llevaron a cabo procesos de formación. Todo ello, culminó
nuevamente con una revaloración de la formación de los asesores después
de tomados los cursos de capacitación y, inalmente, se incluyó como acción
continua la valoración del peril de los asesores de acuerdo a los diversos
contextos donde se implementa el Programa. En suma, se observa la
deinición estratégica de acciones entrelazadas que implican cambios en
procesos sustantivos del Programa.
Un balance de la implementación de las
mejoras: acciones y resultados
Las acciones de mejora implementadas por el INEA, de acuerdo con
la evidencia documentada en las evaluaciones externas, estuvieron
encaminadas a dar seguimiento a la formación de asesores educativos a
través de estrategias diversas: en primera instancia, el diseño, desarrollo
e implantación del Registro Automatizado de Formación (RAF) y la
realización de la Valoración Diagnóstica a los asesores solidarios; en segunda
instancia, el empleo de la Valoración Diagnóstica para diseñar una oferta de
formación congruente con las necesidades detectadas en la evaluación; y,
Programas Federales Comprometidos con el Proceso de Evaluación | 125
inalmente, el objetivo de mantener la Valoración y Revaloración continua
de asesores educativos para determinar los alcances de las acciones de
formación implementadas.
Dado que el esquema de Valoración Diagnóstica es empleado
por el Programa desde el 2009, se establecieron compromisos de mejora
por parte del INEA que se acotaran al periodo de evaluación del Premio,
especíicamente entre marzo y agosto del 2011. Por lo tanto, las acciones
de mejora a implementar en el marco del “Premio 2011” apuntan
concretamente a tres compromisos: i) la valoración diagnóstica del 100
por ciento de los asesores, ii) la articulación e integración de las acciones
de formación establecidas a partir de la valoración diagnóstica en un
Modelo Prototipo de Formación (MoPro), y iii) la creación de un equipo de
formadores especializados en distintos ejes educativos en cada Instituto y
Delegación Estatal.
Relativo al compromiso del INEA de completar la valoración
diagnóstica de los asesores solidarios, es clave mencionar que la valoración
en el año 2011 implicaba dos modelos: por un lado, la valoración diagnóstica
de los asesores nuevos recién incorporados al Programa; por el otro, la
revaloración de aquellos asesores que ya habían sido evaluados en 2010 y
sometidos a procesos de formación a través del MoPro y ofertas estatales
de formación. Los resultados obtenidos hasta agosto de 2011 apuntan a la
valoración de 33,969 asesores (es decir, 52.6 por ciento del total de asesores
activos de nuevo ingreso). Asimismo, 13 Institutos Estatales aplicaron el
instrumento diagnóstico, con lo cual se logró un avance de 44 por ciento en
la valoración de asesores activos en 2010.
Con referencia al seguimiento de la formación de asesores, la
valoración diagnóstica que se llevó a cabo en 2010 permitió que se
identiicaran con claridad las competencias y las debilidades de los
formadores para desempeñar con mayor calidad la asesoría de las personas
que son usuarias de los servicios del Programa. A partir de esta valoración,
se establecieron tres ejes considerados como prioritarios (Matemáticas,
Lengua y Comunicación y Aptitudes Pedagógicas), en función de que la
mayoría de los asesores (64 por ciento) mostraron debilidades en los niveles
de dominio de estos contenidos educativos.
Tomando como antecedente lo anterior, en el año 2011 se pusieron
en marcha dos líneas de acción destinadas a dar respuesta a las necesidades
de formación de los asesores detectadas en la Valoración Diagnóstica. En
primer lugar, se puso en operación la estrategia MoPro, que implica el
desarrollo de contenidos a través de la importación de diplomados en los
3 ejes considerados prioritarios. En segundo lugar, el establecimiento de
acciones de formación en los Programas Anuales Estatales de Formación
(PAEF) elaborados por los Institutos Estatales y Delegaciones del
INEA.
126 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Los principales resultados reportados por el INEA, respecto al
seguimiento a la formación de asesores al corte de Agosto 2011, fueron
la implantación del MoPro en 8 entidades de la República (Campeche,
Coahuila, Chiapas, Durango, Morelos, Nayarit, Tabasco y Zacatecas) y la
conformación de equipos de formadores especializados (quienes tienen
funciones multiplicadoras de las capacidades educativas en cada eje
prioritario), con la presencia de al menos una de estas iguras en cada
Coordinación de zona de las 8 entidades. Además, una vez concluidos
los cursos diseñados para reconstruir el aprendizaje de los asesores, son
sometidos a una evaluación en línea para determinar si pueden pasar al
siguiente nivel, misma que fue aplicada y concluida en 5 de las 8 entidades
que participan en la estrategia, lo que implicó 2,200 asesores evaluados, de
los cuales 70 por ciento logró una caliicación aprobatoria.
En términos generales, la evidencia presentada por el INEA para
documentar los resultados del compromiso con el proceso de evaluación,
muestran algunas virtudes en el funcionamiento del Programa, pero
también importantes obstáculos para su operación e implementación.
La meta de evaluar la formación de 100 por ciento de los asesores que
participan en el MEVyT es ambiciosa, dadas las limitaciones en las
capacidades organizacionales y presupuestales del Programa, así como la
alta rotación del personal educativo lo que impediría concluir el proceso
de valoración con la certeza de que todo el universo de asesores permanece
activo al término de la misma. No obstante, las acciones de mejora elegidas
por el INEA son acordes con los principales hallazgos derivados de las
evaluaciones externas al Programa y son consistentes con la importancia
de evaluar y mejorar las capacidades de los formadores educativos, pues
el valor pedagógico e instrumental de esa iniciativa para generar efectos
positivos en la población objetivo es considerable.
Así también, los esfuerzos realizados para implementar una
valoración y revaloración diagnósticas que cubren a casi la mitad de los
asesores activos del INEA y el desarrollo de un programa de formación y
evaluación a los asesores son muy loables, dadas las diicultades geográicas,
políticas y sociales para la aplicación del instrumento de valoración en
algunas regiones del país y las ya referidas limitaciones en términos de un
presupuesto restringido y una elevada rotación de los asesores solidarios.
Para superar esas diicultades, el Programa ha contado no sólo con
la colaboración y participación activa de los equipos de los Institutos y
Delegaciones Estatales de INEA para operar el proyecto en sus regiones,
sino además con la enorme disposición de la comunidad de asesores
dispuestos a ser sometidos a evaluación para conocer mejor sus fortalezas y
debilidades, así como a participar en las actividades de formación diseñadas
para superar esos rezagos. En este sentido, el reto de someter a evaluación
a personas que están participando en un esquema voluntario, requiere de
Programas Federales Comprometidos con el Proceso de Evaluación | 127
una enorme sensibilización previa para transmitirles la importancia de ese
ejercicio para mejorar los alcances e incidencia de su intervención en la
enseñanza de grupos más vulnerables.
Asimismo, la implementación, sistematización y digitalización
de las herramientas para llevar a cabo la aplicación de las valoraciones y
evaluaciones a los asesores, principalmente el Registro Automatizado
de Formación (RAF) y el Sistema de Valoraciones y Evaluaciones (SiVE),
permitirán tener un conocimiento más certero de las necesidades de
formación a nivel individual, regional y estatal. El análisis de los resultados
arrojados por estas herramientas permitirán no sólo diseñar rutas de
formación focalizada hacia los asesores, sino realizar comparativos
nacionales y regionales para determinar áreas de atención prioritaria en el
Programa.
Por otro lado, vale la pena resaltar que las diicultades del Programa
para reportar mayores avances en términos de valoración están vinculadas
con la diicultad de asegurar la coparticipación de los institutos estatales
en la evaluación de los asesores, el análisis sistemático de resultados y
la toma de decisiones respecto a la formación. Asimismo, la inscripción
del Programa en el contexto del “Premio 2011”, acotó la presentación de
evidencia de las acciones implementadas al periodo de marzo-agosto de
2011, la cual se vio afectada por la recalendarización de la valoración y
revaloración de asesores para el último trimestre de 2011, por lo cual INEA
se vio en la necesidad de enfatizar las acciones de mejora en curso.
Para cerrar este apartado, se presenta un análisis transversal
de la ruta tomada por el Programa para apuntalar la consistencia lógica
entre las recomendaciones sugeridas por las evaluaciones, las acciones
implementadas y los resultados obtenidos. En primera instancia, las
evaluaciones externas realizadas al Programa fueron precisas al señalar
recomendaciones puntuales que era necesario atender en los ámbitos de
diseño, planeación, cobertura, operación, implementación y resultados.
El INEA empleó los hallazgos de las evaluaciones externas como insumo
estratégico para determinar las acciones de mejora a implementar con la
inalidad de resolver problemas en la gestión e inducir efectos positivos
sobre la población objetivo. En consecuencia, el INEA eligió atender
un aspecto relacionado concretamente con la operación del Programa,
enfocado en el fortalecimiento del peril de los asesores encargados de
proveer los servicios educativos contemplados dentro del MEVyT. Esto
implicó una aproximación al fenómeno educativo desde la perspectiva de la
oferta y no de la demanda de un bien público.
Así pues, se dio paso al proceso donde se determinó la ruta a
seguir para mejorar las capacidades y el peril de los asesores dentro del
Programa. En este sentido, las acciones implementadas por el INEA fueron
complementarias entre sí, pues la Valoración Diagnóstica de los asesores
fue el punto de partida para determinar debilidades en los conocimientos
128 | De las recomendaciones a las acciones: la experiencia del Premio 2011
de los formadores y, por tanto, para elegir el tipo de capacitación y asesoría
que recibiría cada uno; mientras que las revaloraciones sirvieron, a su vez,
para determinar el alcance de las capacitaciones ofrecidas a los asesores que
permanecían en activo de un año a otro. Los resultados reportados por el
Programa en términos de valoración y revaloración son sobresalientes dadas
las restricciones presupuestales que enfrenta el Programa y la ausencia
de mecanismos para obligar a los asesores a someterse a los esquemas de
evaluación. Asimismo el diseño de un instrumento de capacitación que
opera gracias a los insumos provistos por una herramienta de evaluación
son indicativos de una visión sistémica en la selección de las acciones a
implementar.
Por lo tanto, el Programa muestra una coherencia lógica en términos
de insumos (ligados a objetivos), procesos (relativos a instrumentos para
alcanzar objetivos) y resultados (efectos esperados de esos procesos). De
manera más concreta, el Programa de Atención a la Demanda de Educación
para Adultos y Modelo de Educación para la Vida y el Trabajo operado por el
INEA contó con hallazgos relevantes provenientes de evaluaciones externas
que le permitieron identiicar un problema nodal en su implementación,
así como extraer elementos pertinentes para estructurar su estrategia y
atender el aspecto susceptible de mejora.
La manera como se formularon las acciones de mejora mostraba la
intención de atender el problema de la falta de un peril adecuado de los
asesores desde la raíz y un alto compromiso con la estrategia educativa
establecida en el Programa. Lo anterior se releja en que el INEA deinió
metas superiores para alcanzar su objetivo destinadas a implementar un
proceso permanente de valoración y formación de los asesores educativos,
dejando de lado la visión simplista de diseñar únicamente el peril de un
asesor ideal. Los procesos realizados para diagnosticar las necesidades
de formación de los asesores y las acciones emprendidas para resolver
sus necesidades formativas partieron de una planeación muy clara de
cómo atender las debilidades arrojadas por las valoraciones. Sin embargo,
en la implementación de los aspectos susceptibles de mejora, el INEA
no consideró los posibles obstáculos a enfrentar, dadas las limitadas
capacidades presupuestales y de gestión de Programa, así como los retos
en materia de coordinación institucional con otros niveles e instancias
(algunos de los cuales ya habían sido adelantados en las evaluaciones
externas).
Aún tomando en cuenta lo anterior y, a pesar de que no se pudo
recabar toda la información necesaria para documentar los avances más
recientes en materia de formación de asesores dentro del Programa y
Modelo propuestos por el INEA, en términos generales se avanza por el
camino correcto en materia de implementación de mejoras, pues ya existe
un diagnóstico de las debilidades de formación de los asesores, se están
realizando cursos de formación para atenderlas y existe registro de un
avance en la mejora de las capacidades de los asesores. Y, aunque seguirá
Programas Federales Comprometidos con el Proceso de Evaluación | 129
pesando en los resultados la alta movilidad de los asesores solidarios, este
es un tema que responde a factores estructurales del Programa y no debe
ser visto como un obstáculo infranqueable.
En consecuencia, el Programa muestra un notable compromiso con
la evaluación que se releja tanto en el empleo de las evaluaciones como
insumos para implementar acciones de gestión, como en el uso de las
evaluaciones como acciones de mejora en sí mismas. Asimismo, el INEA ha
expresado su interés en hacer de las valoraciones diagnósticas (y por tanto,
de los mecanismos de evaluación) elementos indispensables para mejorar el
desempeño de la gestión pública y en institucionalizar su implementación
como parte de un proceso continuo de mejora.
Finalmente, resulta interesante retomar los alcances de la evaluación
en este Programa, pues por un lado sirve de insumo en un nivel macro
para elegir las acciones de mejora a implementar; y en un nivel micro para
determinar las capacidades de cada asesor educativo y con ello ofrecer
servicios de capacitación y formación acordes. Aún más, la revaloración
diagnóstica de los asesores implica someterlos nuevamente a una
evaluación para determinar si los alcances del primer ejercicio diagnóstico
permitieron una mejora en la adquisición de conocimientos. Y, dado que los
cambios sobre las variables de rezago educativo o adquisición de habilidades
en la población joven y adulta sólo serán visibles en el mediano plazo,
el énfasis de las mejoras implementadas por el Programa en el contexto
del “Premio 2011” están dirigidas a la oferta de servicios educativos por
parte de los asesores, independientemente de la demanda de los mismos
por la población objetivo. Es decir, se privilegia la necesidad de formar y
capacitar a aquellos individuos que pretenden a su vez formar e instruir a
determinados grupos de la población.
La evaluación como insumo estratégico
para la toma de decisiones
En general, se puede observar que el Programa de Atención a la Demanda
de Educación para Adultos y Modelo de Educación para la Vida y el Trabajo
del INEA es un ejemplo sobresaliente en la formulación de acciones de
mejora de la gestión que toman como punto de partida la evaluación
externa. El INEA se caracteriza por ser un institución que cuenta con 31
años de vida, que opera con recursos humanos, materiales y inancieros
limitados, con una amplia participación de actores públicos, privados y de
la sociedad civil en procesos esenciales para los programas que opera, y con
un fuerte compromiso por optimizar sus procesos y ofrecer resultados a
su población objetivo en la solución del problema público para el que fue
creado: contribuir a reducir el analfabetismo y el rezago educativo.
130 | De las recomendaciones a las acciones: la experiencia del Premio 2011
La calidad de la información y conclusiones generadas por las
evaluaciones abrieron espacio para que el INEA capitalizara la evidencia
ofrecida para mejorar su desempeño, dándole sentido y orientando
acciones hacia un in claramente establecido. En este caso en particular, al
fortalecimiento de las capacidades de formación de sus asesores educativos.
Asimismo, el programa conjuntó los hallazgos de las dos evaluaciones
referidas en este documento, para diseñar una estrategia de acción integral
que generara un cambio de fondo en el proceso de implementación de la
política, considerando los requerimientos técnicos y operativos de dichas
acciones. Aunque en el proceso de dictaminación del “Premio 2011” no fue
posible documentar los resultados más recientes de la estrategia del INEA,
se reconoce un avance signiicativo en la atención del aspecto susceptible
de mejora seleccionado.
El impulso en la generación de técnicas y herramientas de evaluación
aplicadas para valorar el desempeño de programas públicos es relativamente
nuevo en México. Desafortunadamente, la capacidad transformadora de
la evaluación en los procesos de políticas públicas ha sido limitada. No
obstante, el caso de la educación para adultos es la excepción, pues ha
acompañado los hallazgos de las evaluaciones de otro tipo de estrategias.13
A continuación se rescatan dos de las lecciones que la experiencia del caso
Programa de Atención a la Demanda de Educación para Adultos y Modelo
de Educación para la Vida y el Trabajo INEA aporta:
Articulación de una estrategia integral, coherencia entre las evaluaciones
y las acciones de mejora. Los mecanismos de evaluación deben dejar de ser
percibidos por los responsables de programas públicos como un in en sí
mismo. Más bien, debe reconocerse en estos una fuente de información
valiosa (aunque esto depende de la calidad metodológica de la evaluación y
la rigurosidad técnica del evaluador), a partir de la cual se puede construir
una estrategia de acción general para atender un objetivo especíico y
claramente deinido. El caso INEA pone en práctica ésta argumentación.
Los hallazgos de las evaluaciones “informan” la falta de periles de
formación de los asesores educativos, la inexistencia de mecanismos de
valoración de las capacidades y habilidades de dichos asesores, así como los
riesgos que esto implica. Con esta información, el programa delimitó un
objetivo claro de atención así como las acciones, actividades y herramientas
necesarias para resolverlo de manera integral. Por lo tanto, los hallazgos de
las evaluaciones tienen un propósito instrumental que permiten orientar la
toma de decisiones de política pública.14
13 J. González, “La evaluación de la actividad gubernamental: premisas básicas y algunas anotaciones
sobre la experiencia mexicana” en J. Méndez (Coord.), Los grandes problemas de México. Vol. XIII, México,
El Colegio de México, 2010, pp. 143 – 178.
14 Ibídem.
Programas Federales Comprometidos con el Proceso de Evaluación | 131
Cambio organizacional hacia una cultura de la mejora continua.
Como se mencionó anteriormente, la práctica de la evaluación genera
retroalimentación sobre el desempeño de un programa en las diferentes
etapas de la política pública, lo que permite diseñar una estrategia
para atender áreas de mejora. Esto implica la modiicación de procesos
organizacionales y la implementación de nuevas prácticas, que transformen
en rutina el uso de la información de las evaluaciones para la mejora
constante y de largo aliento. Nuevamente, en el caso de la educación para
adultos, se puede identiicar claramente este cambio, ya que para fortalecer
las capacidades de formación de los asesores se diseñó un sistema interno
de valoración diagnóstico de los asesores educativos, que no sólo considera
un proceso único de evaluación, sino que la estrategia incluye la valoración
continua de este aspecto, en el mediano y largo plazo.
El compromiso con la evaluación mostrado por el Programa,
la coherencia lógica en la estrategia de planeación y la articulación de
actividades acordes permiten generar cambios de largo aliento en la
implementación del mismo, contribuyendo en última instancia a resolver el
aspecto de mejora seleccionado. Así pues, la superación del rezago educativo
en los jóvenes y adultos mexicanos va de la mano con la concepción de la
educación como un proceso permanente de mejora de capacidades, que
involucra la evaluación y generación de habilidades tanto en los educandos
como en los formadores.
BキHノキラェヴ;i;
Ahumada Lobo y Asociados, Estudios Económicos y Políticas Públicas,
Informe Final del Diseño y Desarrollo para 2008 del Sistema de Seguimiento y
Evaluación de los Beneicios del MEVYT y Evaluación del Peril, Reclutamiento
y Remuneración de los Asesores que Aplican el MEVYT, México, INEA, 2009.
Boissiere, M., Determinants of Primary Education Outcomes in Developing
Countries, Washington, D.C., Banco Mundial, 2004.
Consejo Nacional de Evaluación de la Política de Desarrollo Social
(CONEVAL). Indicadores de carencia social (consultado en http://web.
coneval.gob.mx/Paginas/ principal.aspx).
---------. Evaluación y Monitoreo de Programas Sociales. Evaluaciones
de Programas Federales (consultado en http://www.coneval.gob.mx/
cmsconeval/rw/pages/ evaluacion/evaluaciones/consistencia/index.es.do).
132 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Diario Oicial de la Federación (DOF), Decreto de Presupuesto de Egresos de la
Federación para el ejercicio iscal 2012, publicado el 12 de diciembre de 2011.
(consultado en http://dof.gob.mx/nota_detalle.php?codigo=5226418&fec
ha=12/12/2011).
Facultad Latinoamericana de Ciencias Sociales (FLACSO) Evaluación de
Consistencia y Resultados del Programa de Atención a la Demanda de Educación
para Adultos a través del Modelo de Educación para la Vida y el Trabajo del
INEA, México, 2008.
González, J., “La evaluación de la actividad gubernamental: premisas
básicas y algunas anotaciones sobre la experiencia mexicana” en J. Méndez
(Coord.), Los grandes problemas de México, Vol. XIII, México, El Colegio de
México, 2010, pp. 143 – 178.
Lawrence, S., “Social Structure and Teacher Efects on Academic
Achievement: A comparative Analysis”, Comparative Education Review, Vol.
27, Núm. 1, Febrero 1983, pp. 69- 88.
Organización para la Cooperación y el Desarrollo Económico (OCDE),
Mejorar las escuelas: Estrategia para la acción en México, 2010.
Reglas de Operación de los programas Atención a la Demanda de Educación
para Adultos (INEA) y Modelo de Educación para la Vida y el Trabajo
(INEA), 2012 (consultado http://www.inea.gob.mx/transparencia/pdf/
marco_normativo/Reglas_de_Operacion2012.pdf).
Valoración Diagnóstica, documento presentado por el INEA para la
inscripción en el Premio 2011: Programas Comprometidos con el proceso
de evaluación.
Programas Federales Comprometidos con el Proceso de Evaluación | 133
Monitoreo y evaluación en el Sistema
ES┌I;ピ┗ラ N;Iキラミ;ノぎ Eノ ┌ゲラ SW キミaラヴマ;Iキルミ
en el Programa Escuelas de Calidad, el
Programa Escuelas de Tiempo Completo y
el Programa de la Atención a la Demanda
de Educación de Adultos y Modelo de
Educación para la Vida y el Trabajo
Sergio Cárdenas Denham
Introducción
Comparar y describir las diferencias entre las políticas de acceso a
información en el Sistema Educativo Nacional de los años 1990 con las
que ahora existen, probablemente se asemejaría a relatar los cambios que
encontró Rip Van Winkle al despertar de su letargo. En un par de décadas,
el Sistema Educativo Nacional ha transitado de una política oicial en la
que se ocultaban los resultados obtenidos por estudiantes mexicanos en
pruebas internacionales como TIMSS1
a una compulsión por difundir
puntajes de exámenes como apuesta gubernamental dilecta para mejorar
la calidad educativa.
1
Mexicanos Primero, “La creación del Instituto Nacional de Evaluación Educativa de México. Un modelo
de institucionalidad mixta, como experiencia de gobernabilidad en los sistemas educativos”, 2007.
Obtenido de http://www.globalpartnership.org/epdf/uploads/121, enero del 2012.
134 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Lanzar las campanas al vuelo por este cambio equivaldría a concluir
apresuradamente que Rip Van Winkle debió ser un padre muy feliz por llegar
a conocer a un hijo adulto sin tener que lidiar con su infancia y juventud. Si
bien los cambios observados imitan en deinitiva algunos de los elementos
que caracterizan a sistemas educativos nacionales considerados como
eicaces y probablemente representen un avance hacia la construcción
de un sistema de rendición de cuentas en educación, se perciben nuevos
retos para lograr un vínculo tangible entre la disponibilidad de mayor
información y evaluaciones, con una mejor calidad educativa. 2
En ese contexto es plausible el diseño de intervenciones
gubernamentales que buscan no solamente provocar una relexión sobre
el uso de la información generada en evaluaciones realizadas con el objeto
de dar cumplimiento a normas, sino que buscan la utilización generalizada
de los recursos disponibles ahora para mejorar la gestión de los programas,
particularmente la información y las recomendaciones generadas en el
monitoreo de la implementación de programas.
Sobre este último punto, vale la pena recordar lo que Wiliam señala
en su estudio sobre el uso de la evaluación de aprendizajes, al recordarnos
que “la información no se convierte en retroalimentación a menos que un
sistema pueda usar esa información para afectar su futuro desempeño”.3
En otras palabras, es necesario recordar que la simple disponibilidad
de información, aun cuando represente una preocupación por aislar y
comprender un resultado derivado de una intervención, es insuiciente para
alcanzar un impacto en la transformación de cualquier de los componentes
del sistema educativo.
Con motivo del “Premio 2011”, el presente capítulo describirá los
procesos de apropiación de evaluaciones desarrolladas en tres programas
educativos (Programa Escuelas de Calidad, el Programa Nacional de
Escuelas de Tiempo Completo y el Programa Atención a la Demanda de
Educación para Adultos). En la primera sección, se presentará de forma
sucinta una descripción de las características de cada programa, con el
objeto de identiicar en lo posible el sustento y lógica de cada uno como
intervención gubernamental. En una segunda sección, se describirán las
características de algunas de las evaluaciones que han sido realizadas a cada
programa, enfatizando el tipo y métodos de cada evaluación realizada, el
tipo de recomendaciones emitidas, y, en general, la información que se
puso a disposición de los responsables de cada programa. Finalmente, se
analizará el proceso de selección de recomendaciones y la manera en que se
establecieron vínculos con las acciones por realizar en cada programa, por
2
Ver: Sergio Cárdenas, “La rendición de cuentas en el Sistema Educativo Mexicano”, Serie calidad de
gobierno y rendición de cuentas en las entidades federativas, Documento de Trabajo Núm. 5, México,
CIDE-PNUD, 2010.
3
D. Wiliam, “What is assessment for Learning”, Studies in Educational Evaluation, Vol. 37, Núm. 1, 2011,
pp. 3–14.
Programas Federales Comprometidos con el Proceso de Evaluación | 135
decisión de los responsables, con el objeto de sustraer algunas lecciones
sobre la utilización de evaluaciones en el diseño e implementación de
programas educativos.
Lラゲ ヮヴラェヴ;マ;ゲ ┞ ゲ┌ゲ I;ヴ;IデWヴケゲピI;ゲ
El programa Escuelas de Calidad
El programa Escuelas de Calidad (PEC) puede ser deinido como una
intervención basada en principios de la gestión centrada en la escuela
(“School Based Management”), a través de la cual se pretende que las
comunidades escolares reciban recursos adicionales y realicen un ejercicio
de planeación participativa, con el in de identiicar oportunidades de
mejora y acordar acciones que permitan mejorar la eicacia de las escuelas.
Basándose en los supuestos de este modelo de reforma4
es posible
sugerir que la transferencia de recursos económicos y el uso de ciertas
facultades, así como el desarrollo de capacidades a nivel comunidad
escolar, permitiría “fortalecer la participación de los centros escolares en
la toma de decisiones, corresponsabilizar a los diferentes actores sociales
y educativos, promoviendo la seguridad, la transparencia y la rendición de
cuentas, impulsando la participación entre la Federación, las Entidades
Federativas y Municipios, así como con Organismos de la Sociedad Civil,
en sus respectivos ámbitos de actuación, para apoyar las acciones que la
comunidad educativa decida, con la inalidad de mejorar la calidad del
servicio educativo y los resultados de aprendizaje”.5

Este programa, con más de diez años de operación, ha tenido un
crecimiento signiicativo con el paso de los años, gracias a diferentes
factores entre los que probablemente se encuentre la lexibilidad
normativa para ajustar su implementación a condiciones locales, el
énfasis en el monitoreo, la orientación a la transformación de la gestión
escolar y los mecanismos de inanciamiento, incluyendo recursos
por contrapartida y la creación de ideicomisos estatales, así como el
inanciamiento de organismos internacionales. Adicionalmente, una
de las características principales del PEC es la realización periódica de
evaluaciones escolares como uno de sus principales componentes. Lo
anterior habría resultado en un aprendizaje que se expresaría en una
frecuente utilización de información y hallazgos por parte de los actores
escolares y los funcionarios a cargo del programa.
4
Ver: Cárdenas, Op. Cit.
5
Secretaría de Educación Pública, (SEP), Reglas de Operación del Programa Escuelas de Calidad, 2011.
136 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Considerando lo anterior, es posible entonces identiicar a este
programa como una intervención destinada a modiicar la gestión y la
cultura organizacional de las escuelas, a través del desarrollo de capacidades
directivas y de instrucción, la entrega de recursos para ejercicio directo de la
escuela con el in de promover la planeación compartida por los principales
actores escolares y la alineación de intervenciones y programas con el in de
considerar a la escuela como centro del sistema educativo.
Programa Nacional de Escuelas de Tiempo Completo
Una de las intervenciones educativas de mayor popularidad entre
los tomadores de decisiones, que, sin embargo genera todavía cierta
controversia entre los investigadores educativos, es el incremento de horas
de asistencia o permanencia en las escuelas.6
México no ha sido la excepción
y desde el año 2007 se comenzó a diseñar e implementar un programa que
aparentemente tenía por objeto generar condiciones y proveer insumos
suicientes para que las escuelas tuvieran la oportunidad de organizar
actividades con el in de promover una formación integral de los alumnos.7
De acuerdo con las Reglas de Operación 2012 de este programa,
su objetivo principal es el de “contribuir a mejorar las oportunidades de
aprendizaje relejadas en el logro académico de los alumnos de las escuelas
públicas de educación básica, mediante la ampliación de la jornada escolar”,
destacando entre sus componentes la provisión de recursos destinados a
actividades de actualización, acompañamiento de las escuelas, adquisición
de material educativo, apoyo para la alimentación de actores escolares,
contratación de personal de apoyo para las horas adicionales, inversión para
acondicionar las escuelas y la realización de actividades de fortalecimiento
de las coordinaciones estatales del programa.8
De esta forma, es posible considerar a este programa como una
iniciativa gubernamental basada en la ampliación del tiempo que un
estudiante permanece en la escuela pública, con el objeto de incrementar
la probabilidad de lograr aprendizajes; en palabras de los encargados
6
Ver: SEP-IIPE, “Estudio de caracterización de las escuelas de tiempo completo (ETC) en México. Encuesta
a Directores y Equipos Estatales”, 2010; J. Angrist, et al., “Who Beneits from KIPP”, Documento de
Trabajo NBER-15740, National Bureau of Economic Research, 2010.; W. Dobbie y R. Fryer, “Getting
Beneath the Veil of Efective Schools: Evidence from New York City”, Documento de Trabajo NBER-
17362, National Bureau of Economic Research, 2011; C. Bellei, “Does lengthening the school day increase
student’s academic achievement? Results from a natural experiment in Chile”, Vol. 22, Núm. 5, 2009, pp.
629-640.
7
M. Zorrilla, “Informe Final de la Evaluación del Diseño del Programa Nacional de Horario Extendido en
Primaria, Programa Nacional Escuelas de Tiempo Completo”, Universidad Autónoma de Aguascalientes,
2008.
8
SEP, Reglas de Operación del Programa Nacional Escuelas de Tiempo Completo, 2011.
Programas Federales Comprometidos con el Proceso de Evaluación | 137
de un estudio de caracterización de este tipo de escuelas, este programa
buscaría por lo tanto que se conviertan en “un medio para incrementar las
oportunidades de aprendizaje de niñas, niños y adolescentes”.9
Programa Atención a la Demanda de Educación para Adultos
La educación para adultos es considerada en los países en desarrollo como
una de las principales intervenciones gubernamentales destinadas a reducir
desigualdades, atacar las causas de pobreza y exclusión, así como para
garantizar una convivencia ordenada.10 Con una gran variación en la forma
en que es impartida (tanto en contenidos, medios, población atendida y
objetivos), en el caso de México se ha convertido en una política destinada a
subsanar algunas de las omisiones del sistema regular o de educación formal,
sobre la cual es posible encontrar antecedentes que pueden remontarse al
poririato, período en el que se enfatizó la necesidad de crear “Escuelas de
adultos” que tuvieron por objeto “proveer la enseñanza elemental de los
que no hayan podido instruirse en la edad escolar”.11
Si bien la educación de adultos ha evolucionado para incluir no
solamente la formación elemental, es claro que en el caso del Instituto
Nacional para la Educación de los Adultos (INEA) continúa siendo la
principal preocupación de los programas implementados en la materia,
como lo señalan las propias Reglas de Operación de este programa, en las
cuales se establece que el programa evaluado tiene como objeto general
“Ofrecer a personas de 15 o más años que se encuentren en condición de
rezago educativo, servicios educativos gratuitos de alfabetización, primaria
y secundaria con el Modelo de Educación para la Vida y el Trabajo (MEVyT),
así como servicios de acreditación y certiicación de los conocimientos y
aprendizajes en esos niveles para “contribuir a disminuir las desigualdades
en las oportunidades educativas entre grupos sociales de jóvenes y adultos
sin educación básica, mediante la superación de su condición de rezago
educativo”.12 Esta labor adquiere gran relevancia al considerar, que de
acuerdo con estimaciones de los propios responsables del programa, existe
una población potencial en rezago cercana a los 20 millones de habitantes.13
9
SEP-IIPE, Op. Cit.
10 UNESCO-ILL, “Global Report on Adult Learning and Education”, Institute for Lifelong Learning, 2009.
11 R. Bolaños, “Desarrollo Histórico de la Educación en México” en F. Solana, et al., Historia de la Educación
Pública en México, México, Fondo de Cultura Económica, 2001.
12 INEA, “Reglas de Operación del Reglas de Operación de los programas Atención a la Demanda de
Educación para Adultos (INEA) y Modelo de Educación para la Vida y el Trabajo (INEA)”, 2011., p. 6.
13 Ibídem.
138 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Basado en lo anterior, es posible caracterizar la intervención del
INEA como un programa destinado a reducir el rezago educativo, a través
de la provisión de materiales educativos, la impartición de asesorías, la
certiicación y la prestación de servicios en áreas de acceso libre a la población
que abandonó en edad temprana el sistema de instrucción formal.
Las evaluaciones
Sin mayor sorpresa, los objetivos y los métodos de las evaluaciones cuyos
hallazgos fueron el sustento para los compromisos y las actividades
iniciadas en los tres programas, mostraron una gran variación. Esto
resultó en una mayor complejidad para identiicar la pertinencia de las
acciones propuestas por los responsables de cada programa con relación
a los hallazgos presentados por los evaluadores, así como para analizar las
decisiones con respecto al uso de la información disponible por parte de
los responsables de cada programa. Sin embargo, con los compromisos
reportados en cada programa en respuesta a la convocatoria, fue posible
identiicar por lo menos la percepción de los tomadores de decisiones
con respecto a las recomendaciones de los evaluadores, así como conocer
las actividades que, desde su perspectiva, contribuirían a eliminar o
contrarrestar los problemas resaltados en las evaluaciones.
En el caso del Programa Escuelas de Calidad (el cual cuenta incluso con
evaluaciones de impacto disponibles desde el año 2006, una condición atípica
en los programas educativos en México), los responsables seleccionaron
recomendaciones que incluyeron un análisis de procedimientos que se
presentan en las escuelas beneiciadas. Enfocarse en actividades tan
especíicas y complejas aparentemente fue resultado de distintos factores,
entre los que destaca el tiempo que lleva implementándose este programa,
así como por la experiencia en evaluaciones que se remite incluso a períodos
previos a la creación del Consejo Nacional de Evaluación de la Política de
Desarrollo Social (CONEVAL) y de la normatividad vigente en el país sobre
evaluación de programas sociales.
En una condición similar al ejemplo anterior, en el caso de los
programas implementados por el INEA (cuyos responsables hicieron
uso de dos evaluaciones externas con objetivos bien delimitados), fue
posible observar la selección de hallazgos reportados que derivaron en
intervenciones muy especíicas para conocer y determinar el peril de
los asesores educativos, quienes están a cargo de un componente clave
del programa. Finalmente, en el otro extremo, la evaluación realizada al
Programa Escuelas de Tiempo Completo, clasiicada como de diseño y
con el objeto de identiicar la correspondencia entre el problema público
identiicado y las acciones por desarrollar, obligó a centrarse en aspectos
generales, con hallazgos que no se centraban en aspectos operativos y de
gestión del programa, sino en la deinición de los elementos que mejor
Programas Federales Comprometidos con el Proceso de Evaluación | 139
relejarían la teoría detrás de la intervención, en este caso la necesidad de
establecer un modelo de actividades pedagógicas para una mejor utilización
del tiempo adicional que se ofertaría en las escuelas que participan en este
programa.
Tabla 1: Programas y Evaluaciones utilizadas14
Programa Evaluación e institución
Escuelas de Calidad • Evaluación Complementaria 2008, FLACSO.
• Evaluación especíica de
desempeño 2009, Civicus.
Escuelas de tiempo completo • Evaluación de diseño 2008, C-230 consultores.
Atención a la Demanda de
Educación para Adultos
• Evaluación de consistencia y
Resultados 2008, FLACSO.
Una revisión somera de los “Lineamientos generales para la
evaluación de los programas federales del Gobierno Federal” permite
identiicar las características de las diferentes evaluaciones y por lo
tanto las diferencias en el tipo de recomendaciones que sustentarían la
adecuación, reorientación o implementación de acciones especíicas en
cada programa. Es importante señalar que las distintas modalidades de
evaluaciones que acompañarían la implementación de un programa federal
deben considerarse como procesos acumulativos de aprendizaje, a través
de los cuales los tomadores de decisiones disponen de fuentes diversas
de información y que las decisiones con respecto al uso de la información
disponible inciden por supuesto en el grado de efectividad de los programas,
por lo que adquiere mayor relevancia observar y documentar los procesos
que determinan la selección y la adopción de recomendaciones.
De acuerdo con los lineamientos ya señalados, tenemos que las
evaluaciones realizadas al Programa Escuelas de Calidad tuvieron como
objetivo analizar componentes especíicos del programa (procesos de
planeación escolar y de focalización). En el caso del Programa de Escuelas de
Tiempo Completo, encontramos como sustento para el establecimiento de
compromisos una evaluación de diseño, que se orienta idealmente a analizar
la deinición del problema público que se busca atender con un programa,
la evidencia que sustenta la intervención seleccionada y los procesos de
focalización para determinar la población beneiciaria. Finalmente, en
el caso del INEA, la evaluación de consistencia y resultados incluye no
solamente los aspectos señalados en el caso de la evaluación de diseño,
sino aspectos relevantes relacionados con la operación, la planeación, la
14 Toda la información contenida en las tablas de este documento proviene de los documentos entregados
por los responsables de los programas para ser evaluados por los comités correspondientes.
140 | De las recomendaciones a las acciones: la experiencia del Premio 2011
percepción y los resultados de este programa. Identiicar estas diferencias
permite comprender de mejor manera las decisiones en cada programa con
respecto al uso de la información generada por las evaluaciones.
Recomendaciones seleccionadas y metas adoptadas
Un aspecto por resaltar con respecto a las decisiones tomadas por los
responsables de los programas participantes con respecto al uso de la
información generada en las diferentes evaluaciones, es la complejidad
de las acciones y las metas que fueron adoptadas por los responsables de
los programas. Como se observa en la Tabla 2, los hallazgos detectados y
seleccionados por los responsables de los programas capturan elementos
relevantes para alcanzar los ines de cada uno de los programas evaluados.
Por ejemplo, en el caso del Programa Escuelas de Calidad,
encontramos que la orientación principal de las recomendaciones se
relacionan con dos aspectos fundamentales para la operación del programa:
a) la adecuada realización de actividades de planeación y concertación entre
los actores escolares, en las cuales se incorporen claramente los elementos
de diseño que se incluyeron en los planes estratégicos de transformación
de las escuelas; y b) el desarrollo de capacidades de los actores escolares
para involucrarse en actividades escolares y para seleccionar de una forma
adecuada metas y objetivos.
En el caso del Programa de Escuelas de Tiempo Completo,
los responsables del programa seleccionaron dos hallazgos de gran
relevancia, uno asociado con la deinición del contenido pedagógico de
esta propuesta y el segundo asociado con uno de los grandes retos en el
Sistema Educativo Nacional, la reducción de las desigualdades injustas.
Ambas recomendaciones, de gran complejidad para traducirse en acciones
implementadas en el marco del programa, resultan claves para lograr
los objetivos del mismo. En el primer caso, debido a que los docentes
requieren apoyo para tomar mejores decisiones con respecto al tiempo
adicional disponible en las escuelas participantes, y con respecto a la
segunda recomendación general, debido a que la asignación de recursos o
nuevas intervenciones en las escuelas debe considerar criterios de equidad,
particularmente cuando se requiere un tipo determinado de colaboración
por parte de las comunidades escolares para implementar un programa.
En el caso de el Programa Atención a la Demanda de Educación
para Adultos, se seleccionó un hallazgo por demás relevante, la ausencia
de periles adecuados para los asesores educativos, un aspecto importante
dado el tipo de intervención promovido en este programa, el cual descansa
en actividades de formación a la población adulta que usualmente ha
estado separada de la educación formal. Es de señalar en los tres casos
que los hallazgos seleccionados corresponden a componentes claves de los
Programas Federales Comprometidos con el Proceso de Evaluación | 141
respectivos programas (formación, deinición de modelos pedagógicos o
periles de instructores), además de que la adecuada implementación de
acciones para atender estas recomendaciones requeriría del desarrollo de
capacidades y esfuerzos considerables.
Tabla 2: Hallazgos seleccionados por programa
Programa
Escuelas de
Calidad
• “Se observan todavía problemas en la mayoría de las
propuestas de planeación presentadas por los participantes,
ya que alcanzan un nivel de consistencia medio expresado
tanto en la construcción lógica, como en el diseño
metodológico y técnico en cada una de las etapas. Interesa
especialmente el cumplimiento de cada una de las exigencias
analíticas para la construcción del plan estratégico.”
• “Muchos de los problemas observados sobre el
seguimiento de las metas de los proyectos presentados
son, ciertamente, de consistencia interna. Pero otros se
reieren más bien a la falta de involucramiento efectivo
de los actores; y otros más parecen asociarse a estilos
personales de gobierno y a la vigencia de estructuras de
gestión tradicionales. Ausencia de focalización, falta de
conocimiento y pericia, diicultades para construir una
visión compartida, planeación estratégica vs gestión
rutinaria y participación democrática restringida.”
Programa
Escuelas
de Tiempo
Completo
• “Atender la deinición de las orientaciones pedagógicas
y de gestión del centro escolar en el marco de
“ampliación de las oportunidades de aprendizaje”
• “Conocer la percepción de las familias de
la comunidad escolar sobre los beneicios
que el programa les esté aportando.”
• “Realizar una relexión más amplia sobre el principio
de equidad en educación, en la perspectiva de la
incorporación de escuelas de conformidad con los criterios
de vulnerabilidad establecidos por el propio Programa.”
INEA • “Carencia de un peril adecuado de los asesores educativos,
para aplicar el modelo educativo institucional.”
• “Alta rotación que les impide un conocimiento de
este modelo y el desarrollo continuo y sistemático
de acciones de formación que les beneicien.”
• “Inexistencia de un proceso formal de valoración de las
capacidades que deben tener los asesores, para orientar
a los educandos en su aprendizaje y en su evaluación.”
• “Falta de instrumentos de diagnóstico de competencias
y de detección de necesidades de formación.”
La correspondencia entre acciones y recomendaciones
Los hallazgos seleccionados relejaron una consideración importante
hacia elementos de los programas cuya modiicación representaría una
gran diicultad. Sin embargo, al revisar la vinculación entre los hallazgos
142 | De las recomendaciones a las acciones: la experiencia del Premio 2011
seleccionados y las acciones propuestas, no resulta evidente, por lo menos
con la información que se proporcionó con el in de ser valorada, la
correspondencia entre el tipo de hallazgos seleccionados y las acciones por
emprender en algunos de los programas.
Si bien lo anterior podría ser resultado del formato utilizado para
evaluar las acciones emprendidas en los programas como resultado de las
evaluaciones realizadas, es importante resaltar --en cualquier caso-- que
algunas de las acciones sugeridas por los responsables de los programas
podrían considerarse como planteamientos generales u objetivos por
lograr, sin contar con mayor detalle del efecto esperado o la relación entre
las acciones por realizar y su contribución hacia el cumplimiento de las
observaciones tomadas de las evaluaciones.
Como ejemplo de lo anterior podemos señalar la propuesta en uno
de los programas para elaborar “orientaciones” destinadas a activar la
participación social en las escuelas, lo cual, de interpretarse linealmente,
sugeriría que la falta de participación es debida a un desconocimiento
de los mecanismos o medios a través de los cuales se lograría una mayor
participación de los actores escolares en actividades de planeación y
observación. Si bien es factible que la selección y la descripción de “acciones
de mejora por implementar” presentada en los documentos requeridos
para evaluar el efecto de las evaluaciones no fue exhaustiva, es importante
resaltar la relevancia que tiene asegurar esta correspondencia en otros
documentos o ejercicios de planeación al interior de los programas,
particularmente si las evaluaciones han detallado o desagregado los
hallazgos y las recomendaciones en diversos componentes que deberían
modiicarse en el curso de implementación de este programa.
En descargo de los responsables, hay que señalar que este
ejercicio puede ser uno de los más complejos no solamente para el diseño e
implementación de programas, sino en el propio diseño de sus evaluaciones,
ya que implica un esfuerzo notable no sólo para lograr una clara deinición
del problema público que se pretende atender (v. gr. una deiciente calidad
educativa o la deserción del sistema), sino para identiicar y comprender
los diversos factores y variables que orientarían el diseño de cualquier
programa.15
15 Un ejemplo de la complejidad y relevancia de este tipo de ejercicio puede encontrarse en: C. Weiss,
“Excerpts from Evaluation Research: Methods of Assessing Program Efectiveness”, American Journal of
Evaluation, Vol. 17, Junio de 1996, p. 173.
Programas Federales Comprometidos con el Proceso de Evaluación | 143
Tabla 3: Acciones propuestas
Programa Acciones de mejora
Escuelas de
Calidad
• Diseño y difusión de un conjunto de orientaciones
dirigidas a los colectivos escolares para favorecer la
construcción de su Plan Estratégico de Transformación
Escolar (PETE), como una herramienta que les permita
hacer de la planeación estratégica un ejercicio más
preciso, sencillo y contextualizado, tanto en su diseño,
como en su ejecución, seguimiento y evaluación.”
• Elaboración de orientaciones para activar la participación
social en las escuelas de educación básica, como
referente para guiar la participación e involucramiento
corresponsable de los integrantes de la comunidad
educativa, en un marco de toma de decisiones
compartida, de transparencia y rendición de cuentas.
• Muestreo para determinar el nivel de participación de los
actores involucrados en la planeación estratégica escolar.
• Integrar, capacitar y operar una RED Nacional de
Formadores que apoye los procesos de capacitación, asesoría,
acompañamiento y monitoreo en las entidades federativas.”
• Integrar y difundir estadísticas y bases de datos que
identiiquen a las escuelas combinando los criterios de
focalización del Programa para el ciclo escolar 2011-2012.
• Elaborar las Orientaciones sobre la relevancia
de la focalización y el uso de las estadísticas y
bases de datos para dar prioridad a la integración
de las escuelas de la población objetivo.
• Integrar ichas técnicas por entidad federativa
que permitan identiicar la focalización de la
población atendida dentro del Programa
• Brindar una atención diferenciada a las entidades
federativas de acuerdo a su contexto especíico y población
objetivo del Programa para el ciclo escolar 2011-2012.”
Escuelas de
Tiempo Completo
• Actividades de seguimiento a las ETC que permitirán
obtener información cualitativa sobre el modo en que
se concreta el Programa en las escuelas: los aspectos
pedagógicos, organizativos, administrativos y de
participación de la comunidad en la tarea educativa.
Atención a
la Demanda
de Educación
para Adultos
• Precisión del peril de los asesores educativos
• Diseño y elaboración de instrumento diagnóstico para
detectar necesidades de formación de asesores educativos
• Aplicación en línea de instrumento diagnóstico para
detectar fortalezas y debilidades de los asesores
educativos en distintos ejes educativos del modelo
(Matemáticas, Lengua y comunicación, Ciencias, Actitudes
socioculturales, Habilidades pedagógicas), relacionados
con el peril que se espera de su participación
144 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Los resultados y evidencias disponibles
En lo que corresponde a los resultados esperados, en el ejercicio realizado
se observa nuevamente en algunos casos una disociación importante entre
las características de los hallazgos seleccionados, las acciones de mejora
propuestas por los responsables de los programas y los efectos esperados.
Si bien la condición nuevamente podría ser resultado del formato y
mecánica designados para presentar las decisiones y acciones emprendidas
por los responsables de los programas participantes en esta iniciativa, es
posible señalar que esta es una condición compartida con frecuencia en las
respuestas a evaluaciones de programas gubernamentales y por lo tanto
debe ser estudiada con detenimiento para asegurar que los responsables
de programas, usuarios inmediatos de la información generada en las
evaluaciones, comprendan el lujo necesario y correspondencia que debe
existir entre todas las etapas de desarrollo de este tipo de estudios, con el
in de lograr el mayor efecto posible en las actividades que forman parte de
los distintos componentes de cada programa.
Tabla 4: Resultados esperados y evidencia disponible
Programa Resultados esperados
Escuelas de Calidad • “Que las escuelas de educación básica que participan
en el PEC, cuenten con un Plan Estratégico de
Transformación Escolar Simpliicado, consistente,
eiciente y eicaz que involucre los actores escolares
en su diseño, ejecución, seguimiento y evaluación.”
• “Mayor corresponsabilidad entre los criterios de
focalización y las escuelas incorporadas al Programa.”
Escuelas de Tiempo
Completo
• “Información útil y coniable acerca de lo que ocurre
en las escuelas al poner en práctica la propuesta
pedagógica del PETC. Explicar cuáles son las causas
que explican lo que ocurre en las escuelas […]
para aprender de la experiencia, tomar decisiones
informadas, mejorar el servicio conforme a
necesidades reales, diseñar nuevas propuestas de
intervención y mejorar el impacto del Programa”
Atención a la
Demanda de
Educación para
Adultos
• “100% de asesores educativos activos valorados.
• Programas estatales de formación elaborados con
base en los resultados de la valoración diagnóstica.
• Equipos estatales de formación integrados.
• Asesores formados revalorados para reconocer
resultados de su proceso de formación.
• Continuar con el diseño e implantación de
acciones vinculadas al diagnóstico y detección
de necesidades de formación, para establecer
un sistema de valoración permanente.”
Programas Federales Comprometidos con el Proceso de Evaluación | 145
Es necesario por lo tanto resaltar la pertinencia de considerar el
proceso de evaluación como una actividad acumulada, en la que cualquier
disociación entre procesos (en este caso tres, representados en la selección
de hallazgos o recomendaciones, la decisión sobre las acciones de mejora y la
selección de mediciones para monitorear resultados) podría resultar en una
utilización deiciente de la información disponible y, como consecuencia,
en el desaprovechamiento de los esfuerzos en materia de evaluación de
programas.
Adicionalmente, destaca la variación en las formas en que se describen
tanto los resultados esperados como las evidencias ofrecidas, resaltando
la diicultad para encontrar un balance entre la especiicidad requerida
en la descripción de metas o resultados esperados y una generalización
inevitable ante la complejidad de los hallazgos seleccionados y las acciones
propuestas. En este tema, se observa de forma positiva la manera en
que se presentan los resultados esperados por parte de los responsables
del Programa Atención a la Demanda de Educación para Adultos, en las
cuales se establecen medidas razonables, veriicables y cuyo cumplimiento
probablemente incidiría para responder a las recomendaciones presentadas
en las evaluaciones. Este aspecto probablemente se asocia a la especiicidad
de las evaluaciones, en las que se identiica un tema detallado que facilita el
seguimiento y posterior monitoreo de acciones desarrolladas.
En esta última etapa de acciones propuestas por los responsables de
programas se observó la mayor debilidad en la estructura de las actividades
destinadas a aprovechar la información que surgió de las evaluaciones
para adecuar o modiicar los programas evaluados. Similar a las etapas
previas, existe una complejidad técnica no solamente para identiicar
adecuadamente los posibles efectos de las acciones realizadas, sino para
cuantiicar o señalar de forma detallada los resultados que se esperan,
lo que probablemente explique la variación y la representación todavía
incompleta de resultados esperados, particularmente ante la selección de
hallazgos complejos con los que inició este proceso de toma de decisiones.
Un aspecto positivo sin embargo es que no es posible concluir que
esta indeinición se asocie a una reacción estratégica de los tomadores de
decisiones (el fenómeno AUSOSOC que Gabriel Zaid relatara), la deinición
y selección actual no es todavía suiciente para maximizar la probabilidad
de que la disponibilidad de evaluaciones y en general los cambios en las
políticas de transparencia y rendición de cuentas en el Sistema Educativo
Nacional, resulten en efectos veriicables en aspectos como la equidad y la
calidad educativa, los dos grandes retos de nuestro país.
146 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Comentarios Finales
Es importante señalar que las observaciones vertidas en este capítulo son
en realidad una celebración de los cambios observados en las políticas de
acceso a información y de generación de conocimiento útil para reorientar
la gestión de los programas educativos. La participación de estos programas
en la plausible iniciativa que se documenta y analiza en este libro, incita a
una relexión en la que es necesario identiicar y señalar oportunidades de
mejora en los procesos de adopción y uso de evaluaciones (similar a lo que se
exige al interior de los programas en las escuelas o bien a los instructores),
de forma que se construyan --en un corto plazo-- los aprendizajes que
complementarán los cambios normativos y que incluso podrían resultar en
adecuaciones a ese marco, con el in de asegurar una mayor disponibilidad
de información e insumos para la adecuada toma de decisiones en la gestión
de los programas.
La respuesta de los responsables de los programas es el mejor
ejemplo de la consideración del proceso de evaluación, como un relejo del
proceso de diseño e implementación de cualquier política. Las decisiones
y las prioridades expresadas tanto en los documentos revisados como en
las entrevistas realizadas en el proceso de evaluación, formarían parte
de un proceso de aprendizaje, en el que evidentemente existen recursos
y experiencias distintas en cada proceso y que en consecuencia relejan
la necesidad de analizar las etapas en las que los programas requieren
mayor acompañamiento, similar a lo que sucede cuando en las escuelas
se incorporan procedimientos novedosos de planeación. En este sentido,
en este capítulo destacamos cómo se diluye la precisión en las decisiones
conforme entramos a las etapas de aprovechamiento de información en
los programas, es decir, se resalta que, por ahora, la disponibilidad de
información o la alineación de las evaluaciones con las necesidades de los
responsables de gestionar los programas (los lineamientos que guían su
implementación los detallan) probablemente no sea un problema a resolver,
sino precisamente la generación de ciertas culturas y la implantación de
prácticas que deben observarse entre los responsables de los programas.
Además de las restricciones y oportunidades de mejora que se
observan con respecto al uso de la información generada en las evaluaciones,
es importante observar a la par las restricciones tradicionales de los procesos
de evaluación, con el in de reducir la probabilidad de que estas limitaciones
interactúen con la falta de experiencia en materia de aprovechamiento de la
información entre los responsables de administrar los programas federales.
Un aspecto fundamental al analizar los resultados de los cambios en
las políticas de evaluación y el proceso de acompañamiento a los funcionarios
responsables de los programas, es recordar tres temas primordiales. En
primer lugar, la frase atribuida a Einstein en la que se señala que no todo lo
contado cuenta y no todo lo que cuenta es contado, con lo cual resaltamos
la imposibilidad de realizar evaluaciones que incluyan u observen todos los
Programas Federales Comprometidos con el Proceso de Evaluación | 147
factores que inluirían en la toma de decisiones por parte de los responsables
del programa y que por lo tanto diicultarían el proceso de apropiación de
las evaluaciones.
En un segundo aspecto, es necesario recordar que el diseño de
las evaluaciones debe observar un proceso de ajustes de manera que no
solamente facilite la entrega de recomendaciones sustentadas en evidencia
coniable (asumiendo que todas las evaluaciones cumplen con los criterios
de rigurosidad metodológica), sino que rompa “cajas negras” y facilite una
apropiación adecuada para su pronta utilización en la toma de decisiones.
Si bien este punto puede discutirse, es necesario que el ejercicio de relexión
que se pide comiencen escuelas, instructores y funcionarios públicos sea
también realizado por los que buscan contribuir desde el ámbito académico
para proveer información que resulte en una mayor eicacia del sistema
educativo.
Finalmente, recordar que las evaluaciones no deben ser una
simple aplicación lineal de métodos y procedimientos que sustituya
otras discusiones relevantes en el proceso de diseño e implementación
de políticas. Lo anterior signiica que si bien nuestra novel cultura de
evaluación en el sistema educativo tiene procedimientos marcados y un
sustento normativo, es importante además recordar el objetivo de dichos
estudios y evitar lo que en otros contextos ha sucedido, en donde la
evaluación se convierte en un in propio, dando vida al fenómeno relatado
por Harris en el que con el uso inapropiado de las evaluaciones es “la cola
la que mueve al perro”.
16 Por lo anterior, debemos asumir en todo momento
que el cumplimiento a la normatividad no concluye en la presentación de
resultados de evaluación y su aparente apropiación, sino que obliga además
a crear las condiciones para que los funcionarios tengan los incentivos y las
capacidades para aprovecharlos, con el in de lograr una distribución más
equitativa de oportunidades educacionales.
BキHノキラェヴ;i;
Angrist, J., Dynarski, S., Kane, T., Pathak, P, y Walters, C., “Who Beneits
from KIPP”, Documento de Trabajo NBER-15740, National Bureau of
Economic Research, 2010.
Bellei, C., “Does lengthening the school day increase students’ academic
achievement? Results from a natural experiment in Chile”, Economics of
Education Review, Vol. 22, Núm. 5, 2009, pp. 629-640.
16 N. Harris, “Value-Added Measures in Education: What Every Educator Needs to Know”, Cambridge,
Harvard Education Press, 2011.
148 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Bolaños, R., “Desarrollo Histórico de la Educación en México” en Solana,
F., Cardiel, R. y Bolaños, R., “Historia de la Educación Pública en México”,
México, Fondo de Cultura Económica, 2001.
Cárdenas, S., “La rendición de cuentas en el Sistema Educativo Mexicano.
Serie calidad de gobierno y rendición de cuentas en las entidades
federativas”, Documento de Trabajo No. 5. CIDE-PNUD, 2010.
----------------- “Administración centrada en la escuela: experiencias para su
implementación”. Documento de Trabajo No. 252, División de Administración
Pública, CIDE, 2011.
Dobbie, W. y Fryer, R., “Getting Beneath the Veil of Efective Schools:
Evidence from New York City”, Documento de Trabajo NBER-17362, National
Bureau of Economic Research, 2011.
Harris, N., Value-Added Measures in Education: What Every Educator Needs to
Know, Cambridge, Harvard Education Press, 2011.
INEA, “Reglas de Operación del Reglas de Operación de los programas
Atención a la Demanda de Educación para Adultos (INEA) y Modelo de
Educación para la Vida y el Trabajo (INEA)” 2011.
Mexicanos Primero, “La creación del Instituto Nacional de Evaluación
Educativa de México. Un modelo de institucionalidad mixta, como
experiencia de gobernabilidad en los sistemas educativos”, 2007. Obtenido
de http://www.globalpartnership.org/epdf/uploads/121, enero del 2012.
SEP-IIPE “Estudio de caracterización de las Escuelas de Tiempo Completo
(ETC) en México. Encuesta a Directores y Equipos Estatales. Informe del
estudio”,2010. Obtenido en http://basica.sep.gob.mx/tiempocompleto/
pdf/Info_Encuesta_Estatales.pdf, diciembre del 2011.
UNESCO-ILL, “Global Report on Adult Learning and Education”, Institute
for Lifelong Learning, 2009.
SEP, “Reglas de Operación del Programa Escuelas de Calidad”, 2011.
Programas Federales Comprometidos con el Proceso de Evaluación | 149
SEP, “Reglas de Operación del Programa Nacional Escuelas de Tiempo
Completo”, 2011.
Weiss, C., “Excerpts from Evaluation Research: Methods of Assessing
Program Efectiveness”, American Journal of Evaluation 1996; 17; 173.
Wiliam, D., “What is assessment for Learning”, Studies in Educational
Evaluation, Vol. 37, Núm. 1, Marzo del 2011, pp. 3–14, Elsevier.
Zorrilla, M., “Informe Final de la Evaluación del Diseño del Programa
Nacional de Horario Extendido en Primaria, Programa Nacional Escuelas
de Tiempo Completo”, Universidad Autónoma de Aguascalientes, 2008.

Programas Federales Comprometidos con el Proceso de Evaluación | 151
Mejorando la expedición de pasaportes
y los servicios consulares
Ignacio Lozano
El Servicio Consular y los mexicanos en el exterior
Con el programa “Expedición de pasaportes y servicios consulares”, la
Secretaría de Relaciones Exteriores (SRE) participó en el “Premio 2011”,
detrás del cual se descubre un notable esfuerzo institucional por agilizar
los servicios consulares de México en el extranjero. De hecho, el programa
forma parte de un esfuerzo más amplio de perfeccionamiento del Sistema
Integral de Administración Consular (SIAC), mediante el cual la SRE facilita,
con mecanismos más seguros, la emisión de documentos, la consulta de
documentos en línea, validaciones centralizadas, consulta directa de
impedimentos y arraigos para expedición de pasaportes, y reportes en línea.
Durante décadas, ha habido un lujo migratorio de mexicanos al
exterior, principalmente, como sabemos, a los Estados Unidos. Hoy, 63%
de los más de 50 millones de latinos que viven en ese país son de origen
mexicano: prácticamente, 31.8 millones1
, de los cuales 36% (alrededor
de 11.4 millones) nacieron en México2
. Con salvedades temporales, en el
1 La Oicina de Censos de los Estados Unidos (U.S. Census Bureau) deine a alguien de “Origen hispano
o latino”, como “una persona de cultura u origen cubano, mexicano, puertorriqueño, sudamericano o
centroamericano, u otra cultura u origen español, independientemente de la raza. (“Hispanic or Latino’
refers to a person of Cuban, Mexican, Puerto Rican, South or Central American, or other Spanish culture or
origin regardless of race.” U.S. Census Bureau, “he Hispanic Population: 2010”, 2010 Census Briefs, Mayo
2011.p.2. (http://www.census.gov/prod/cen2010/briefs/c2010br-04.pdf)
2 Ver, por ejemplo, Daniel Dockterman, Statistical Proile. Hispanics of Mexican Origin in the United States,
2009, Pew Research Center- Pew Hispanic Center, 2011. (http://www.pewhispanic.org/2011/05/26/
hispanics-of-mexican-origin-in-the-united-states-2009/); Mauro Lazcano y Jorge Navarro Lucio, “29
Millones mexicanos viven en Estados Unidos”, Macroeconomía, 1 abril 2010, (http://macroeconomia.com.
mx/2010/04/29-millones-de-mexicanos-viven-en-estados-unidos-casi-otro-pais/).
152 | De las recomendaciones a las acciones: la experiencia del Premio 2011
pasado, las limitaciones a la entrada —documentada e indocumentada—
eran menores. En la actualidad, sin embargo, las condiciones internacionales
han llevado al gobierno estadounidense a imponer restricciones más severas
y duraderas para el ingreso legal y, sobre todo, para el de indocumentados.
Tal y como se ha descrito, la realidad de los migrantes mexicanos
se ha ido gestando desde años atrás, hasta alcanzar cifras que invocaban
una respuesta del gobierno mexicano acorde con ella. En 1980, con la
creación de la Dirección General de Protección, dedicada a seguir, atender
y dar solución a los problemas de los mexicanos en el exterior, la SRE
también instituyó una categoría de cancilleres especializados que, adscritos
a los consulados en los Estados Unidos, se dedicaran exclusivamente a la
protección de los connacionales que radican en los Estados Unidos. Hacia
1983, cada consulado en aquel país contaba con, por lo menos, uno de esos
cancilleres, llamados, precisamente, “de protección”.3
Para 1985, las direcciones generales de Servicios Consulares y —la
recientemente creada— de Protección se fundieron en la nueva Dirección
General de Protección y Servicios Consulares, que, al paso del tiempo y
después de cambios de denominación,4
inalmente quedaron separadas
dentro de la Subsecretaría para América del Norte, en sendas unidades
para la mejor atención de los asuntos concernientes a cada una: por un
lado, la Dirección General de Servicios Consulares (DGSC) y, por el otro, la
Dirección General de Protección a Mexicanos en el Exterior.5
En efecto, hay diferencias conceptuales y prácticas entre protección
y asistencia consular. Las acciones de protección consular se implementan
cuando los connacionales en el extranjero se hallan en circunstancias de
precariedad o de indefensión. A menudo, la protección consular se ejerce
ante autoridades diversas como consecuencia de irregularidades, faltas o
violaciones en la aplicación de normas internas. Y los buenos oicios del
cónsul muchas veces bastan para resolver los casos que se le presentan,
sin necesidad de hacer reclamaciones por escrito. En cambio, la asistencia
consular, sustentada en la obligación del Estado de proteger a sus nacionales
aun en el extranjero y en el reconocimiento del Estado receptor del derecho
3 Portal de la Secretaría de Relaciones Exteriores. La Dirección General de Protección a Mexicanos en el
Exterior, ¿Quiénes somos?, http://www.sre.gob.mx/index.php/component/content/article/318
4
Ibídem.
5
Ver: Secretaría de Relaciones Exteriores, Estructura orgánica básica (vigencia a partir de: 1 de enero de
2011), http://www.sre.gob.mx/index.php/cancilleria/organigrama
Programas Federales Comprometidos con el Proceso de Evaluación | 153
que asiste al funcionario consular de asistir a sus compatriotas, se deine
como el conjunto de acciones que el cónsul realiza a favor de los mexicanos
sin que ello implique intervenir ante autoridades del otro país.6

La DGSC encabeza el “Programa de Expedición de Pasaportes
y Servicios Consulares”. Entre sus encomiendas principales están la
de coordinar y normar las labores de los consulados mexicanos en
materia de prestación de servicios consulares, y participar en el diseño e
instrumentación de la política migratoria de México, en coordinación con
las instancias competentes de la SRE y otras dependencias federales.7

Además, la DGSC debe coordinar y normar la expedición, en las
oicinas diplomáticas y consulares de México en el exterior, de visas,
certiicados de matrícula consular, legalización de documentos públicos,
certiicación de documentos, actos del registro civil, actos notariales, cartillas
del Servicio Militar Nacional, declaratorias de nacionalidad mexicana y
demás actos jurídicos competencia de las oicinas consulares; coordinar,
con la Dirección General de Tecnologías de Información e Innovación, la
correcta administración de los sistemas de cómputo desarrollados para los
servicios consulares; y, coordinar con la Dirección General de Tecnologías
de Información e Innovación, la correcta administración de los sistemas de
cómputo, a in de facilitar la generación de información y estadísticas en la
materia.8
De ahí que, en virtud del tamaño de la migración mexicana hacia
Estados Unidos, la puesta al día de los servicios consulares, en ese país,
revista la mayor importancia para la DGSC, como lo relejan los datos que
proporcionó para merecer el “Premio 2011”. Pero hacer más eicientes los
servicios consulares no es una tarea aislada. Por el contrario, se apoya en toda
una estrategia de mejora que tiene al SIAC como uno de sus principales ejes.
Se trata de una base informática diseñada para la expedición de los distintos
documentos consulares y migratorios, a cargo de las representaciones de
México en el extranjero.9

Cuentan por miles los servicios ofrecidos cada año en materia de
protección y asistencia consular, de expedición de certiicados de Matrícula
Consular de Alta Seguridad, de atención a mujeres y menores de edad
6
Secretaría de Relaciones Exteriores, “Alcance e intercambio de mejores prácticas consulares”,
Presentación del Ministro Daniel Hernández Joseph, Director General de Protección a Mexicanos en el
Exterior de la Secretaría de Relaciones Exteriores de México, en el marco del Seminario sobre protección
consular: Alcance e intercambio de mejores prácticas, Washington, D.C., 10 de marzo de 2009. http://scm.oas.
org/pdfs/2009/CP21820T.ppt
7
“Reglamento Interior de la Secretaría de Relaciones Exteriores”, Art. 23, publicado en el Diario Oicial de
la Federación el 8 de enero de 2009.
8
Ibídem.
9 Presidencia de la República, Primer Informe de Ejecución del Plan Nacional de Desarrollo 2007-2012, 2007.
http://pnd.calderon.presidencia.gob.mx/pdf/PrimerInformeEjecucion/5_9.pdf
154 | De las recomendaciones a las acciones: la experiencia del Premio 2011
víctimas de violencia doméstica, de asistencia jurídica a casos de pena
capital, de asesorías legales externas, y de emisión de pasaportes. Este
capítulo documenta el esfuerzo institucional por mejorar esos servicios
y acercarlos a los mexicanos de una manera eiciente, si bien en virtud
de restricciones asociadas, sobre todo, a la disponibilidad de recursos
humanos y inancieros suicientes; los resultados se muestran, en lo
fundamental, en la expedición y actualización de pasaportes, la atención
telefónica, la difusión de los servicios consulares, el fortalecimiento de la
estructura organizacional de la DGSC, el desarrollo de plantillas modelo
de infraestructura, la distribución de espacios y equipo para las áreas
de documentación de las representaciones de México en el exterior, la
eliminación de ciertos trámites, y la creación de una red de informáticos
consulares.
Propuesta de la Dirección General de Servicios Consulares
En febrero del 2011, la SRE, a través de la Dirección General de Programación,
Organización y Presupuesto (DGPOP), solicitó a la Secretaría de la Función
Pública (SFP) la inscripción de los programas de “Protección y asistencia
consular” y de “Expedición de pasaportes y servicios consulares” al “Premio
2011”. Por razones diversas, la SRE decidió continuar posteriormente sólo
con el segundo de los programas mencionados, el cual, de hecho, tenía
avances importantes, como lo muestra la evaluación que se le hizo en 2010.
A consecuencia de esa evaluación, la SRE se comprometió a llevar a cabo 17
acciones destinadas a mejorar el programa. Con distintos grados de avance
en agosto del 2011, las acciones comprometidas (ver tabla 1) se caracterizan
por los efectos esperados a mediano plazo para elevar, sustancialmente,
la calidad de los servicios consulares que ofrecen las representaciones
mexicanas en el exterior.
La idea se centra en simpliicar o reducir la normatividad y en
poner en marcha nuevas herramientas de tecnología de la información. El
programa habrá de ofrecer a los mexicanos y extranjeros servicios expeditos
y seguros para la documentación consular que ellos requieran. El objetivo
no podía ser más pertinente, tomando en cuenta, sobre todo, los retos
de seguridad trasnacional que condicionan, hoy por hoy, las relaciones
internacionales. Lo anterior considerando, desde luego, no sólo los lujos
humanos transfronterizos, sino el considerable número de mexicanos que
viven particularmente en los Estados Unidos.
Como se puede observar en la tabla 1, nueve, de las 17 acciones
de mejora, alcanzaron su conclusión para agosto del 2011. Algunas de
ellas tienen un talante enunciativo, propio del interés por mantener la
orientación estratégica del programa. Otras, en contraste, van a la médula
de la asistencia consular in situ, desde la notiicación al titular de un
pasaporte para que lo renueve antes de su vencimiento, hasta la creación de
Programas Federales Comprometidos con el Proceso de Evaluación | 155
un red de informáticos consulares y la difusión de los servicios consulares.
La demostración sirvió para poner sobre la mesa el compromiso de la DGSC
y las otras unidades administrativas de la SRE participantes en el programa
con las mejoras de tipo organizacional que demandaba el programa.
A pesar de su aspecto ambicioso, que colocó su plan de trabajo por
encima del resto de los participantes en el “Premio 2011”, los integrantes
del equipo de la SRE, a juicio del comité evaluador, identiicaron, en un
esfuerzo de auto-diagnóstico, los hallazgos más relevantes y establecieron
una lógica causal entre acciones y recomendaciones. El programa pasó a la
siguiente fase del “Premio 2011” con una caliicación promedio alta (91.7).
A pesar de ello, el comité evaluador, en la presentación del programa,
consideró insuicientes las evidencias sobre los avances, basadas --en lo
fundamental-- en informes.
Tabla 1: Acciones de mejora comprometidos para el
programa Expedición de pasaportes y servicios consulares
(Porcentaje de avances a agosto del 2011)
Noく Acción de mejora Avance
1 Llevar a cabo un proceso de planeación
estratégica que genere la misión, visión, objetivos
generales y especíicos, y estos conceptos se
relejen en la matriz de marco lógico.
100%
2 Establecer estándares uniformes para
los procesos de atención a usuarios,
producción y entrega de documentos.
70%
3 Ampliar el mecanismo de citas a todos los
servicios y a todas las representaciones.
30%
4 Estudiar la viabilidad de centralizar toda la atención
telefónica, de todos los servicios, a nivel global, en
uno o más centros de contacto especializados.
100%
5 Estudiar la viabilidad de extender la producción de
pasaportes tipo “G” a todas las representaciones o
crear centros regionales de producción de pasaportes.
80%
6 Vincular al SIAC con la base de datos de la
Dirección General de Delegaciones.
70%
7 Llevar a cabo el proceso de digitalización de
expedientes en centros regionales especializados
o en oicinas consulares con gran demanda.
12%
8 Desarrollar sistemas integrales para los servicios
de Registro Civil, Actos Notariales y Fe Pública,
en armonía con los desarrollados en el país por las
autoridades registrales como RENAPO-SEGOB.
50%
9 Crear un sistema único, global de registro
consular vía Internet ligado al SIAC.
30%
156 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Noく Acción de mejora Avance
10 Incorporar dentro del SIAC el envío de una notiicación
electrónica al titular del pasaporte o matrícula cuando
está por vencerse el documento invitándolo a renovar.
100%
11 Emitir reglas claras sobre cómo
contabilizar las compulsas.
100%
12 Evaluar la eliminación o modiicación de los
requisitos de irma del titular para ciertos trámites.
100%
13 Crear una red de informáticos consulares. 100%
14 Fortalecer la estructura organizacional de la DGSC. 100%
15 Fortalecer los programas de capacitación para el
personal y en particular para el personal local.
80%
16 Llevar a cabo un programa de difusión de los
servicios consulares menos conocidos.
100%
17 Desarrollar plantillas modelo de
infraestructura, distribución de espacios y
equipo para las áreas de documentación de las
representaciones de México en el exterior.
100%
Fuente: Elaboración propia con datos de SRE.
Como parte de sus recomendaciones, el comité sugirió a la SRE
que, en vez de limitarse a ofrecer informes de avances, se incorporaran
indicadores con datos duros como, por ejemplo, el número de oicinas
consulares que, efectivamente, hubieran estandarizado el servicio en
un periodo determinado. También sugirió como indicador el número
de documentos oiciales expedidos bajo el nuevo sistema, así como los
porcentajes en que aumentó el personal y el personal capacitado. Más
importante aún, y tomando en cuenta tanto el horizonte de un año para
llevar a cabo las acciones, como el hecho de que algunas de ellas van más
allá de la responsabilidad de la DGSC, el comité sugirió a los miembros
del programa repensar la viabilidad de realizar las 17 acciones, para
concentrarse en aquellas que estimaran más importantes.
Una organización pública de las dimensiones de la SRE se enfrenta,
con frecuencia, al desafío de mantener su funcionamiento a la altura
de las exigencias que la realidad le impone, sólo para comprobar que,
una vez metida en la empresa, la implementación acarrea sus propios
apremios. Entre ellos, el imperativo de ajustar su proceder a una realidad
que no pide permiso ni da concesiones. De ahí la importancia de prever,
siempre, los alcances y las consecuencias del accionar organizacional. El
comité evaluador, por eso, invitó a la SRE a relexionar sobre las siguientes
cuestiones:
Programas Federales Comprometidos con el Proceso de Evaluación | 157
a) ¿Qué instrumentos se utilizarán para medir la evidencia? En
particular, ¿cómo se evaluará la información en las páginas de
Internet? ¿Se hará un corte en el tiempo?
b) ¿Es posible darle seguimiento a todas las acciones en el lapso de
un año, o es posible posponer la implementación de algunas?
c) Dado que algunas acciones implican la participación de
otras unidades de la SRE, ¿cuáles son los alcances del campo
organizacional implícito en las mismas que signiican
responsabilidades que no competen a la DGSC o que conllevan
un alto grado de diicultad técnica?
d) ¿Qué tipo de capacitación se ofrecerá a los funcionarios
consulares para reforzar la cultura de servicio al público?
e) ¿Cómo se valorarán los avances y la calidad y pertinencia de la
red de informáticos consulares? ¿Por el número de funcionarios
que acceden regularmente a ella, o por el número de proyectos
incorporados a la plataforma?
Conviene dejar claro que el objetivo del “Premio 2011” —de ahí el
ánimo de las observaciones del comité evaluador— era, con el seguimiento
a las acciones de mejora, abrir a los programas concursantes un espacio de
relexión en aras de ainar las estrategias de implementación de las mismas
acciones de mejora. Esto —explicado a los representantes del programa
de “Expedición de pasaportes y servicios consulares” en una reunión
con el comité evaluador— permitiría comprender, de mejor manera, la
lógica de las decisiones de quienes implementan el programa y, sin duda,
una evaluación más objetiva. Pero, al mismo tiempo, serviría de apoyo y
acompañamiento para que los mismos responsables de la SRE orientaran el
proceso de implementación de las acciones de mejora.
El programa, como lo airmaron sus operadores, contaba con el
apoyo de la Oicialía Mayor de la SRE, de modo que las acciones de mejora,
como parte del compromiso institucional de la Secretaría, se llevarían a
cabo bajo esas condiciones, además de que algunas de ellas, como el ejercicio
de planeación estratégica y la elaboración de la matriz de marco lógico, se
encontraban muy adelantados (ver tabla 1). En ese sentido, el riesgo quizá
más frecuente que identiicaban los operadores del programa para realizar
las acciones era, como se podrá apreciar más adelante, el de la insuiciencia
de personal, y no la falta de apoyos intrainstitucionales. A sabiendas de que
no todas ellas se concluirían en agosto, y concibiendo el esfuerzo de mejora
como un proceso integral en el que todas las actividades se complementan,
era preferible asumirlas todas sin dejar ninguna fuera del concurso.
158 | De las recomendaciones a las acciones: la experiencia del Premio 2011
De modo que para la segunda fase del concurso, la SRE preparó un
documento en el que incorporó un resumen que incluía la narración de las
acciones y la estrategia de implementación, los actores responsables, los
resultados alcanzados a agosto del 2011, los resultados a mediano plazo, y
las lecciones aprendidas. Además, entregó una descripción de las evidencias
más tangibles para cada acción de mejora en curso; mapas de riesgos de las
actividades que permitieran al jurado del “Premio 2011” calibrar el logro de los
resultados obtenidos y el tamaño del esfuerzo desplegado institucionalmente;
una reseña de las actividades incluidas en aquéllas; y, los responsables para cada
actividad. El siguiente apartado aborda los contenidos de esas dos entregas.
Acciones de mejora
En las 17 acciones de mejora, los operadores identiicaron las actividades
que, llevadas a efecto, darían cuenta de cada una de aquéllas. El ejercicio
sirvió para identiicar los riesgos que enfrentarían las acciones, así como
las implicaciones de la colaboración de distintas instancias al interior de
la SRE. El análisis que sigue sólo considera las nueve acciones que, en
agosto del 2011, se reportan como terminadas al 100% (ver tabla 2). Para
una aproximación ordenada, se han identiicado cinco temas en los cuales
inscribirlas que se incluyen en la tabla 2.
Tabla 2: Temas y acciones de mejora
Tema Acciones
a) Planeación • Llevar a cabo un proceso de planeación estratégica que
genere la misión, visión, objetivos generales y especíicos,
y estos conceptos se relejen en la matriz de marco lógico
b) Organización • Fortalecer la estructura organizacional de la DGSC
• Desarrollar plantillas modelo de infraestructura, distribución
de espacios y equipo para las áreas de documentación
de las representaciones de México en el exterior
c) Procedimientos • Emitir reglas claras sobre cómo contabilizar las compulsas
• Evaluar la eliminación o modiicación de los requisitos
de irma del titular para ciertos trámites
d) Tecnologías
de Información
y Comunicación
• Estudiar la viabilidad de centralizar toda la atención
telefónica, de todos los servicios, a nivel global, en
uno o más centros de contacto especializados
• Incorporar dentro del SIAC el envío de una notiicación
electrónica al titular del pasaporte o matrícula cuando
está por vencerse el documento invitándolo a renovar
• Crear una red de informáticos consulares
e) Difusión • Llevar a cabo un programa de difusión de los
servicios consulares menos conocidos
Fuente: Elaboración propia con datos de SRE.
Programas Federales Comprometidos con el Proceso de Evaluación | 159
a) Planeación
En el tema de planeación sólo hay una acción de mejora: Llevar a cabo un
proceso de planeación estratégica que genere la misión, visión, objetivos generales
y especíicos, y estos conceptos se relejen en la matriz de marco lógico, de cuya
ejecución se espera Contar con una matriz de marco lógico más completa,
alineada con las prioridades de política exterior y que contribuya a medir el
desempeño del programa. No hay mejor manera de precisar la posición de un
proyecto al interior de una organización que a través de la revisión o de la
realización de un ejercicio de planeación estratégica. Como todo en la vida
de una organización, un plan puede volverse letra muerta. Sin embargo,
la virtud del plan estratégico y, en este caso, con su concomitante matriz
de marco lógico actualizada, descansa en la indispensable participación
de quienes, al inal del día, tendrán que implementarlo. Así se conjura el
riesgo de su inaplicación en la realidad. Pero más importante, permite
situar al programa de “Expedición de pasaportes y servicios consulares”
en el lugar correcto, dentro del contexto organizacional, y determinar las
responsabilidades de los actores y sus alcances.
Los actores responsables de la planeación estratégica son la DGSC
y la DGPOP (ver tabla 3). La primera es, de hecho, la unidad que conduce
el programa, razón por la cual, desde luego, participa en el taller, y que
explica por qué le corresponde revisar y validar la nueva matriz de marco
lógico, actividad clave de la acción de mejora. Por su parte, la DGPOP no
sólo interviene como el área insustituible de gestión de recursos, sino,
por su perspectiva y su conocimiento de los meandros organizacionales,
como participante en el taller de planeación estratégica, como gestor para
contratar al consultor que impartiría el taller y, junto con la DGSC, como
encargado de registrar la nueva matriz ante la Secretaría de Hacienda y
Crédito Público (SHCP).
Tabla 3: Actividades de la acción de mejora Llevar a cabo
un proceso de planeación estratégica que genere la
misión, visión, objetivos generales y especíicos, y estos
conceptos se relejen en la matriz de marco lógico
Noく Actividad Responsables
1 Realizar las gestiones para contratar a un
consultor externo que imparta un taller
de revisión de la matriz del marco lógico.
DGPOP
2 Llevar a cabo el taller. DGPOP/DGSC
3 Revisar y validar la nueva matriz. DGSC
4 Registrar la nueva matriz ante la SHCP. DGSC/DGPOP
Fuente: Elaboración propia con datos de SRE.
160 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Las organizaciones complejas —es el caso de la SRE— se componen
de un entramado, igualmente complejo, de actos simples llevados a cabo
por un número considerable de actores en todos los niveles. El “Premio
2011” ha servido para que los participantes desgranaran sus programas
en acciones de mejora, y éstas, en actividades cuya simpleza sólo atestigua
la complejidad organizacional en la que se insertan. Así de simples son
los riesgos previstos para cada acción que, a un tiempo, descubren las
diicultades que, con cada nuevo trance, debe enfrentar la organización.
El primer riesgo, si bien de baja probabilidad, revela la permanente
preocupación por hacer que una tarea, sin importar cuán sencilla, quede
sin ejecutar por no cumplir con los tiempos y los requisitos administrativos
previos exigidos para efectuarla (ver tabla 4).
Tabla 4: Riesgos previstos para la acción de mejora Llevar
a cabo un proceso de planeación estratégica que genere la
misión, visión, objetivos generales y especíicos, y estos
conceptos se relejen en la matriz de marco lógico
Noく Riesgo Probabilidad Impacto
1 No concluir oportunamente con
las gestiones administrativas
para contratar los talleres.
Baja Alto
2 Las cargas de trabajo del área
sustantiva no permitan destinar
tiempo suiciente para el rediseño
de la matriz del marco lógico.
Media Alto
Fuente: Elaboración propia con datos de SRE.
Por su parte, el riesgo 2 ilustra esa perenne lucha contra los recursos
escasos y, de modo primordial, contra el tiempo. Porque justamente de
eso se trata aquí: las cargas de trabajo reciben el peso de la culpa, aunque,
en realidad, el problema reside en la planeación del tiempo. Aun cuando
el programa en su conjunto forma parte de las prioridades de la DGSC
(precisamente, el área sustantiva) y que su interés no debería descarrilarse
por la insuiciencia de recursos, el riesgo —de probabilidad media— de
que las cargas de trabajo impidieran realizar la actividad tendrían, como se
puede apreciar en la tabla 4, un impacto alto en la concreción de la acción y,
al inal, del programa mismo. En efecto, el taller de planeación estratégica
se colocó en el primer lugar de la lista de tareas, porque había que encuadrar
todo el esfuerzo institucional en una matriz actualizada de marco lógico.
De otro modo, estratégicamente hablando, se corría el riesgo de que las
distintas áreas participantes desalinearan su proceder respecto del objetivo
común. Y, quizá más importante, quedaran fuera del itinerario institucional
de la SRE en su conjunto.
Programas Federales Comprometidos con el Proceso de Evaluación | 161
Hぶ Oヴェ;ミキ┣;Iキルミ
De la planeación estratégica a la adecuación de la estructura apenas hay
un paso lógico. No siempre, por supuesto, una organización necesita ese
alineamiento. A veces, a la estructura se le sometió primero a un cierto
reacomodo, sólo para que los tomadores de decisión se dieran cuenta que,
ahora, hace falta una justiicación de mayor perspectiva a nivel de plan
estratégico. Pero en otras ocasiones sucede al revés: a la actualización del
plan le sigue la consecuente modiicación de estructuras o, como la DGSC
lo ha concebido, el fortalecimiento de su propia estructura. Esta acción de
mejora, por sí misma, invita a pensar en una labor organizacional de cierta
envergadura, indispensable, es cierto, para dar acomodo a las obligaciones
que emanan del programa de “Expedición de pasaportes y servicios
consulares”.
Pero veamos. Las actividades de la acción de mejora Fortalecer la
estructura organizacional de la DGSC giran en torno a esa otra expresión
de la escasez de recursos que se compendia en la insuiciencia de personal.
La DGSC, como cabeza del programa, entiende que con recursos humanos
adicionales podrá enfrentar las exigencias de aquél. No se trata, al parecer,
de contrataciones deinitivas. Las actividades 2 (Solicitar a DGSERH el
costeo de plazas por honorarios) y 3 (Solicitar autorización a la SHCP para
transferir recursos provenientes de ingresos consulares a la partida de
honorarios), a cargo de la DGPOP, indican que se echará mano de personal
por honorarios. Las nuevas contrataciones se destinarán a robustecer las
funciones de los consulados mexicanos.
Tabla 5: Actividades de la acción de mejora Fortalecer
la estructura organizacional de la DGSC
Noく Actividad Responsables
1 Identiicar requerimientos
de personal.
DGSC
2 Solicitar a DGSERH el costeo
de plazas por honorarios.
DGPOP
3 Solicitar autorización a la
SHCP para transferir recursos
provenientes de ingresos consulares
a la partida de honorarios.
DGPOP
4 Gestionar la adecuación
presupuestaria ante la
SHCP. DGPOP.
DGPOP
5 Gestionar la contratación de
personal ante DGSERH.
DGSC
Fuente: Elaboración propia con datos de SRE.
162 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Llama la atención que el presupuesto para cubrir el monto de los
honorarios se obtendrá de los ingresos consulares, de modo que el incremento
de plazas dependerá de la propia eiciencia en las oicinas consulares. De
cualquier modo, tratándose de ingresos públicos por concepto de derechos,
el uso distinto al previsto en el presupuesto de egresos de la federación
requiere del respectivo consentimiento hacendario. De ahí que el único
riesgo visualizado por los responsables del programa fuera, precisamente,
que la SHCP no autorizara la transferencia de ingresos consulares para esos
efectos (ver tabla 6).
Tabla 6: Riesgos previstos para la acción de mejora
Fortalecer la estructura organizacional de la DGSC
Noく Riesgo Probabilidad Impacto
1 La SHCP no autorice
la transferencia de
recursos de ingresos
consulares a la partida
de honorarios.
Media Alto
Fuente: Elaboración propia con datos de SRE.
Que la probabilidad del riesgo sea media indica que la ocurrencia
de la cristalización de la acción de mejora, en este caso, dependía de
un actor externo que no se encontraba sometido a las exigencias en el
cumplimiento del programa. Y sí, en efecto, su impacto podía ser alto,
impidiendo que la actividad llegara a sus últimas consecuencias. En ese
caso, la SRE debería haber provisto lo necesario para suplir la actividad
con medios a su alcance.
Por otra parte, la acción de mejora Desarrollar plantillas modelo
de infraestructura, distribución de espacios y equipo para las áreas de
documentación de las representaciones de México en el exterior representa
el complemento lógico del aumento en personal. Los consulados requieren
de la adecuación física y de la previsión de equipo, en armonía con los
cambios que entraña el crecimiento en el volumen de operaciones a realizar
y en los documentos a procesar para ir al paso de la demanda de servicios
consulares. Se trata de crear entornos físicos y equipamiento estandarizados
en las áreas de documentación de las representaciones en el exterior. Y para
ello, de manera inteligente, se propuso primero trabajar con plantillas en
tres representaciones consulares (ver tabla 7).
Programas Federales Comprometidos con el Proceso de Evaluación | 163
Tabla 7: Actividades de la acción de mejora Desarrollar
plantillas modelo de infraestructura, distribución de
espacios y equipo para las áreas de documentación de
las representaciones de México en el exterior
Noく Actividad Responsable
1 Analizar y clasiicar la información sobre
infraestructura, espacios y equipo de
las representaciones consulares.
DGBIRMA/DGTII
2 Elaborar las plantillas modelo por
tamaño de representación.
DGBIRMA/DGTII
3 Identiicar las necesidades de adecuación y
equipamiento de 3 representaciones consulares.
DGBIRMA/DGTII
4 Iniciar las gestiones para cubrir las
necesidades identiicadas.
DGBIRMA/DGTII
Fuente: Elaboración propia con datos de SRE.
Con facilidad se pierde de vista la importancia de los espacios físicos
en los que el personal labora día a día. Con frecuencia, las organizaciones,
acometidas por las urgencias, van dejando en último lugar la atención a
infraestructura y equipamiento, sobre todo, en lo que concierne a tareas de
documentación y archivo. Resulta plausible, por lo tanto, que la SRE haya
puesto énfasis en armonizar estos factores entre sí y respecto del crecimiento
del personal en las representaciones mexicanas en el exterior, involucrando
en el diseño de las plantillas a las direcciones generales de Bienes Inmuebles y
Recursos Materiales, y de Tecnologías de la Información e Innovación.
Con el fortalecimiento de la estructura de la DGSC y el diseño de
plantillas modelo de infraestructura, distribución de espacios y equipo
se aborda, de manera complementaria, aspectos organizacionales que
suelen atenderse asincrónicamente. Además, la insuiciencia de fondos se
presenta como un argumento que, habitualmente, opera en desmedro de
las mejores intenciones, lo mismo que el tiempo y los recursos humanos
disponibles. De ahí que, tantas veces en la vida de una organización, los
buenos propósitos queden reducidos a acciones aisladas que no resuelven
la problemática que, originalmente, se pretendía resolver. Las acciones del
programa de “Expedición de pasaportes y servicios consulares” en el tema
de organización afrontan correctamente la situación. No parece casual que
ambas, en efecto, se hayan cumplido en su totalidad en agosto del 2011.
Con todo, los responsables del programa anticiparon tres riesgos
que podrían haber afectado el desarrollo de la acción de mejora (tabla 8). Las
cargas de trabajo como impedimento para concluir las plantillas aparecen,
de nuevo, con una probabilidad media y, en caso de materializarse, con un
impacto medio. Este riesgo, de hecho, forma parte del escenario cotidiano de
cualquier oicina ante los desafíos del cambio. Las rutinas, que contribuyen
164 | De las recomendaciones a las acciones: la experiencia del Premio 2011
a la eiciencia de los procesos internos, se pueden volver en contra de la
eiciencia misma cuando ya no responden adecuadamente a la realidad para
la cual fueron creadas. Es el caso de los mexicanos que viajan o viven en el
exterior, particularmente, en los Estados Unidos. Su número, aunado a las
políticas migratorias más estrictas del gobierno estadounidense, mostraban
la obsolescencia de ciertas prácticas al interior de la SRE.
Tabla 8: Riesgos previstos para la acción de mejora Desarrollar
plantillas modelo de infraestructura, distribución de
espacios y equipo para las áreas de documentación de
las representaciones de México en el exterior
Noく Riesgo Probabilidad Impacto
1 No se cuente con recursos inancieros
suicientes para llevar a cabo las
adquisiciones y contrataciones requeridas
para las adecuaciones y el equipamiento
en 3 representaciones consulares.
Alta Alto
2 Las fechas de cierre del ejercicio
presupuestario no permitan realizar las
adquisiciones y contrataciones requeridas.
Media Alto
3 Las cargas de trabajo de las unidades
responsables no permitan concluir
oportunamente con las plantillas modelo.
Media Medio
Fuente: Elaboración propia con datos de SRE.
El acompasamiento de las tareas desplegadas por las distintas
unidades administrativas de la organización es, tal vez, la condición más
importante —y elusiva— para el logro de resultados concretos como,
en este caso, las adquisiciones y las contrataciones mencionadas antes.
Precisamente, el riesgo de recursos inancieros insuicientes, como en otras
acciones de mejora, vuelve a hacer acto de presencia (con probabilidad e
impacto altos), y el de fechas de cierre del ejercicio presupuestario (con
probabilidad media e impacto alto), se explican por la persistencia del
asincronismo en tareas concurrentes a cargo de instancias distintas.
Quizá la experiencia llevó a los operadores del programa a
incorporar esos riesgos en sus cálculos. Cabe hacer, en este respecto, una
puntualización. La posible falta de recursos no se refería a la elaboración
de las plantillas, sino a las adquisiciones y contrataciones que, con las
plantillas en la mano, habría que hacer después para adecuar y equipar
instalaciones en tres representaciones consulares. La aclaración es
pertinente, porque revela que los operadores del programa pensaban en la
Programas Federales Comprometidos con el Proceso de Evaluación | 165
natural consecuencia del diseño de plantillas, más allá del escritorio. Y para
pasar —como dice el adagio— de la teoría a la práctica, era necesario prever
los posibles obstáculos.
c) Procedimientos
Para entender una organización, nada más recomendable que estudiar sus
rutinas, es decir, sus procedimientos. En ellos están inscritos, como en el
ADN, sus formas y contenidos, sus estilos y decisiones, sus incentivos y
oportunidades, sus actores y reglas implícitas, sus medios y sus ines. No
hace falta, por supuesto, analizar todos los procedimientos de la SRE ni,
siquiera, de la DGSC, para hacerse una idea de la organización. A reserva de
un examen detenido, la sola mención de la necesidad de Emitir reglas claras
sobre cómo contabilizar las compulsas y de Evaluar la eliminación o modiicación
de los requisitos de irma del titular para ciertos trámites, ambas acciones de
mejora planteadas en el marco del programa de “Expedición de pasaportes
y servicios consulares”, revela dos cosas: por un lado, un desfasamiento
entre las prácticas organizacionales en la trinchera (valga la analogía) y la
realidad que se busca atender con los cambios que implica el programa; por
el otro, la aparente ambigüedad de las reglas.
Así lo insinúan las actividades de las dos acciones de mejora que,
para ines analíticos, se han insertado en el tema de “procedimientos”. Y
se ha hecho así porque un procedimiento constituye un conjunto de reglas
—de menor calado, es cierto— que norman el comportamiento, casi
ininitesimal, de personas de carne y hueso que todos los días, como es el
caso, se dedican a compulsar documentos. Si a las reglas les falta claridad, las
rutinas se pierden en un número de tareas que no añaden valor a la cadena,
producen información poco útil, y generan costos adicionales. Para decirlo
de manera breve: el resultado es ineiciencia. En ese sentido, la emisión
de reglas claras para contabilizar compulsas y la evaluación de eliminar o
modiicar el requisito de irma del titular, indican que los operadores del
programa se han dado cuenta de que las rutinas que se aplican en ambos
casos ya no atienden, apropiadamente, las necesidades internas.
Por eso, es sensato el conjunto de actividades que dan cuenta de la
propuesta de mejora sobre la emisión de reglas para contabilizar compulsas,
pues se aprecia una secuencia lógica para su ejecución: de la revisión y, en
su caso, la actualización de esas reglas, hasta la supervisión in situ de su
aplicación (ver tabla 9). Desde luego, la clave del éxito en la consumación de
las actividades descansa en la primera actividad: revisar la normatividad que
regula las compulsas. No sólo se trata de hacer la revisión, sino de hacerla
de modo que, en efecto, los cambios arrojen claridad sobre las reglas. Las
representaciones consulares ganarán en eiciencia.
166 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Tabla 9: Actividades de la acción de mejora Emitir reglas
claras sobre cómo contabilizar las compulsas
Noく Actividad Responsable
1 Revisar la normatividad que
regula las compulsas.
DGSC
2 Actualizar la Guía Consular, en su caso. DGSC
3 Emitir circular a las representaciones
de México en el exterior.
DGSC
4 Realizar visitas de supervisión a 3
representaciones consulares.
DGSC
Fuente: Elaboración propia con datos de SRE.
Por otra parte, emergieron de nuevo, como invocación, los mismos
riesgos de cargas de trabajo y de recursos insuicientes que impedirían la
emisión de reglas claras sobre la contabilización de compulsas (ver tabla
10). Aunque ambos son ponderados con probabilidad e impacto de medio
alcance, la percepción en los responsables del programa estaba teñida por
el mismo temor de fracasar, arrastrados por el peso del día a día. El cambio
en una organización, no hay duda, siempre enfrenta resistencias, muchas
de ellas ancladas a la fuerza de las rutinas y los procedimientos, pese a su
evidente anacronismo, y a la amenaza de recursos inancieros exiguos. Pero,
a veces, el ánimo de superar las trabas de ocasión es mayor y logra lo que
parecía cuesta arriba. De cualquier manera, la explicitación de los riesgos se
vuelve tanto una alerta para todas las áreas de la SRE involucradas, como
una invitación a alinear esfuerzos hacia la conclusión de la mejora.
Tabla 10: Riesgos previstos para la acción de mejora Emitir
reglas claras sobre cómo contabilizar las compulsas
Noく Riesgo Probabilidad Impacto
1 Las cargas de trabajo
no permitan destinar
tiempo suiciente para
llevar a cabo las visitas.
Media Medio
2 No se cuente con recursos
inancieros suicientes
para llevar a cabo las
visitas de supervisión.
Media Medio
Fuente: Elaboración propia con datos de SRE.
Programas Federales Comprometidos con el Proceso de Evaluación | 167
Detrás de una sola tarea, de un solo requisito o de apenas una
decisión, se oculta, muchas veces, el signiicado entero de un procedimiento
organizacional: el porqué de su eventual ineiciencia o de su plena
operatividad. Como puede ser el caso de una irma. Si, en el pasado, la irma
del titular parecía indispensable en ciertos trámites consulares, hoy, desde
el punto de vista de los operadores del programa “Emisión de pasaportes y
servicios consulares”, tal vez sería prescindible. El primer paso para ello es
evaluar la eliminación o modiicación de los requisitos de irma del titular
para ciertos trámites (los cual no se plantea como actividad dentro de la
acción de mejora, sino que se trata de la acción de mejora misma); el segundo,
si así se concluye de la evaluación, será emitir el comunicado correspondiente
a los consulados mexicanos para proceder en consecuencia (ver tabla 11).
Tabla 11: Actividades de la acción de mejora Evaluar
la eliminación o modiicación de los requisitos de
irma del titular para ciertos trámites
Noく Actividad Responsable
1 Emitir circular a las
representaciones de México
en el exterior, en su caso.
DGSC
Fuente: Elaboración propia con datos de SRE.
Sólo la persistente aprensión de que las cargas de trabajo —la falta
de tiempo— se erigieran en el principal inconveniente podría haber hecho
que la implementación de la acción de mejora naufragara. No sucedió así,
desde luego, porque la acción se reporta como realizada en su totalidad para
agosto del 2011. Pero su presencia con probabilidad media e impacto alto
hace imaginar a una DGSC en el límite de sus capacidades y, no obstante,
obligada a cambios para hacer los trámites más luidos y eicientes.
Tabla 12: Riesgos previstos para la acción de mejora
Evaluar la eliminación o modiicación de los requisitos
de irma del titular para ciertos trámites
Noく Riesgo Probabilidad Impacto
1 Las cargas de trabajo
no permitan concluir
oportunamente con la
evaluación y posible
instrumentación de la
eliminación de irmas.
Media Alto
Fuente: Elaboración propia con datos de SRE.
168 | De las recomendaciones a las acciones: la experiencia del Premio 2011
d) Tecnologías de Información y Comunicación
Bajo el tema de Tecnologías de Información y Comunicación caben tres
acciones de mejora: Estudiar la viabilidad de centralizar toda la atención
telefónica, de todos los servicios, a nivel global, en uno o más centros de contacto
especializados; incorporar dentro del SIAC el envío de una notiicación electrónica
al titular del pasaporte o matrícula cuando está por vencerse el documento
invitándolo a renovar y; crear una red de informáticos consulares. Como en
otros casos, las acciones son fruto, a un tiempo, de la necesidad y la cautela.
El diagnóstico pedía ajustes para mejorar servicios y aprovechar recursos;
la realidad administrativa sugería prudencia en el alcance de las acciones.
Los efectos de su realización, como se puede advertir, contribuirán al mejor
funcionamiento de las representaciones.
No siempre es aconsejable centralizar actividades. La operación
de las oicinas muchas veces se vuelve más eiciente en ambientes
descentralizados, con un cierto grado de autonomía de decisión. Pero otras
veces, la centralización ofrece ventajas a las organizaciones, sobre todo,
cuando éstas brindan servicios estandarizados en múltiples sedes. Es el caso
de la atención telefónica de los servicios a nivel global y su concentración en
uno o pocos centros. Hay que precisar, no obstante, que la acción de mejora
se reiere a hacer el estudio correspondiente para determinar la viabilidad
de tal centralización, y sólo, después, eventualmente, llevarla a cabo. De
modo que si del estudio se desprende que eso no es viable por razones de
costos, especialización del personal o cantidad de llamadas, los operadores
del programa deberán revisar, en principio, otras posibles soluciones. La
cautela aconseja, pues, ese paso previo.
Tabla 13. Actividades de la acción de mejora Estudiar la viabilidad
de centralizar toda la atención telefónica, de todos los servicios,
a nivel global, en uno o más centros de contacto especializados
Noく Actividad Responsable
1 Elaboración del estudio. DGSC/DGTII
2 Revisión y ajustes requeridos al estudio. DGSC/DGTII
Fuente: Elaboración propia con datos de SRE.
De hecho, así lo consideraron los responsables en el documento
Acciones de mejora y mapas de riesgos: “Centralizar la atención telefónica
requiere necesariamente de un estudio previo que considere los costos de
operación, los volúmenes de llamadas atendidas por región y el grado de
capacitación requerido del personal, a in de determinar la viabilidad de
su instrumentación.” Y las actividades previstas para concretar la acción
Programas Federales Comprometidos con el Proceso de Evaluación | 169
de mejora trazan la ruta a seguir: elaborar el estudio, revisarlo y ajustarlo
según se requiera. Las instancias responsables son la DGSC y la Dirección
General de Tecnologías de la Información e Innovación (DGTII), la primera
como encargada del servicio de atención, y la segunda como responsable de
los aspectos tecnológicos.
Los riesgos que se pronosticaron para la acción de mejora
planteaban, de un lado, problemas de suiciencia de personal capacitado
para realizar el estudio; del otro, diicultad en el manejo y análisis de la
información debido a la complejidad de la misma (ver tabla 14). En
ambos casos, se trataba de dudas sobre las competencias de los recursos
humanos en dos dimensiones: una, ex ante, propia del estudio a elaborar;
la otra, ex post, referida a la centralización del servicio telefónico. Sobre la
primera, llama la atención que el estudio sería de factura interna y no de
especialistas externos, especialmente, por la obvia envergadura del tema;
y sobre la segunda dimensión, que si bien la acción de mejora tiene que ver
con el estudio de viabilidad y no con la ejecución que, eventualmente, le
seguiría, los responsables del programa juzgaron oportuno advertir sobre
los contratiempos que implicaría el manejo de información compleja, una
vez centralizada la atención telefónica. Era, por lo tanto, muy provocativa
la propuesta de hacer el estudio —y, luego, quizá, la centralización de la
atención telefónica— cuando se estimaban riesgos de alta probabilidad y
alto impacto. Los responsables del programa planearon un lance atrevido
que, a la sazón, resultó exitoso, por lo menos, en su primer tramo: para
agosto del 2011 se reportaba que se había realizado el estudio.
Tabla 14: Riesgos previstos para la acción de mejora
Estudiar la viabilidad de centralizar toda la atención
telefónica, de todos los servicios, a nivel global, en
uno o más centros de contacto especializados
Noく Riesgo Probabilidad Impacto
1 Falta de personal suiciente y
capacitado para realizar el estudio.
Alta Alto
2 Diicultad en el manejo y análisis
de la información debido a la
complejidad de la misma.
Alta Alto
Fuente: Elaboración propia con datos de SRE.
Con el perfeccionamiento del SIAC, se ha incrementado su
funcionalidad en aras de expedir documentos de forma segura y de reducir
tiempos en la consulta de los mismos, obtener reportes en línea, y validar
datos y registros de los usuarios. Como el sistema se ha centralizado, se
ha abatido la duplicidad de información, ha aumentado su consistencia, se
170 | De las recomendaciones a las acciones: la experiencia del Premio 2011
han simpliicado las labores de protección consular y la comprobación de
autenticidad documental y de registros de personas. De ese modo, el SIAC
proporciona certeza a los mexicanos en los Estados Unidos y apoya la toma
de decisiones de los altos mandos de la SRE.
En ese contexto, no resulta extraño que el Sistema sea objeto de mejoras
constantes como la notiicación electrónica al titular del pasaporte antes de
su vencimiento. Un cambio en apariencia pequeño, pero que proyecta una
preocupación por el bienestar del usuario. La acción, a cargo, alternativamente,
de DGTII y DGSC, implicó desarrollar la aplicación para la captura de la cuenta
de correo electrónico del titular del pasaporte; instruir a las representaciones
circulares para que procedieran a la captura del correo electrónico; y, inalmente,
desarrollar el módulo de notiicación electrónica en el SIAC (ver tabla 15).
Se trata de una cadena sencilla de actividades que habla, sin duda, de que —
repitiendo al ya clásico Schumacher—lo pequeño es hermoso: “Cuando lo que
se requiere es la acción necesitamos, obviamente, unidades pequeñas…”10 La
serie de tareas menudas en que se puede dividir una actividad mayor, permite
eicientar la cadena y, de todos modos, lograr el cometido. Lo cual, por cierto,
acredita el esfuerzo humano detrás de las modiicaciones al SIAC, a pesar del
riesgo, esta vez catalogado con probabilidad baja, de que las cargas de trabajo
imposibilitaran su realización (ver tabla 16).11

Tabla 15: Actividades de la acción de mejora Incorporar
dentro del SIAC el envío de una notiicación electrónica
al titular del pasaporte o matrícula cuando está por
vencerse el documento invitándolo a renovar
Noく Actividad Responsable
1 Desarrollo de la modiicación en SIAC para la
captura de la cuenta de correo electrónico.
DGTII
2 Envío de comunicación a las representaciones
consulares para instruir se inicie con la
captura de la cuentas de correo electrónico.
DGSC
3 Desarrollo del módulo de
notiicación electrónica.
DGTII
Fuente: Elaboración propia con datos de SRE.
10 E. F., Schumacher, Lo pequeño es hermoso, Barcelona, Ediciones Orbis, 1973, p. 67.Y esta es la razón que
Schumacher ofrece: “…porque la acción es un asunto altamente personal y uno no puede contactar más
que con un número limitado de personas al mismo tiempo”.
11 Debe hacerse notar, sin embargo, que el riesgo 1 no guarda lógica con la acción, toda vez que se reiere
a las cargas de trabajo para la revisión normativa de las compulsas. Éstas tienen que ver con el cotejo de
documentos respecto de su original, mientras que la acción de mejora, sólo con la notiicación electrónica
al titular del pasaporte. Aquí se ha asumido que el riesgo se relacionaba con cargas de trabajo para los
efectos de la acción bajo análisis.
Programas Federales Comprometidos con el Proceso de Evaluación | 171
El segundo riesgo (ver tabla 16) responde a un tipo ubicuo asociado
a circunstancias completamente fuera de control de los interesados. Pero al
clasiicarla con probabilidad baja e impacto medio los responsables dejaban
ver cierta conianza de que los usuarios responderían positivamente a
una medida que, a todas luces, les beneicia. En efecto, como los mismos
responsables aseguraron, la modiicación sería de bajo impacto en el
proceso de captura y el desarrollo se podría realizar en el corto plazo. El
aviso electrónico del próximo vencimiento del pasaporte es, en sí mismo,
un incentivo poderoso para proporcionar datos de contacto vía Internet.
Y así han respondido, al parecer, los usuarios. Con todo, no queda claro si
la acción de mejora abarca a los titulares de pasaporte que ya cuentan con
él desde hace tiempo. Si no fuera así, entonces queda todavía camino por
recorrer.
Tabla 16: Riesgos previstos para la acción de mejora
Incorporar dentro del SIAC el envío de una notiicación
electrónica al titular del pasaporte o matrícula cuando
está por vencerse el documento invitándolo a renovar
Noく Riesgo Probabilidad Impacto
1 Las cargas de trabajo de la unidad
responsable no permitan concluir
oportunamente con la revisión
normativa de las compulsas.
Baja Alto
2 Los connacionales no dispongan
o no deseen proporcionar su
cuenta de correo electrónico.
Baja Medio
Fuente: Elaboración propia con datos de SRE.
Suele olvidarse que la verdadera riqueza de una organización
descansa en sus integrantes. De pronto, se descubre que el capital humano
que se ha ido acumulando se encuentra desaprovechado. Existen muchas
áreas con personal que todavía esperan el momento de aportar más a los
propósitos institucionales. La experiencia y el conocimiento acopiados
a lo largo de los años pueden potenciarse en proyectos especíicos. Los
operadores del programa “Expedición de pasaportes y servicios consulares”
han acertado: constituir, en un grupo integrado gracias a la tecnología de la
información, a los especialistas en informática de los consulados mexicanos
para la búsqueda de soluciones a problemáticas comunes. Los operadores
reconocen que “…es un desarrollo sencillo que se puede realizar en el
corto plazo…” Para ello, la DGTII analizó y diseñó el espacio para la red de
informáticos consulares, hizo las pruebas pertinentes y echó a andar la red
(ver tabla 17).
172 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Tabla 17: Actividades de la acción de mejora Crear
una red de informáticos consulares
Noく Actividad Responsable
1 Análisis y diseño del espacio para la
red de informáticos consulares.
DGTII
2 Desarrollo, pruebas e implementación
del espacio para la red de
informáticos consulares.
DGTII
Fuente: Elaboración propia con datos de SRE.
No obstante el éxito en la conformación de la red, de nuevo aparece,
como sombra obstinada, la posibilidad de que las cargas de trabajo (ver
tabla 18) no permitieran concluir las actividades. En ocasiones, la aversión
al riesgo y un cierto prurito de escritorio empuja a los tomadores de
decisiones a dejar un margen para justiicar el fracaso. Pero en este caso
—como en los otros que se han revisado en este capítulo— no existían
fundamentos para recelar de las capacidades humanas. A pesar de la
probabilidad media de ocurrencia, el riesgo de que, por cargas de trabajo,
no alcanzara el tiempo para realizar las actividades de la acción de mejora
Crear una red de informáticos consulares, probó ser infundado.
Tabla 18: Riesgos previstos para la acción de mejora
Crear una red de informáticos consulares
Noく Riesgo Probabilidad Impacto
1 Las cargas de trabajo
no permitan concluir
oportunamente
con el desarrollo
del espacio para la
red de informáticos
consulares.
Media Alto
Fuente: Elaboración propia con datos de SRE.
e) Difusión
¿Qué explica la presencia perdurable en la sociedad de las
organizaciones, en general, y las públicas, en particular? Más allá del
mandato constitucional y legal que las crea, hay un sedimento humano que
les da vida, las hace respirar, las obliga a avanzar en pos de los objetivos
para las que fueron creadas. Sin esos objetivos, simplemente perderían
todo sentido de orientación y, al inal, de importancia. Pues, ¿con qué
Programas Federales Comprometidos con el Proceso de Evaluación | 173
incentivos cuenta una organización gubernamental para realizar ese
singular superior esfuerzo allende el mero requisito de vivir, provisto que
no tiene que competir, como es el caso en situaciones de mercado? Desde
luego, como la abundancia de ejemplos lo atestigua, una organización
pública puede sobrevivir cumpliendo sólo con el minimum minimorum
exigido por el entorno, siempre detrás de las necesidades de los usuarios,
apenas en la proverbial línea de resistencia. Pero también puede continuar
manteniéndose a la altura de las demandas sociales, adelantándose a las
necesidades, tal vez compitiendo consigo misma.
Difundir los servicios que presta, signiica un paso hacia delante en
la vida de la organización. Podría muy bien quedarse en la autocomplacencia
que produce el cumplimiento de rutinas y los resultados a los que se llegue
de esa manera, pero, en este caso, la SRE se comprometió a Llevar a cabo un
programa de difusión de los servicios consulares menos conocidos. Esta acción
de mejora, además, destaca porque promueve el uso de los servicios menos
conocidos que brindan los consulados. Y las actividades realizadas son, en
verdad, sencillas (ver tabla 19): desde revisar la información actual en los
portales electrónicos, hasta publicar la información con las modiicaciones
que se hubiesen establecido al efecto. Aunque, una vez más, se hizo presente
el riesgo (de sobra conocido) de que las cargas de trabajo frustraran la
realización de las actividades, la acción de mejora se llevó a cabo en el plazo
previsto.
Tabla 19: Actividades de la acción de mejora Llevar a cabo un
programa de difusión de los servicios consulares menos conocidos
Noく Actividad Responsable
1 Revisar la información actual de las
páginas de Internet sobre los servicios de
registro civil, notariales y fe pública.
DGSC
2 Determinar las modiicaciones necesarias. DGSC
3 Enviar a DGTII la información a publicar. DGSC
4 Publicar la información en las páginas de
Internet de las representaciones consulares,
con la incorporación de un contador de visitas.
DGTII
Fuente: Elaboración propia con datos de SRE.
La difusión de los servicios consulares menos conocidos tiene la ventaja
añadida de que aprovecha las tecnologías de información y comunicación con
que cuenta la SRE en los consulados. Se trata, en consecuencia, de una tarea
de bajo costo, pero con un impacto mayor en cuanto a los beneicios. Queda
en las representaciones consulares —y en la SRE en su conjunto— alinear los
recursos disponibles al ritmo de la demanda.
174 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Tabla 20: Riesgos previstos para la acción de mejora Llevar a cabo un
programa de difusión de los servicios consulares menos conocidos
Noく Riesgo Probabilidad Impacto
1 Las cargas de trabajo de
las unidades responsables
no permitan modiicar
oportunamente la
información de las
páginas de Internet de las
representaciones consulares.
Media Alto
Fuente: Elaboración propia con datos de SRE.
RW。W┝キルミ gミ;ノ
Sólo es el principio. Ser reconocida, junto con otras agencias gubernamentales,
por el “Premio 2011” obliga a la SRE y a las unidades administrativas
involucradas, en especial, a la DGSC, a honrar los compromisos derivados
de cada una de las acciones de mejora analizadas en este capítulo. Como
pudo apreciarse antes, las nueve acciones de mejora, aquí revisadas,
implicaban actividades a cumplirse en agosto del 2011; otras, en cambio,
no lograron ese cometido, aunque su conclusión se pospuso para algún
momento de ese mismo año. Pero todas las acciones —y, en particular, las
nueve que se concluyeron en agosto— aun cuando, en sí mismas, tenían un
plazo de cumplimiento que ya tuvo lugar, desencadenan otra serie de tareas
que tendrán que efectuarse rutinariamente a partir de ese momento. Más
allá del reconocimiento, ese es el compromiso más importante para la SRE
y la DGSC.
A menudo, los datos se escabullen. O mejor dicho, tienden a ocultar
la realidad que viven personas de carne y hueso: a la fecha, resulta imposible
determinar el número exacto de mexicanos viviendo en Estados Unidos.
No obstante ello, la realidad escurridiza de esos mexicanos ha encontrado
una suerte de punto de equilibrio. Entre los millones de mexicanos en
Estados Unidos —e, incluso, sus hijos que también son mexicanos y, por lo
tanto, tienen derechos de este lado de la frontera— y el Estado, que debe
proveerles servicios consulares en virtud de su nacionalidad, se ha cerrado
la brecha de atención. En el pasado, muchos paisanos emigraron sin que la
necesidad de ocupar servicios consulares los apremiara. Pero en las últimas
décadas, las circunstancias internacionales cambiaron, quizá demasiado
rápidamente, y llevaron a los países receptores de migración a hacer más
estrictas sus regulaciones en la materia. De modo que muchos mexicanos
en Estados Unidos han perdido espacio para movilizarse económica,
geográica y socialmente en aquel país. Esa pérdida la ha compensado el
gobierno mexicano acercándoles sus servicios consulares y de protección.
Programas Federales Comprometidos con el Proceso de Evaluación | 175
Aquí, hay que decirlo, se ha dado cuenta de ese compromiso. A
pesar de que en ocho de las nueve acciones de mejora se plantean las cargas
de trabajo o la falta de tiempo como riesgo que podría haber frenado el
cumplimiento de las actividades, en realidad, la DGSC y las otras instancias
coadyuvantes en el programa de “Emisión de pasaportes y servicios
consulares” demostraron la viabilidad de las mejoras puestas en marcha. El
cambio en las organizaciones se presenta, usualmente, como un conjunto
de tareas percibido como gigantesco. Esto sucede, es cierto, porque las
rutinas van llenando los espacios y los tiempos, y absorbiendo los recursos
disponibles. Pero también acontece que las organizaciones nunca utilizan
todos sus recursos al máximo posible, sino que dejan un margen, pues,
operando al límite de sus capacidades, harían inviable su propia existencia
cuando tengan que hacer frente a circunstancias adversas y practicar los
cambios necesarios para salir avante.12 De modo que los riesgos de cargas
de trabajo y falta de tiempo contienen, seguramente, una dosis de verdad,
mezclada con otra de precaución. De nuevo, como quedó demostrado,
el riesgo se conjuró. Las áreas participantes sí contaban con el margen
suiciente para concluir nueve de 17 acciones de mejora.
Como se desprende de la tabla 1, cuatro acciones presentaban
avances de 70% u 80% a agosto del 2011. Posiblemente, en los meses
posteriores de ese año quedaron iniquitadas. Se trata de acciones que, en
el conjunto del programa premiado, encarnan el complemento perfecto,
o casi, al resto de las acciones analizadas en este apartado. Por ejemplo,
Estudiar la viabilidad de extender la producción de pasaportes tipo “G” a todas
las representaciones o crear centros regionales de producción de pasaportes
(con 80% de cumplimiento a agosto de 2011), contribuiría a completar la
vuelta de tuerca emprendida con el programa, junto con la acción Establecer
estándares uniformes para los procesos de atención a usuarios, producción y
entrega de documentos (con 70% de avance).
Lo mismo puede decirse de la acción Fortalecer los programas de
capacitación para el personal y en particular para el personal local (80% de
avance), recomendable para asegurar las competencias de los funcionarios
locales con las nuevas responsabilidades; o de Vincular al SIAC con la base
de datos de la Dirección General de Delegaciones (70% de avance), acción que
resulta indispensable en la actualización de las Tecnologías de la Información
y Comunicación para la adecuada coordinación interinstitucional; y de
Establecer estándares uniformes para los procesos de atención a usuarios,
producción y entrega de documentos, algo que, hoy por hoy, las organizaciones
no pueden —no deben— soslayar en su búsqueda por ofrecer servicios
basados en mejores prácticas. El programa “Expedición de pasaportes y
servicios consulares” supone el encadenamiento más o menos armonioso
de recursos, tiempo, objetivos e intereses de los distintos actores internos
12 Albert O. Hirschman, Exit, Voice, and Loyalty. Responses to Decline in Firms, Organizations, and States,
Cambridge, Massachussetts, Harvard University Press, 1970.
176 | De las recomendaciones a las acciones: la experiencia del Premio 2011
que participan en el esfuerzo. La suma de las acciones analizadas a todo
lo largo de las líneas anteriores y las que apenas restaban por iniquitarse,
contribuiría a cerrar el círculo institucional hacia los resultados pretendidos.
De ahí el punto de equilibrio, siempre, sin embargo, amenazado
por la dinámica realidad de los mexicanos en aquel país, unos viviendo de
manera permanente, y otros en tránsito. Esa realidad elusiva propone a
las autoridades consulares el desafío, también permanente, de responder
con eicacia a las necesidades de los mexicanos en el exterior. La narración
que se ha ofrecido en este capítulo releja —apenas con una probadita—
los intentos de la SRE por estar a la altura del reto. Si bien los cambios
para cerrar la brecha entre necesidades y servicios datan de 1980,
aproximadamente, la última década ha impuesto una agenda estricta en
las relaciones internacionales y, por lo tanto, la necesidad de acrecer, con
rapidez, capacidades y talentos en la atención de los mexicanos migrantes.
Sin duda, se ha abierto una nueva época en la materia. El reconocimiento
del “Premio 2011” al programa “Expedición de pasaportes y servicios
consulares” la simboliza, con el compromiso que eso signiica.
BキHノキラェヴ;i;
Dockterman, Daniel, Statistical Proile. Hispanics of Mexican Origin in the
United States, 2009, Pew Research Center- Pew Hispanic Center, 2011.
(http://www.pewhispanic.org/2011/05/26/hispanics-of-mexican-originin-the-united-states-2009/)
Hirschman, Albert O., Exit, Voice, and Loyalty. Responses to Decline in Firms,
Organizations, and States, Cambridge, Massachussetts, Harvard University
Press, 1970.
Lazcano, Mauro y Jorge Navarro Lucio, “29 Millones mexicanos viven en
Estados Unidos”, Macroeconomía, 1 abril 2010, (http://macroeconomia.
com.mx/2010/04/29-millones-de-mexicanos-viven-en-estados-unidoscasi-otro-pais/).
Presidencia de la República, Primer Informe de Ejecución del Plan Nacional de
Desarrollo 2007-2012, 2007.http://pnd.calderon.presidencia.gob.mx/pdf/
PrimerInformeEjecucion/5_9.pdf
Schumacher, E.F. Lo pequeño es hermoso, Barcelona, Ediciones Orbis, 1973.
Programas Federales Comprometidos con el Proceso de Evaluación | 177
Secretaría de Relaciones Exteriores “Reglamento Interior de la Secretaría
de Relaciones Exteriores”, Art. 23, publicado en el Diario Oicial de la
Federación el 8 de enero de 2009.
--------------, “Alcance e intercambio de mejores prácticas consulares”,
Presentación del Ministro Daniel Hernández Joseph, Director General
de Protección a Mexicanos en el Exterior de la Secretaría de Relaciones
Exteriores de México, en el marco del Seminario sobre protección consular:
Alcance e intercambio de mejores prácticas, Washington, D.C., 10 de marzo de
2009. http://scm.oas.org/pdfs/2009/CP21820T.ppt
-------------, Estructura orgánica básica (vigencia a partir de: 1 de enero de
2011), http://www.sre.gob.mx/index.php/cancilleria/organigrama
-------------, La Dirección General de Protección a Mexicanos en el Exterior,
¿Quiénes somos?, http://www.sre.gob.mx/index.php/component/content/
article/318
U.S. Census Bureau, “he Hispanic Population: 2010”, 2010 Census
Briefs, Mayo 2011.p.2. (http://www.census.gov/prod/cen2010/briefs/
c2010br-04.pdf)
178 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Programas Federales Comprometidos con el Proceso de Evaluación | 179
AヮヴWミSキWミSラ ; ┌ピノキ┣;ヴ ノ;ゲ W┗;ノ┌;IキラミWゲ
como herramientas de cambio: el programa
de becas de posgrado del CONACYT
Rodrigo Velázquez López Velarde
Introducción
La formación de capital humano altamente capacitado es considerada como
un factor clave para el desarrollo de los países. La principal razón por las que
los gobiernos, las agencias internacionales y los organismos de la sociedad
civil deciden invertir recursos en esta acción es porque las personas con alta
capacidad cientíica o tecnológica pueden utilizar los conocimientos y las
habilidades aprendidas para ayudar a sus países a identiicar y solucionar
problemas. La población con estudios de posgrado aplica el conocimiento
aprendido para diseñar nuevas estrategias y procesos de innovación que
elevan la productividad, la competencia económica y, en general, el bienestar
social de la ciudadanía. La aplicación de los conocimientos cientíicos se
puede observar en distintos ámbitos. Por ejemplo, en el sector empresarial es
notorio el desarrollo cientíico y tecnológico en el incremento del rendimiento
180 | De las recomendaciones a las acciones: la experiencia del Premio 2011
laboral, el aumento de capital y la disminución de costos de producción.1
De hecho, desde hace varias décadas diversos estudios muestran el efecto
positivo del capital humano en el crecimiento económico.2

De igual modo, la formación de personas altamente caliicadas
contribuye a cerrar la brecha existente entre las naciones desarrolladas y
aquellas en vías de desarrollo a través del desarrollo de nuevas tecnologías
y procesos productivos. Los tecnólogos y cientíicos generan y difunden
conocimiento útil para que una mayor parte de la población tenga acceso a
mejores y más accesibles servicios, productos e infraestructura que les permita
tener una mejor calidad de vida. Por último, es reconocido ampliamente
que la inversión en capital humano produce movilidad social por lo que los
profesionistas que tuvieron la oportunidad de realizar un posgrado o una
especialización tienden a tener más ingresos que sus padres.3

En México, el Consejo Nacional de Ciencia y Tecnología (CONACYT)
ha tenido como una de sus funciones principales impulsar la formación
de recursos humanos de alto nivel dedicados a actividades cientíicas y
tecnológicas.4
Para llevar a cabo este in, el CONACYT implementa desde
hace más de cuatro décadas un programa de becas de posgrado que ha
permitido la formación de miles de cientíicos y tecnólogos en instituciones
académicas nacionales y extranjeras. De esta manera, el CONACYT se ha
consolidado como la institución pública que más estudios de posgrado y
especialidades inancia.
Dada la importancia del programa de becas en la formación
cientíica y tecnológica del país es indispensable analizar cómo y de qué
forma el CONACYT ha utilizado los resultados de las recientes evaluaciones
realizadas a este programa. El objetivo de este capítulo es hacer una narrativa
analítica sobre cómo las unidades responsables del Programa de Becas de
Posgrado y otras modalidades de Apoyo a la Calidad (PBP) han utilizado los
hallazgos y recomendaciones de las evaluaciones para implementar procesos
de mejora. El marco de la narrativa es el “Premio 2011”, en el cual el PBP
fue participante. El capítulo está organizado en cinco secciones. La primera
describe brevemente los antecedentes, la evolución y las características
actuales del programa de becas. La segunda sección sintetiza y analiza los
hallazgos y las recomendaciones de tres evaluaciones recientes al PBP. El
siguiente apartado documenta los hallazgos más relevantes seleccionados
por los operadores del programa, así como las acciones de mejora y
1
Consejo Nacional de Ciencia y Tecnología (CONACYT), Ciencia y Tecnología para la Competitividad,
México, FCE - CONACYT, 2006, p.11.
2
Ver: Sylvia Ortega et al., Invertir en el conocimiento: El Programa de Becas-crédito del CONACYT, México,
SEP-CONACYT y Plaza y Valdés, 2001, pp. 39-40.
3
Centro Redes, Evaluación de Impacto del Programa de Formación de Cientíicos y Tecnólogos, México,
CONACYT, 2008.
4
Otras funciones del CONACYT son la promoción y sostenimiento de proyectos de investigación y la
difusión de información cientíica y tecnológica. Ver: Centro Redes, Op. Cit., p 28.
Programas Federales Comprometidos con el Proceso de Evaluación | 181
resultados esperados. La cuarta parte analiza las acciones implementadas
y los logros alcanzados. El capítulo inaliza con una conclusión en la que
se identiican los retos y problemas del CONACYT en la utilización de las
evaluaciones como herramientas para rediseñar el PBP.
AミデWIWSWミデWゲが W┗ラノ┌Iキルミ ┞ I;ヴ;IデWヴケゲピI;ゲ SWノ ヮヴラェヴ;マ;
Los primeros esfuerzos por invertir en el desarrollo cientíico y
tecnológico en México empezaron a inales de los años 1920 con la
creación de los primeros institutos de investigación de la Universidad
Nacional Autónoma de México (UNAM). Durante las décadas de 1930 y
1940 se fundaron institutos de gran importancia para la investigación
tales como el Instituto Politécnico Nacional, los Institutos de Física y
Química, El Colegio de México, por mencionar algunos. Otros apoyos a
la formación cientíica ocurrieron en 1954 y 1966, momentos en que se
crean la igura de “personal académico de tiempo completo” y el Programa
de Profesores Investigadores, respectivamente.5
A pesar de estos avances,
los cuales fueron vitales para la iniciación de la investigación en México,
no existía en el país una institución federal que tuviera como uno de
sus principales objetivos el apoyar la formación de recursos humanos
altamente capacitados. Fue hasta 1970 que el gobierno federal decidió dar
un impulso consistente en este sentido con la creación del CONACYT. El
Programa de Becas, hoy conocido como el Programa de Becas de Posgrado
y otras modalidades de Apoyo a la Calidad del CONACYT, surgió en 1971
para ofrecer a la población la posibilidad de realizar estudios de posgrado
en instituciones académicas nacionales y extranjeras de calidad para
formar cientíicos y tecnólogos que ofrezcan soluciones a los problemas y
generen conocimiento útil y aplicado al país.
El CONACYT, a través del PBP, parte de la premisa de que el
crecimiento económico y el bienestar, tanto individual como social, están
sustentados en gran medida no sólo en la inversión en capital físico,
sino también en el capital humano.6
De esta forma, se considera que la
productividad e innovación tecnológica está basada en la formación de
recursos humanos (cientíicos e ingenieros) altamente capacitados que
generen y difundan conocimiento que permita coadyuvar al desarrollo
económico, social y cultural de México. Es así que la asignación de becas de
posgrado es considerada como un componente esencial que contribuye a la
movilidad social en el país.
EL PBP es un factor esencial del Sistema Nacional de Ciencia y
Tecnología y se inserta en varias de las estrategias planteadas tanto del
Plan Nacional de Desarrollo 2007-2012 como en el Programa Especial de
5
CONACYT, Ciencia y Tecnología, Op. Cit., pp. 13-14.
6
Ortega et al., Invertir en el Conocimiento, Op. Cit., p. 30.
182 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Ciencia, Tecnología e Innovación 2008-2012. En estos instrumentos se
considera a la formación de recursos humanos altamente caliicados como
prioridad para el desarrollo del país.7
El objetivo general del programa está establecido en las Reglas de
Operación del mismo y es “contribuir al incremento de la competitividad
del país, mediante el desarrollo cientíico, tecnológico e innovación,
fomentando la formación, el desarrollo y la vinculación de recursos
humanos de alto nivel mediante el otorgamiento de becas”.8
Asimismo, el
PBP deine como objetivo especíico lo siguiente: “El capital humano accede
a oportunidades de formación de calidad de alto nivel en áreas y sectores
estratégicos prioritarios del programa, a través del fomento, formación,
desarrollo y vinculación de dichos recursos humanos, con base en las
convocatorias o convenios de colaboración suscritos por el CONACYT con
entidades federativas y con instituciones o personas morales de los
diferentes sectores, en áreas establecidas en tales instrumentos”.9
El instrumento principal que tiene el PBP para impulsar la formación
de recursos humanos de alto nivel es la beca para distintos niveles de estudio:
(maestría, doctorado, especialidad). Este apoyo puede ser para estudios en
instituciones académicas nacionales o extranjeras. Los recursos con los que
se inancian las becas provienen directamente del CONACYT o a través de
fondos establecidos en la Ley de Ciencia y Tecnología.10 El inanciamiento
también puede ser de origen externo o coinanciado con contribuciones
de terceros (nacionales o extranjeros) u organismos internacionales.11 El
programa cuenta con seis tipos de becas:
7
Carlos Bazdresch Parada, “Prólogo”, en Ortega et al., Invertir en el Conocimiento, Op. Cit., p. 20.
8
Ver Reglas de Operación de los programas del Consejo Nacional de Ciencia y Tecnología en el Diario
Oicial de la Federación, 31 de diciembre de 2010, p. 110. Las Reglas de Operación que operaron durante
la administración del Presidente Fox consideraban que el objetivo general era “fomentar, mediante el
otorgamiento de apoyos a la formación, el desarrollo y la consolidación de cientíicos y tecnólogos, para
responder a la demanda de los sectores productivo, académico, gubernamental, y social del país”. Centro
Redes, Evaluación de impacto, Op. Cit., p. 32. Es notorio el cambio en el objetivo general del PBP del actual
gobierno ya que éste se centra en la competitividad del país dejando de lado otras áreas.
9
Reglas de Operación, Op. Cit., p. 111. En las Reglas de Operación anteriores se planteaban seis objetivos
especíicos mucho más precisos y detallados. Dos de éstos estaban encaminados a la incorporación de
estudiantes de licenciatura al proceso de formación de recursos humanos caliicados mediante el otorgamiento
de becas de posgrado de calidad en áreas que atendieran las demandas de los sectores productivo,
gubernamental, académico y social en diversas áreas de conocimiento cientíico y tecnológico. En concordancia
con estos objetivos, uno más estaba destinado a promover el coinanciamiento de los sectores demandantes
y de agencias internacionales en la formación de cientíicos y técnicos de alto nivel. Otro objetivo buscaba la
consolidación y fortalecimiento de programas de posgrado nacionales de calidad en instituciones de educación
superior que fueran capaces de preparar a cientíicos y tecnólogos altamente capacitados de acuerdo con las
necesidades del país. Los restantes dos objetivos estaban enfocados a estimular a los cientíicos de instituciones
de educación superior en México por medio del Sistema Nacional de Investigadores y a promover el desarrollo
de grupos de investigación que impulsaran la investigación y el desarrollo experimental dirigidos a elevar el
nivel social y económico de los mexicanos. Centro Redes, Evaluación de impacto, Op. Cit., p. 32.
10 El ramo 38 del Presupuesto de Egresos de la Federación está destinado al CONACYT y a los Centros de
Investigación-CONACYT.
11 Reglas de Operación, Op. Cit., p. 111.
Programas Federales Comprometidos con el Proceso de Evaluación | 183
a) Beca de Fomento
b) Beca de Formación
c) Beca de Desarrollo
d) Beca de Vinculación
e) Beca Mixta
f) Beca Especíica
La Beca de Fomento fue creada para promover aptitudes e
inclinaciones cientíicas y tecnológicas en distintos niveles educativos.
El apoyo destinado para la formación de recursos humanos altamente
capacitados en México o el extranjero mediante apoyos económicos
y asistenciales para cursar estudios de posgrado recae en la Beca de
Formación. Las Becas de Desarrollo y de Vinculación son otorgadas para
realizar estancias técnicas y académicas respectivamente. El apoyo adicional
que se brinda a un becario que cuenta con una Beca de Formación es la
Beca Mixta. Ésta última complementa la formación cientíica y tecnológica
del becario dándole apoyo para llevar a cabo una estancia académica en
alguna institución nacional o extranjera. Por último, la Beca Especíica se
otorga con base en convenios de colaboración suscritos por el CONACYT y
entidades federativas con instituciones o personas morales con la inalidad
de fomentar, formar, desarrollar o vincular los recursos humanos con
diversos sectores y áreas especíicas.12
Las Reglas de Operación deinen la cobertura del PBP de manera
muy general pues establecen que “[E]l Programa está enfocado a facilitar
al capital humano el acceso a oportunidades de fomento, formación,
desarrollo y vinculación tanto en el país como en el extranjero, orientadas
a satisfacer las demandas de los diversos sectores de la sociedad”.13 Debido
a esta generalidad, no se puede deinir con claridad cuál es el alcance que
pretende lograr el PBP. Del mismo modo, la población objetivo del programa
no precisa con exactitud a quiénes está enfocado el apoyo ofrecido ya que
sólo se establece que está dirigido a personas que tengan interés en llevar a
cabo estudios, o formarse mediante actividades cientíicas o tecnológicas en
dependencias, instituciones académicas, centros de investigación públicos,
privados, nacionales o extranjeros o en algún otra instancia que permita
cubrir el objetivo del programa.
12 Hasta el 2004, el CONACYT establecía tres tipos de becas (posgrados nacionales, posgrados en el
extranjero y becas para estancias técnicas en el extranjero). El criterio para determinar el tipo de beca era
el lugar donde se realizara el posgrado y la modalidad de éste.
13 Reglas de Operación, Op. Cit., p. 111.
184 | De las recomendaciones a las acciones: la experiencia del Premio 2011
A lo largo de sus cuarenta años de existencia, el CONACYT, a través
del PBP, ha otorgado más de doscientas mil becas. Una de cada cuatro becas
de posgrado de estudiantes mexicanos es actualmente inanciada por el
gobierno federal.14 En concreto, ocho de cada diez becas inanciadas con
recursos públicos son otorgadas por el CONACYT.15 El número de becas
creció de manera importante durante sus primeros treinta años, pero
dicho crecimiento ha sido mayor durante la última década.16 Muestra de
esta tendencia ascendente es que mientras que el promedio anual de becas
nuevas otorgadas entre 1971 y 1973 fue de 927, entre 2008 y 2010 fue de
17,482. Tan sólo en los últimos cuatro años (2007-2010) el crecimiento en
becas nuevas se incrementó en 83.5%.
De este modo, en la primera década del siglo XXI, 114, 252
nuevos becarios se han visto beneiciados por los apoyos brindados por
el CONACYT. Si se consideran las becas nuevas y las becas vigentes en
conjunto, el número de apoyos se incrementa a 325,733 durante el periodo
2001-2010 (ver igura 1 abajo). En perspectiva comparada, el número
de apoyos que ofrece el CONACYT es superior al de otras instituciones
internacionales. Por ejemplo, mientras que en el 2007 el Programa de la
Unión Europea otorgó 1,875 becas, el PBP autorizó 20,111apoyos.17
Figura 1: Becas de posgrado nuevas y vigentes 2001-2010
0
5000
10000
15000
20000
25000
30000
35000
40000
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010
6133 7045 8296 8758 10088 10027 11457
15259 16170
21019
11934 12371 13483
16816
19243 20111
23210
26918
30634
36761
Becas Vigentes Becas Nuevas
Fuente: CONACYT, Informe de Labores 2010, México, 2010, p. 3.
14 Gobierno Federal, Cuarto Informe de Gobierno, México, 2010, p. 213.
15 Gobierno Federal, Cuarto Informe de Ejecución del Plan Nacional de Desarrollo 2007-2012, México, 2010, p. 251.
16 Es importante subrayar que el PBP no siempre ha crecido sostenidamente. Aunque durante los años
1970 el PBP tuvo una tasa de crecimiento anual positiva ésta se revirtió signiicativamente en la década
de 1980 debido a los problemas económicos que sufrió el país. A partir de los años 1990 la tasa de
crecimiento es positiva. Ortega et. al., Invertir en el Conocimiento, Op. Cit., p. 54.
17 Consejo Nacional de Evaluación de la Política Social, Informe de Evaluación Especíica de Desempeño 2009-
2010, México, p. 12.
Programas Federales Comprometidos con el Proceso de Evaluación | 185
El nivel de estudios y el destino de la beca han tenido cambios
importantes a lo largo del tiempo. Con excepción de algunos años, el nivel
de estudios que más ha inanciado CONACYT es la maestría, seguido por
los estudios doctorales y otras especialidades. Desde 1971, las becas para
maestría han luctuado entre 41% y 60% del total de apoyos otorgados
por el CONACYT. Por su parte, el porcentaje de becas para doctorado ha
crecido de manera importante ya que mientras durante los primeros treinta
años del programa 21% de las becas fue para este nivel de estudios, este
porcentaje ha aumentado hasta llegar a ser mayoritario en 2001 (55%).18
En contraste, el PBP ha disminuido el apoyo a otros estudios, como
especialidades técnicas y cientíicas, ya que entre 1971 y 2000, 19% de las
becas fueron destinadas para este nivel de estudios. Este porcentaje fue
disminuyendo gradualmente y actualmente se encuentra en 2.1%.
Figura 2: Becas de posgrado vigentes por
nivel de estudios y destino 2010
0.8%
0.15%
2.02%
59.00% 5.52%
32.47%
DOCTORADO NACIONAL
MAESTRÍA NACIONAL DOCTORADO EXTRANJERO
MAESTRÍA EXTRANJERO
ESPECIALIDAD NACIONAL
ESPECIALIDAD EXTRANJERO
Fuente: Elaboración propia con base en CONACYT, Informe de Labores 2010, México, 2010, p. 3.
En cuanto al destino o lugar donde se utiliza la beca, en 1971 41% de
las becas fueron para estudios de posgrado en el país y el restante 59% para
el extranjero, principalmente para estudios de posgrado en Estados Unidos.
Estos porcentajes se han revertido con el paso de los años pues para 2010
únicamente 7.5% de los apoyos aprobados fueron para cursar programas de
posgrado fuera del país, principalmente en Gran Bretaña, España y Estados
Unidos.19 Las becas para posgrado en el extranjero son mayoritariamente
para estudios de doctorado. En contraste, el PBP otorga más becas para
realizar maestrías en el país (ver igura 2). Los campos disciplinarios con
más becas otorgadas son las ingenierías, la biotecnología, las ciencias
18 Para el año 2010, 37.5% de las becas inanciadas por el PBP fueron para estudios doctorales.
19 Ortega et al., Invertir en el Conocimiento, Op. Cit., p. 43; CONACYT, Informe de Labores 2010, México, 2010, p. 3.
186 | De las recomendaciones a las acciones: la experiencia del Premio 2011
agropecuarias y las ciencias sociales. A partir de 1997, el porcentaje de
becas para ingenierías ha aumentado en 50%, mientras que para ciencias
sociales se redujo casi a la mitad.20

En relación al monto invertido en el programa de becas de
posgrado, éste casi se cuadriplicó durante la última década. En 2001, para
inanciar 11,934 becas el CONACYT aportó $1,234.45 millones de pesos
mientras que para el 2010 el monto para otorgar 36,761 apoyos se elevó a
$4,173.92 millones de pesos.21 Asimismo, el porcentaje del PBP en relación
al presupuesto manejado por el CONACYT ha luctuado en este periodo
entre 41% (2000) y 35% (2010).22 Esta inversión se ha traducido en que el
número de egresados de programas de posgrado en el país haya crecido más
del doble durante la primera década del siglo XXI.23
Figura 3: Presupuestos del CONACYT y de becas de
posgrado vigentes 2000-2010 (miles de pesos)
14000
12000
10000
8000
6000
4000
2000
0
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010
PRESUPUESTO CONACYT PRESUPUESTO BECAS
Fuente: Gobierno Federal, Indicadores de Actividades Cientíicas y Tecnológicas
2010, México, Edición de Bolsillo, 2011, pp. 90, 95.
20 Centro Redes, Evaluación de impacto, Op. Cit., p. 48.
21 Gobierno Federal, Indicadores de Actividades Cientíicas y Tecnológicas, México, Edición Bolsillo, 2011, pp. 95, 116.
22 Como se puede observar en la igura 3, a partir de 2007 los recursos del ramo 38 (Consejo Nacional de
Ciencia y Tecnología) se han incrementado sustancialmente. Desde 2008, el gasto en este ramo ha sido el de
mayor participación del gasto federal en ciencia y tecnología. Para el año 2010, dicho gasto equivalió a 34.9%.
Hasta 2007, el sector administrativo al que se le destinaban más recursos en ciencia y tecnología era el de
educación pública. CONACYT, Informe General del Estado de la Ciencia y la Tecnología, México, 2011, pp. 19-22.
23 En el año 2000 hubo 29,674 egresados de programas de posgrado en el país. Para el año 2009 este
número creció a 72,522. El número de egresados no implica necesariamente que el grado haya sido
otorgado a la estudiante. Gobierno Federal, Indicadores de Actividades, Op. Cit., p. 121.
Programas Federales Comprometidos con el Proceso de Evaluación | 187
La unidad responsable del diseño e implementación del PBP es
la Dirección Adjunta de Posgrado.24 Esta dirección coordina el trabajo
de cuatro direcciones: becas, planeación, posgrado y vinculación. La
dirección de becas es la encargada de operar el PBP y cuenta con cuatro
subdirecciones para la instrumentación del programa: becas nacionales,
becas al extranjero, asignación de becas nacionales y asignación de becas al
extranjero (ver igura 2).
Figura 4: Estructura Jerárquica del Programa de Becas de
Posgrado y otras modalidades de apoyo a la calidad
Dirección General CONACYT
Dirección Adjunta de Posgrado
Dirección de Becas
Dirección de Becas
Nacionales
Dirección de Becas al
Extranjero
Dirección de
Asignación de Becas
Nacionales
Dirección de
Asignación de Becas
al Extranjero
Fuente: Elaboración Propia con base en el organigrama de CONACYT, www.conacyt.gob.mx.
24 En años anteriores la operación del PBP estuvo a cargo de otras direcciones adjuntas. De hecho, hasta
1995 el programa fue operado por dos direcciones: la Dirección Adjunta de Investigación Cientíica y la
Dirección Adjunta de Modernización Tecnológica. Durante la administración del presidente Zedillo se
llevó a cabo una reorganización institucional que tuvo como uno de sus objetivos principales el que el PBP
fuera diseñado e implementado por una sola dirección. Bazdresch, “Prólogo”, Op. Cit., p.18.
188 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Dos normas regulan el PBP: las Reglas de Operación y el Reglamento
de Becas. Las Reglas de Operación tienen el objetivo de aplicar los recursos
del programa de manera eiciente, eicaz, equitativa y con transparencia.
Asimismo, estas normas persiguen que el PBP logre el mayor impacto
posible. Por su parte, el Reglamento de Becas regula los procedimientos
del otorgamiento de los apoyos. De este modo, en el Reglamento están
asentados las bases y los requisitos a seguir para conferir los apoyos para
la realización de estudios de posgrado. El Reglamento también tiene como
función regular y ejecutar el PBP de acuerdo con el presupuesto anual
asignado.25 Otros instrumentos complementarios que también regulan al
PBP son las convocatorias que emite el CONACYT para cada tipo de beca.
En las convocatorias se precisan ciertas deiniciones que están contenidas
en las Reglas de Operación, pero que están establecidas de manera general.
Dos ejemplos de términos precisados en las convocatorias son la cobertura
y la población objetivo. El Reglamento también deine con mayor precisión
algunos conceptos como es el caso de las obligaciones de los becarios.
E┗;ノ┌;IキラミWゲ ヴWIキWミデWゲ ヴW;ノキ┣;S;ゲ ;ノ ヮヴラェヴ;マ;
Como concursante en el “Premio 2011”, el Programa de Becas de Posgrado y
otras modalidades de apoyo a la calidad fue valorado por el comité evaluador
con base en el compromiso de este programa con el uso de las evaluaciones
que se le han realizado en años recientes. Originalmente, tres evaluaciones al
PBP fueron consideradas para participar en el “Premio 2011”: la Evaluación
de Impacto del Programa de Formación de Cientíicos y Tecnólogos 1997-
2006, inanciada por el Banco Mundial y realizada por el Centro Redes
entre 2007 y 2008 y dos evaluaciones especíicas de desempeño llevadas
a cabo por C-230 Consultores, S.C. y coordinadas por el Consejo Nacional
de Evaluación de la Política de Desarrollo Social (CONEVAL) en 2008 y
2009-2010. A continuación se sintetizan los principales resultados de estas
evaluaciones. 26
Evaluación de Impacto del Programa de Formación
SW CキWミプgIラゲ ┞ TWIミルノラェラゲ ヱΓΓΑどヲヰヰヶ
El objetivo de esta evaluación fue dar a conocer los efectos del PBP “sobre la
ocupación, la equidad, el medio cientíico y académico, el sector productivo
y la innovación, la distribución regional de capacidades, y la movilidad
25 Centro Redes, Evaluación de impacto, Op. Cit., pp. 32-33.
26 La siguiente sección se basa en la información de la evaluación del Centro Redes y en los dos estudios
realizados por C-230 Consultores, S.C. (2008, 2009-2010).
Programas Federales Comprometidos con el Proceso de Evaluación | 189
y emigración”.27 La evaluación tuvo como inalidad “orientar políticas
para un uso más eiciente de los recursos destinados a este Programa”.28
De igual manera, esta evaluación se enfocó en determinar cuáles fueron
los beneicios de haber implementado el programa. Para esta evaluación
se combinó el análisis de fuentes primarias, una encuesta a ex becarios,
la realización de grupos focales y pláticas con funcionarios públicos de
CONACYT. Este estudio presentó resultados y analizó la evolución del
programa y sus impactos en los aspectos arriba señalados en un periodo
de 10 años (1997-2006). A continuación se señalan algunos hallazgos
relevantes de la encuesta realizada y las principales recomendaciones de
esta evaluación.
Impacto sobre la equidad
• Las mujeres se encuentran en rangos de ingresos más bajos que
los hombres.
Impacto sobre la ocupación
• Se encontró mayor diicultad para la inserción ocupacional para
los ex becarios de maestrías en el país.
• La movilidad sectorial es baja, en concreto en el tránsito de
la educación superior, el sector gobierno y los centros de
investigación hacia el sector privado.
• La mayoría de los ex becarios menores de 30 años tiene empleos
temporales.
Impacto sobre los ámbitos cientíico-tecnológicos y académicos
• Entre los ex becarios que se dedican a la docencia, 18% se enfoca
en esta actividad con “alta dedicación”. 80% de este grupo labora
en instituciones de educación superior y tiene un alto porcentaje
de empleo temporal.
Impactos sobre el sector productivo y la innovación
• Los ex becarios graduados de maestría en el extranjero tienen
una mejor inserción laboral que los ex becarios graduados de
doctorado.
27 Centro Redes, Evaluación de impacto, Op. Cit., p. 197.
28 Ibídem., p. 2.
190 | De las recomendaciones a las acciones: la experiencia del Premio 2011
• Sólo 22% de los graduados de maestría nacional trabaja en una
empresa, mientras que sólo 3.5% de los ex becarios con doctorado
nacional y 5.1% con doctorado en el extranjero trabaja en una
empresa.
• Únicamente 17% de los ex becarios participó en el diseño y/o
puesta en marcha de unidades de producción de bienes y servicios
relacionados con la beca.
• Sólo uno de cada cuatro ex becarios colaboró en grupos de
investigación y desarrollo encaminados a fomentar el desarrollo
tecnológico.
Impactos sobre la movilidad y la migración internacional
• Los graduados de doctorado mexicanos que residen en Estados
Unidos representa 11.4% de los doctores con empleo en México.
• Se estima que alrededor de 30% de ex becarios con el grado de
doctor en Estados Unidos se quedan a residir en ese país.
• Existe una tendencia ascendente de doctores graduados en
Estados Unidos con planes de permanecer en ese país.
Recomendaciones
• Reducir la brecha entre el potencial del programa y su impacto
real en función del cumplimiento de objetivos nacionales. En
otras palabras, aprovechar más y de mejor forma la formación de
recursos humanos de alto nivel.
• Establecer una mejor articulación entre las políticas públicas
relacionadas a la demanda de ex becarios altamente capacitados
y los periles formativos de las personas que recibieron los apoyos
para estudios de posgrado.
• Alinear la expansión de la formación de posgrado con
instituciones, organismos y empresas sobre las cuales el
CONACYT no tiene incidencia.
• Planiicar, en la medida de lo posible, las necesidades de plazas
en universidades y centros públicos de investigación con la
expansión de la matrícula estudiantil.
• Implementar mecanismos meritocráticos de acceso a los diversos
puestos de la administración pública.
• Identiicar a los ex becarios que laboran en empresas y aprovechar
su inserción para facilitar la vinculación entre la academia y el
sector privado.
Programas Federales Comprometidos con el Proceso de Evaluación | 191
• Replantear la política de repatriación mediante nuevas normas y
un mejor control administrativo para disminuir el número de ex
becarios que no regresan al país.
• Potencializar la “Red de Talentos Mexicanos” para fortalecer el
vínculo entre los ex becarios que residen en el extranjero con
las universidades, los centros de investigación y las empresas
mexicanas.
• Crear un sistema de información orientado hacia los resultados e
impactos de los ex becarios.
• Recabar información más precisa sobre los resultados del
programa como por ejemplo el número de becarios que
obtuvieron el titulo, tiempo en obtenerlo, etc.
• Hacer un seguimiento más detallado, periódico y sistemático de
las trayectorias profesionales de los ex becarios.
E┗;ノ┌;Iキルミ EゲヮWIケgI; SW DWゲWマヮWモラ ヲヰヰΒ
Las evaluaciones especíicas de desempeño (EED) son un tipo de evaluación
establecida por el CONEVAL que tienen como inalidad dar a conocer el
avance en el cumplimiento de los objetivos y metas de los programas.
El análisis de estas evaluaciones se realiza con base en una síntesis de la
información contenida en el Sistema de Evaluación de Desempeño (SED)
y a partir de indicadores estratégicos y de gestión. De acuerdo con el
CONEVAL, el análisis de estos factores permite conocer los resultados de
la aplicación de recursos públicos presupuestarios. Las EED comenzaron a
aplicarse anualmente desde 2008 y reportan datos sobre cuatro temas:
1) Resultados. Análisis de los logros planteados en el in y propósitos
del programa.
2) Gestión. Estudio sobre la entrega de bienes y servicios a la
población identiicada como beneiciaria así como análisis sobre
el ejercicio presupuestario.
3) Cobertura. Valoración del número de población atendida y su
localización geográica.
4) Seguimiento a aspectos susceptibles de mejora. Ponderación de
los aspectos a mejorar con base en resultados de evaluaciones
anteriores.29
29 http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/desempeno.es.do,
consultado el 11 de enero de 2012.
192 | De las recomendaciones a las acciones: la experiencia del Premio 2011
La EED 2008 hizo la valoración del programa de becas considerando como
in de éste el “contribuir al incremento de la competitividad del país, mediante
el desarrollo cientíico, tecnológico e innovación”, y como propósito “facilitar al
capital humano el acceso a oportunidades de formación de alto nivel, orientada
a la investigación cientíica, desarrollo tecnológico e innovación”.30 En concreto,
este estudio valoró dos componentes: 1) el apoyo entregado a los aspirantes
para formación de recursos humanos de alto nivel, y 2) el registro otorgado a
programas de posgrado de calidad. Para su realización, los evaluadores tomaron
en cuenta la valoración de resultados, de indicadores (cuatro estratégicos y cinco
de gestión), además de analizar la cobertura del programa.
Resultados
La valoración de los resultados indicó que las evaluaciones externas
realizadas al programa no son de impacto o seguimiento a beneiciarios.
Asimismo, la evaluación señala que este hecho diiculta evaluar el grado del
cumplimiento de las actividades del programa con respecto al in de éste,
por lo que no es posible analizar los efectos ni la efectividad del PBP.
La valoración general de los indicadores airma que el indicador
de in no mide el impacto del programa en la competitividad del país
pues utiliza un índice internacional que considera factores que no están
estrechamente relacionados a los resultados del programa. De igual manera,
la evaluación estableció que los indicadores de la matriz de indicadores
de resultados (MIR) del PBP no coinciden con las Reglas de Operación ya
que éstas contemplan indicadores del Programa de Formación, Desarrollo
y Consolidación de Cientíicos y Tecnólogos y de Recursos Humanos de
Alto Nivel. Por este motivo, los estándares de cumplimiento para cada
meta del PBP no coinciden con los de las Reglas de Operación ya que este
ordenamiento únicamente contempla los del programa macro. Finalmente,
se asevera que los indicadores no miden los beneicios derivados de haber
realizado un posgrado, así como tampoco la capacidad de producir riqueza.
En lo referente a la cobertura del PBP, se observó que aunque la
población objetivo está bien deinida no cuenta con una fórmula. Esta ausencia
diiculta conocer el nivel de cobertura real del programa. Por otra parte, la
evaluación menciona que no existe información suiciente que documente
la evolución histórica del PBP. Por último, las principales observaciones al
seguimiento de los aspectos de mejora señalan que, en general, la demanda
de apoyos individuales no releja las necesidades de recursos humanos de
los sectores que intenta vincular el CONCACYT (académico, productivo o
gubernamental) sino los intereses o preferencias de los becarios. De igual
manera, se establece que el PBP debe especializar y focalizar los apoyos que
otorga tratando de evitar que la demanda de recursos humanos cientíicos y
30 CONEVAL, Informe de la Evaluación Especíica de Desempeño 2008, México, 2008, p. 2.
Programas Federales Comprometidos con el Proceso de Evaluación | 193
tecnológicos esté condicionada a factores como el crecimiento de la actividad
económica y las políticas comercial e industriales actuales. La conclusión del
evaluador externo va en el sentido que el PBP se ha enfocado en el seguimiento
de la cobertura y no en el cumplimiento del propósito y el in del mismo.
E┗;ノ┌;Iキルミ EゲヮWIケgI; SW DWゲWマヮWモラ ヲヰヰΓどヲヰヱヰ
Resultados
La EED 2009-2010 incluyó un componente adicional a la evaluación de 2008,
éste fue el fomento de vocaciones cientíicas y tecnológicas. Este estudio no revela
información sustancialmente diferente a la de un año anterior. En lo referente
a resultados, el PBP tuvo una buena valoración en términos de cobertura y
nivel de satisfacción de los ex becarios. Al igual que la evaluación previa, ésta
encuentra que dado que no se realizó una evaluación de impacto en la que se
compare dos grupos (uno de control y uno de tratamiento, antes y después de la
implementación del programa) es imposible conocer el efecto del PBP en el nivel
de competitividad del país. En el mismo sentido, la evaluación establece que no
se cumplió con el indicador del in ya que la posición de México en cuanto al nivel
competitividad quedó cinco lugares debajo de lo esperado en el Índice Global de
Competitividad del Foro Económico Mundial. Esta evaluación insiste en que la
competitividad depende de factores ajenos al PBP por lo que se sugiere tomar
como indicador únicamente el relativo a la innovación. En términos de cobertura,
la EED halló que la población potencial no está bien deinida, pues no considera el
total de la población que requiere el apoyo del PBP.
Dado que el PBP no cuenta con una evaluación de impacto que
cumpla con los requisitos deinidos por el CONEVAL, los evaluadores
externos recomiendan hacer un estudio de factibilidad para analizar la
posibilidad de realizar una evaluación de ese tipo. Asimismo, se sugiere
modiicar el indicador del in del programa y modiicar el Reglamento de
Becas para conseguir que los ex becarios aumenten su estadía en México.
También se apunta que es necesario construir un indicador que muestre
el número de becarios que obtienen el grado y se señala que es necesario
seguir trabajando en la construcción de indicadores que muestren, de mejor
manera, los resultados y los avances del programa.
H;ノノ;┣ェラゲ マ=ゲ ヴWノW┗;ミデWゲ ゲWノWIIキラミ;Sラゲが
acciones de mejora y resultados esperados
De acuerdo con las bases establecidas para valorar la relevancia y el potencial
de mejora de los programas inscritos al “Premio 2011”, los participantes
enviaron una cédula o icha de inscripción en la que identiicaron las
194 | De las recomendaciones a las acciones: la experiencia del Premio 2011
evaluaciones a considerar, los hallazgos más relevantes de cada evaluación,
las acciones de mejora a implementar, las fechas de inicio y conclusión de
las acciones, el porcentaje de avance a agosto de 2011 y la evidencia de
avance y de conclusión. En el cuadro 1 se resume la icha de inscripción
entregada por los responsables del PBP.
En el caso de la Evaluación de Impacto, los hallazgos señalados en
la icha de inscripción son de orden muy general por lo que no se puede
saber con precisión qué hallazgos relevantes fueron identiicados por los
responsables del PBP. Por ejemplo, en el punto 1 sobre el impacto de la
equidad, la evaluación muestra resultados positivos como el incremento
de la participación de las mujeres en el PBP. Sin embargo, hay cuestiones
de género que no han sido mejoradas como el hecho de que 31% de las
ex becarias reportaron ganar menos de 100 mil pesos contra 19% de los
varones.31 El resto de los hallazgos relevantes seleccionados presentan una
ambigüedad similar. En lo que respecta a los dos evaluaciones especíicas
de desempeño, ambas señalan que el PBP no cuenta con una evaluación
de impacto que cumpla con los requisitos establecidos por CONEVAL, por
lo que recomienda al CONACYT realizar un estudio de este tipo con el in
de conocer los efectos que el programa ha tenido a lo largo del tiempo.
Aunque este hallazgo es de gran trascendencia, los responsables del PBP no
seleccionaron otros resultados importantes de estas evaluaciones como la
redeinición de ciertos indicadores.
Los operadores del PBP establecieron que las acciones de mejora
a implementar para el caso de la evaluación de impacto del Centro Redes
así como para las dos evaluaciones especíicas de desempeño, fueron la
asistencia a diversos foros, seminarios, talleres y congresos relacionados
con el tema de impacto a nivel nacional e internacional. Estas acciones
fueron llevadas a cabo para adquirir expertise en la metodología establecida
por el CONEVAL. En correspondencia a estas acciones, la principal acción
de mejora planteada fue una evaluación de impacto siguiendo el rigor
metodológico ijado por el CONEVAL. Para cumplir esta meta, se aclaró que
se concursó en una convocatoria internacional para evaluar el impacto del
programa. Del mismo modo, la icha de inscripción airma que el personal
del CONACYT cooperará, acompañara y dará seguimiento al desarrollo de
dicha evaluación.
31 Centro Redes, Evaluación de impacto, Op. Cit., pp. 83-85.
Programas Federales Comprometidos con el Proceso de Evaluación | 195
Cuadro 1: Ficha de Inscripción del Programa de Becas de Posgrado y otras modalidades de apoyo a la calidad
Evaluación Hallazgos más
relevantes
Acciones de mejora a implementar Resultado esperado Fechas de inicio
y conclusión
Х de avance
a agosto
de ヲヰヱヱ
Evidencia de
conclusión
Evaluación de
Impacto del
Programa de
Formación de
Cientíicos y
Tecnólogos
1997-2006
1. Impacto sobre
la equidad
2. Impacto sobre
la ocupación
3. Impacto sobre el
ámbito cientíicotecnológico
y
académico
4. Impacto sobre
el medio social,
sector productivo
y la innovación
5. La emigración
caliicada,
tendencias recientes
6. Satisfacción de
los ex becarios
La evaluación externa realizada por
Centro Redes no cuenta con el rigor
técnico de presentar un grupo de
control y otro de tratamiento en
dos puntos en un tiempo, es una
evaluación que muestra los efectos que
ha generado el Programa en el tiempo.
La acción de mejora al futuro es llevar
a cabo una Evaluación de Impacto con
el rigor indicado por el CONEVAL.
El Centro Redes entregó el Reporte
inal. Las acciones de mejora han
favorecido al Programa, que se
han concretado en Políticas que
ya se están llevando a cabo.
1. Se pasó de una demanda
libre, abierta, a una demanda
orientada al desarrollo nacional,
demandas especíicas de
entidades, sectores, etc.
2. Se transitó de un esquema de
inanciamiento exclusivo a cargo
del CONACYT a un esquema de
coinanciamiento con diversas
contrapartes (entidades,
organizaciones, empresas a nivel
nacional e internacional, etc.).
3. De evaluar procesos se
ha transitado a evaluar
resultados e impacto lo cual
responde a una metodología
requerida por el CONEVAL.
Septiembre 2007
Noviembre 2008
100% Publicación
del Estudio
por parte del
Foro de CyT
196 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Evaluación Hallazgos más
relevantes
Acciones de mejora a implementar Resultado esperado Fechas de inicio
y conclusión
Х de avance
a agosto
de ヲヰヱヱ
Evidencia de
conclusión
Evaluación
Especíica de
Desempeño
2008
El Programa de
Becas para estudios
de posgrado
no cuenta con
evaluaciones
externas de impacto
o de seguimiento
de beneiciarios
Desde el 2007 el personal de
CONACYT asistió a foros, seminarios,
talleres y congresos, relacionados con
el tema de Impacto a nivel nacional
e internacional, para poder tener
mayor expertise en la metodología
propuesta por el CONEVAL. En
el 2010 se realizó el primer Foro
Internacional con el tema: Evaluando
resultados de los programas de
apoyo a becas de posgrado. Se llevó
a cabo un Taller para el Diseño de
Metodologías de Evaluación de
Impacto de los Programas de Apoyo
a Becas de Posgrado con expertos
internacionales a nivel Iberoamérica.
Del Foro se cuenta con las
ponencias de expertos mexicanos
y extranjeros que se examinaron
en el Taller como insumo. Ahí, se
exploraron distintas propuestas
con expertos iberoamericanos para
buscar si existe un consenso en la
forma de abordar la problemática
de la Evaluación del tema en la
región. La conclusión deinitiva
es que no existe un consenso ni
una metodología estandarizada
aplicable, por lo cual es necesario
recurrir a la metodología
propuesta por el CONEVAL.
24 de junio de 2010
25 de junio de 2010
100% Programa
del Evento
Evaluación
Especíica de
Desempeño
2009-2010
Debido a que el Programa
no cuenta aún con
una evaluación de
impacto que cumpla
con los requerimientos
establecidos por
CONEVAL, se indicó
al CONACYT realizar
una evaluación de este
tipo, pues prevalece la
necesidad de conocer
los efectos e impactos
del Programa.
Realizar una evaluación de impacto
para el Programa de Becas de Posgrado,
ahora con el rigor metodológico
indicado por el CONEVAL para lo
cual se concursó en la convocatoria
internacional emitida por el Organismo
denominado “Iniciativa Internacional
para la Evaluación de Impacto (3ie)”
para evaluar el impacto del Programa
de Becas de Posgrado. Será necesario
que el personal de CONACYT
coadyuve y brinde seguimiento
puntual al desarrollo del Estudio.
El CONACYT resultó ganador en el
concurso internacional convocado
por el 3ie para organismos de
diversos sectores a nivel mundial.
El resultado concreto será el
Informe inal del estudio de
evaluación de impacto con
indicadores y elementos puntuales
para la toma de decisiones.
El concurso se llevó a cabo
en octubre de 2010. En
enero de 2011 iniciaron
los trabajos entre el
grupo y los evaluadores
seleccionados por 3ie y
los responsables de la
evaluación del CONACYT.
Los resultados inales del
estudio estarán disponibles
a partir de junio de 2012
30% Informe Final
Fuente: Tabla adaptada de la icha original de inscripción.
Programas Federales Comprometidos con el Proceso de Evaluación | 197
En cuanto a los resultados esperados para la evaluación del Centro
Redes se ijaron tres resultados concretos (ver cuadro 1 arriba). No obstante,
éstos fueron planteados no como resultados esperados, sino como obtenidos
como consecuencia de acciones realizadas entre 2007 y noviembre de 2008,
y no durante el transcurso de 2011, tal y como lo establecían las bases del
“Premio 2011”. Asimismo, los resultados no presentaron una conexión lógica
con la acción a mejorar ya que como se mencionó arriba, ésta fue la realización
de una evaluación de impacto con los requerimientos del CONEVAL32. La
EED 2008 presentó el mismo problema. En este caso se reportaron como
resultados esperados las conclusiones de un Foro Internacional realizado en
2010, las cuales señalan la necesidad de seguir la metodología del CONEVAL
para la realización de la evaluación de impacto. El único resultado esperado
que sí tiene conexión lógica con la acción a mejora planteada es la de la EED
2009-2010. En ésta se asevera que el resultado será un informe del estudio de
evaluación de impacto con indicadores y elementos puntuales que servirán
para la toma de decisión. Sin embargo, la evidencia de avance programada
para agosto de 2011 es muy ambigua ya que aunque ija que para ese mes
se habría completado la recolección de datos, no deine con precisión qué
porcentaje del análisis de información se habrá realizado.
Dado que la icha de inscripción del PBP presentó varias inconsistencias
lógicas, el programa obtuvo una caliicación baja, de hecho la más baja entre
aquellos programas que pasaron a la ronda de semiinalistas. La razón principal
por la que los evaluadores decidieron incorporarlo como semiinalista fue la
disposición de los responsables del programa para considerar las evaluaciones
e iniciar una serie de cambios a partir de los hallazgos. Los evaluadores hicieron
tres recomendaciones a la unidad responsable del PBP:
1) Realinear las propuestas de mejora en términos de competitividad
2) Bajar de la icha de inscripción los resultados obtenidos en años
anteriores pues no eran materia de evaluación del premio
3) Incorporar a la icha los avances de las acciones para atender los
hallazgos relacionados a desequilibrios regionales y de género
Asimismo, el comité evaluador cuestionó a los responsables del
programa el no haber atendido los hallazgos de las evaluaciones relativas
a las deiciencias en cuanto a la equidad de género y la equidad regional de
los apoyos. El jurado también preguntó la razón por la que no se trabajó
para incrementar la vinculación con los ex becarios y inalmente, cómo
planeaban evaluar el programa.
32 Cabe mencionar que los resultados esperados establecidos en la icha de inscripción sí corresponden a
hallazgos relevantes de la Evaluación de Impacto del Centro Redes pero no a la acción de mejora propuesta
para el “Premio 2011”.
198 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Rediseño de las acciones de mejora y formulación de estrategias
Como parte de la segunda fase del “Premio 2011”, los operadores del PBP
se reunieron con autoridades de la Secretaría de la Función Pública (SFP)
y un investigador propuesto por el CIDE, con la inalidad de analizar la
pertinencia de las acciones de mejora, construir estrategias especíicas de
gestión de mejoras, diseñar un cronograma de implementación, establecer
los parámetros de evidencia y conclusión de la implementación de las
acciones de mejora, e identiicar los resultados concretos derivados de
dichas acciones en términos del desempeño del programa y sus efectos.
En esta reunión, los operadores del programa respondieron a las preguntas
previamente realizadas por el jurado argumentando que: a) el CONACYT se ha
acercado con el Instituto Nacional de las Mujeres (Inmujeres) para atender la
problemática de los desequilibrios de género; b) en relación a las desigualdades
regionales, los representantes del PBP airmaron que ya se iniciaron iniciativas
regionales implementadas por los gobiernos estatales que consideran condiciones
especíicas de cada estado para enfrentar esta problemática y, c) se aclaró que se
tenía pensado crear durante el 2011 una red de ex becarios para contribuir a una
mayor vinculación la población que recibió apoyos para estudios de posgrado.
Con base en los resultados y los acuerdos de la reunión sostenida,
los funcionarios del CONACYT responsables del programa elaboraron
una nueva icha de inscripción en donde se ijaron hallazgos, acciones a
implementar, estrategias, evidencia esperada a agosto de 2011 así como
evidencia de conclusión. Un resumen de esta icha se observa en el cuadro 2.
Cuadro 2: Nueva icha de inscripción del Programa de Becas de Posgrado
Evaluación Hallazgos más relevantes Resultado esperado Evidencia de avance
a agosto de ヲヰヱヱ
Evaluación
de Impacto
del
Programa
de
Formación
de
Cientíicos y
Tecnólogos
1997-2006
Principales áreas de mejora,
viables a ser atendidas:
COSTO DE LAS BECAS
Reducir los costos de inanciamiento
para becas en
Europa y América del Norte
INTERNACIONALIZACION
DEL POSGRADO
Atraer becarios extranjeros
para que realicen estudios
de posgrado en México
INTEGRACION DE LA
INFORMACIÓN QUE SE
GENERA EN DISTINTOS
PROGRAMAS
El Programa carece de
información sobre resultados
básicos, como becarios en el SNI
Optimización
de costos y
aumento del
número de becas
en el extranjero
a partir de 2009
Incremento
de becarios en
México a partir
del 2008
Información
coniable en 2011
sobre las variables
enunciadas en
el hallazgo y la
elaboración de
un reporte de
indicadores anual
Estudio sobre la
optimización de
costos y aumento
del número de becas
en el extranjero
asignadas a
partir de 2009
Cuadros oiciales
comparativos sobre
el incremento de
becarios extranjeros
en México a
partir de 2008
Reportes oiciales
a 2011 de ex
becarios que son
miembros del SNI
Fuente: Adaptación de la icha de inscripción
Programas Federales Comprometidos con el Proceso de Evaluación | 199
Como se puede observar en el cuadro 2, la nueva icha de inscripción no
incluyó a las evaluaciones especíicas de desempeño, sino que se centró en la
evaluación de impacto llevada a cabo por el Centro Redes. También sobresale que
los operadores del programa fueron más precisos en la selección de los hallazgos
más relevantes así como la deinición de resultados esperados. De la misma
manera, la evidencia de avance propuesta para agosto de 2011presentó mayor
coherencia con los resultados esperados y fue más puntual que la icha anterior
ya que ahora se estableció que estudios, cuadros y reportes serían los resultados
concretos a desarrollarse con base en las fechas ijadas en las bases del premio.
A pesar de los esfuerzos por deinir con mayor precisión tanto los
hallazgos como los resultados, todavía persistió cierta ambigüedad en éstos. Por
ejemplo, en el área de mejora “Costo de la becas”, se propuso reducir los costos
de inanciamiento para becarios que realizan posgrados en Europa y América
del Norte. No obstante, no se deinieron los indicadores y metas para medir este
resultado. En el hallazgo “Internacionalización del posgrado” también estuvo
ausente la deinición de una meta en el incremento del número de becarios
extranjeros en México que permitiera conocer el porcentaje de cumplimiento
del programa con relación a este resultado. Por otra parte, la nueva icha careció
de una justiicación que explicara la decisión de considerar únicamente a la
evaluación del Centro Redes y dejara de lado las dos evaluaciones especíicas de
desempeño que previamente habían sido seleccionadas. En el mismo sentido,
hubiese sido conveniente ofrecer una explicación de los criterios adoptados
para seleccionar esos hallazgos así como establecer cuál es la inalidad de cada
uno de los resultados esperados. Esto hubiera permitido, por ejemplo, saber
cómo y de qué forma el incremento en el número de becarios extranjeros
contribuye a los objetivos que se plantean el PBP y el CONACYT.
Con el objetivo de obtener los resultados esperados, los operadores
del programa añadieron a la nueva icha de inscripción un anexo en el que
se detallan las estrategias a seguir así como las direcciones responsables de
cada una de éstas. El anexo también incluye la identiicación de los riesgos
de cada estrategia planteada. El cuadro 3 muestra esta información.
Como puede apreciarse, los funcionarios del CONACYT diseñaron siete
estrategias para los tres resultados esperados planteados. Mientras que tres de
estas estrategias contienen una meta deinida (establecimiento de un tope en el
costo de la colegiatura expresado en la convocatoria; elegibilidad de extranjeros
en convocatorias nacionales; número de ex becarios incorporados al Sistema
Nacional de Investigadores (SIN),33 en las cuatro restantes no hay objetivos o
metas concretas con las que se pueda valorar la eiciencia de dichas estrategias.
La ausencia de deinición de metas que permitieran calibrar la dimensión del
esfuerzo realizado en cuatro de las siete estrategias es una omisión relevante
ya que fue un acuerdo formal al que se llegó en la reunión sostenida entre los
responsables del PBP y los funcionarios de la SFP y el representante del CIDE.
33 Esta última meta está establecida en la segunda icha de inscripción, en la sección de hallazgos más
relevantes.
200 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Por otra parte, resulta un acierto de los responsables del PBP el haber
establecido las direcciones que estuvieron a cargo de la implementación
de las estrategias, sobre todo en los casos en que la responsabilidad la
comparten dos direcciones o una dirección y las entidades de la República.
De la misma manera, la previsión de riesgos de cada una de las estrategias
fue otro punto favorable del anexo ya que este ejercicio probablemente
permitió la anticipación de escenarios adversos.34

Cuadro 3: Estrategias, metas, direcciones
responsables y riesgos previstos
Resultado
Esperado
Estrategias Meta
definida
Responsables Riesgos
Optimización
de costos y
aumento del
número de
becas en el
extranjero
del 2009
Establecer nuevas
políticas para el
pago de conceptos
de apoyo de la
becas (establecer un
tope en el costo de
colegiaturas) y que
quede expresado
en la convocatoria
Sí Dirección
Adjunta de
Posgrado
y Becas
Que el becario
no pueda
obtener el
inanciamiento
complementario
Incrementar
la suscripción
convenios con
instituciones,
organismos y países
en el extranjero
No Dirección
Adjunta de
Planeación y
Cooperación
Internacional/
Dirección
Adjunta de
Posgrado
y Becas
Falta de voluntad
o interés de la
contraparte
por suscribir
los convenios;
incumplimiento
eventual del
convenio por
la contraparte
Mejorar los
términos y
condiciones de los
convenios irmados
con instituciones,
organismos y países
en el extranjero
No Dirección
Adjunta de
Planeación y
Cooperación
Internacional/
Dirección
Adjunta de
Posgrados
y Becas
Falta de voluntad
o interés de la
contraparte
por suscribir
los convenios;
incumplimiento
eventual del
convenio por
la contraparte
Suscribir convenios
con entidades
federativas para
la formación de
recursos humanos
de alto nivel en
el extranjero
No Dirección
Adjunta de
Posgrados
y Becas/
Entidades
Federativas
Falta de
continuidad o
interés; cambio
de políticas o de
prioridades en
los gobiernos
de los estado
34 El anexo de la nueva icha de inscripción no contiene información que sustente que los operadores
del programa hayan previsto planes alternativos de acción en los casos donde hubiera diicultades en la
implementación de las estrategias planteadas.
Programas Federales Comprometidos con el Proceso de Evaluación | 201
Resultado
Esperado
Estrategias Meta
definida
Responsables Riesgos
Incremento
del número
de becarios
extranjeros
en México
a partir
del 2008
Promoción del
PNPC a través de la
feria de posgrado
en Mesoamérica
No Dirección
Adjunta de
Posgrados
y Becas
Desinterés, falta
de viabilidad
para venir al país
por parte de los
estudiantes
Posibilidad de
elegibilidad de
extranjeros en
convocatorias
nacionales
Sí Escasos
estudiantes
extranjeros en
los posgrados
del PNPC por
la inseguridad
y alto costo
en el nivel de
vida en el país,
presupuesto
insuiciente
Información
coniable del
2010 sobre
las variables
enunciadas en
el hallazgo, y
que anualmente
se reporten
indicadores
Información
coniable del
2010 sobre
las variables
enunciadas
en el hallazgo,
y que
anualmente
se reporten
indicadores
Realizar el análisis
de la información
de los miembros
del SNI que fueron
becarios CONACYT
Sí Dirección
Adjunta de
Posgrados
y Becas
Disponibilidad
de información
en el Sistema
Nacional de
Investigadores
Fuente: Adaptación del anexo presentado con la segunda icha de inscripción
AIIキラミWゲ キマヮノWマWミデ;S;ゲ ┞ ノラェヴラゲ ;ノI;ミ┣;Sラゲ
La siguiente y última fase del “Premio 2011” valorada por el comité
evaluador fue la revisión de la implementación de estrategias ijadas para
obtener los resultados esperados. El periodo en el que los responsables
del PBP tuvieron para implementar las estrategias fue de cinco meses (del
31 de marzo al 30 de agosto de 2011). Para la valoración de esta fase los
operadores del programa entregaron un resumen narrativo con la síntesis
de las acciones de mejora implementadas, la estrategia de implementación
y los resultados alcanzados a agosto de 2011. También se requirió que en
el resumen narrativo se explicara cuáles serían los resultados del programa
a mediano plazo así como las lecciones aprendidas.35 A continuación se
sintetizan las acciones implementadas y logros obtenidos.
35 También se solicitó soporte documental que demostrara los resultados alcanzados hasta el momento.
202 | De las recomendaciones a las acciones: la experiencia del Premio 2011
RWゲ┌ノデ;Sラ WゲヮWヴ;Sラぎ Oヮピマキ┣;Iキルミ SW ヴWI┌ヴゲラゲ ┞ ;┌マWミデラ
SWノ ミ┎マWヴラ SW HWI;ゲ Wミ Wノ W┝デヴ;ミテWヴラ ;ゲキェミ;S;ゲ Wミ Wノ ヲヰヰΓ
Como respuesta a la recomendación de reorientar la política de reducir
los costos de inanciamientos de las becas en el extranjero, la primera
estrategia concreta para el logro de este resultado consistió en establecer
un tope máximo de doscientos cincuenta mil pesos por cada becario al
que se le autorizara el apoyo.36 Esta cantidad contrasta notablemente con
los montos que hasta antes de 2009 se autorizaban, los cuales oscilaban
entre treinta mil y cincuenta mil dólares. Para fortalecer esta acción se
establecieron convenios de coinanciamiento con diversas universidades
del extranjero, con énfasis en Estados Unidos y Reino Unido, para la
optimización de recursos y condiciones de colegiaturas. Asimismo, se
mejoraron los términos de los convenios ya existentes. Los resultados
concretos reportados por el CONACYT son los siguientes:
• Reducción de costos de inanciamiento para becas en el extranjero
en 11%
• Establecimiento de convenios con instituciones educativas
extranjeras con la obtención de por lo menos 10% de descuento
en las colegiaturas
• Incremento de 12% en el número de nuevas becas en el extranjero
RWゲ┌ノデ;Sラ WゲヮWヴ;Sラぎ IミIヴWマWミデラ SWノ ミ┎マWヴラ SW
HWI;ヴキラゲ W┝デヴ;ミテWヴラゲ Wミ MY┝キIラ ; ヮ;ヴピヴ SW ヲヰヰΒ
Con el in de alcanzar este objetivo y vincularlo con el área de mejora
“Internacionalización del posgrado”, los operadores del programa
realizaron entre 2008 y 2009 dos ferias de posgrado (Tegucigalpa y San José
Costa Rica) y se planeó realizar otra en 2011 en Managua. La otra acción
complementaria para lograr este resultado es que las convocatorias para
estudios de posgrado no restringieron la nacionalidad de los postulantes.
El principal resultado alcanzado reportado fue:
36 Este tope fue establecido en las convocatorias de becas para estudios de posgrado en el extranjero.
Programas Federales Comprometidos con el Proceso de Evaluación | 203
• Incremento de 220% en el número de nuevas becas a extranjeros
entre 2007 y 2010 para realizar estudios de posgrado en centros
CONACYT, universidades particulares e instituciones públicas
de educación superior37
RWゲ┌ノデ;Sラ WゲヮWヴ;Sラぎ Iミaラヴマ;Iキルミ Iラミg;HノW SWノ
ヲヰヱヰ ゲラHヴW ノ;ゲ ┗;ヴキ;HノWゲ Wミ┌ミIキ;S;ゲ Wミ Wノ エ;ノノ;┣ェラが
┞ ケ┌W ;ミ┌;ノマWミデW ゲW ヴWヮラヴデWミ キミSキI;SラヴWゲ
En concordancia con el hallazgo seleccionado “Integración de la
información que se genera en distintos programas”, el resultado esperado
se ijó como meta realizar un análisis de los miembros del SNI con la
inalidad de conocer cuántos de éstos fueron becarios CONACYT. Otro
objetivo de esta acción fue la de recaudar información que permitiera
determinar variables que expliquen el ingreso de los ex becarios al SNI.
Esta estrategia se implementó a través del cruce e integración de la
información del PBP y la base de datos del SNI. Los resultados presentados
por los responsables del PBP fueron:
• 82% de los casos analizados cruzaron favorablemente con la base
de datos del SNI, el complemento se realizó manualmente
• Se calculó que a julio de 2011, 62.67% de los miembros del SNI
fueron becarios del Programa de Becas
• Entre 2007 y 2011 el número de ex becarios que se incorporaron
al SNI fue de 3,481, lo cual representó un incremento de 46%
B;ノ;ミIW SW ノラゲ ノラェヴラゲ ;ノI;ミ┣;Sラゲく Oヮピマキ┣;Iキルミ
SW Iラゲデラゲ ┞ ;┌マWミデラ SWノ ミ┎マWヴラ SW HWI;ゲ Wミ
Wノ W┝デヴ;ミテWヴラ ;ゲキェミ;S;ゲ ; ヮ;ヴピヴ SW ヲヰヰΓ
En términos generales, los resultados alcanzados en la optimización de
costos e incremento de becas en el extranjero son coherentes, corresponden
a las recomendaciones de la evaluación de impacto del Centro Redes y
37 Existe un error en el porcentaje de nuevas becas a extranjeros reportado. En el 2007 se otorgaron 219 becas
nuevas y 701 apoyos en 2010. El incremento entre estos años es de 482 becas. Esta cifra representa un incremento
de 220% y no de 312% como fue indicado por los operadores del PBP. Por otra parte, se reportó el incremento
en las nuevas becas a extranjeros a partir de 2007 cuando este año no fue considerado en el resultado esperado
establecido en la segunda icha de inscripción. El incremento de las becas para extranjeros entre 2008 y 2010 fue
de 19.68%. Ver Anexo de la Dirección Adjunta de Posgrado y Becas 2011, “Resultados alcanzados por el programa
de becas de posgrado y otras modalidades de apoyo a la calidad”, México, 2011, pp. 8-13.
204 | De las recomendaciones a las acciones: la experiencia del Premio 2011
contribuyen a la mejora de gestión del programa. En particular, el haber
establecido el tope de $250 mil pesos en el costo de colegiatura y suscribir
y mejorar convenios con instituciones educativas en el extranjero, sin
duda contribuyeron para la reducción de costos de inanciamiento en
11%. De acuerdo a la información entregada por los responsables del PBP,
las estrategias implementadas contribuyeron para que se aumentara en
12.77% el número de becas vigentes entre 2009 y 2010. Este logro se pudo
conseguir a pesar de la reducción en el presupuesto en este rubro la cual fue
de -11.73%. En otras palabras, el PBP logró aumentar el número de becas
con menos inanciamiento.
A pesar de que los resultados alcanzados se pueden considerar
como positivos, existen oportunidades de mejora importantes. En concreto,
se deben deinir metas para cada una de las estrategias planteadas ya que
la documentación presentada no permite valorar la efectividad de cada
estrategia en relación al resultado alcanzado. Por ejemplo, al no haber metas
deinidas para la irma y mejora de convenios con universidades extranjeras,
no es posible evaluar la dimensión del esfuerzo en este aspecto así como
tampoco se puede saber en qué medida estas acciones contribuyeron a la
reducción del costo de inanciamiento. Por otra parte, es importante señalar
que la estrategia “suscribir convenios con entidades federativas para la
formación de recursos humanos de alto nivel en el extranjero” tuvo dos
omisiones relevantes: 1) no se plantearon metas deinidas y 2) el informe
no presentó resultados alcanzados.
IミIヴWマWミデラ SWノ ミ┎マWヴラ SW HWI;ヴキラゲ
W┝デヴ;ミテWヴラゲ Wミ MY┝キIラ ; ヮ;ヴピヴ SW ヲヰヰΒ
Para este resultado se establecieron dos estrategias (realización de feria de
posgrados en Centroamérica y posibilidad de elegibilidad de extranjeros
en convocatorias nacionales). Aunque estas acciones probablemente
contribuyeron para lograr el incremento signiicativo en el número de
nuevas becas otorgadas, no existe información que permita determinar
cuál fue la aportación de cada una para lograr el resultado. Del mismo
modo, no se deinió en la segunda icha de inscripción una meta clara en
cuanto al número de ferias de posgrado a realizar y cómo y en qué medida
contribuirían a incrementar el número de becas otorgadas. Por otra parte,
la estrategia de “elegibilidad de extranjeros en convocatorias nacionales”
no representa por sí misma un gran esfuerzo del programa para atraer a
becarios extranjeros. La eicacia de esta estrategia se centra en la promoción
de becas para extranjeros más allá de las fronteras de México.
Programas Federales Comprometidos con el Proceso de Evaluación | 205
Iミaラヴマ;Iキルミ Iラミg;HノW SWノ ヲヰヱヰ ゲラHヴW ノ;ゲ
┗;ヴキ;HノWゲ Wミ┌ミIキ;S;ゲ Wミ Wノ エ;ノノ;┣ェラが ┞ ケ┌W
anualmente se reporten indicadores
Para este resultado sí se deinió una estrategia con una meta concreta, misma
que se cumplió a cabalidad. La integración de sistemas de información de
los programas de CONACYT y el análisis de la información de los miembros
del SNI arrojaron datos útiles que permiten dimensionar en cierta medida
el impacto del PBP. Además, este resultado sí tiene una vinculación directa
con las recomendaciones hechas en las evaluaciones realizadas al programa
(Centro Redes y EED). De acuerdo con los operadores del programa, el
área de oportunidad en este rubro es establecer un sistema de monitoreo
y una evaluación orientada a resultados e impactos del programa. Estos
instrumentos permitirán la identiicación de instituciones educativas,
tanto en México como en el extranjero, que facilitan las condiciones para que
becarios CONACYT egresados formen parte del SNI. Por medio de este tipo
de acciones también se obtendrá más información sobre las trayectorias de
los ex becarios del PBP como el área de conocimiento, género, nivel del SNI
y sector productivo. En el cuadro 4 se sintetizan los resultados esperados,
estrategias, logros alcanzados y balance de éstos.
En la última fase del “Premio 2011”, el comité evaluador valoró,
con base en un resumen narrativo del programa, cuatro componentes
del PBP: la implementación y avances a agosto de 2011; las estrategias
diseñadas para asumir las acciones de mejora como elementos constitutivos
del programa; los efectos potenciales de la acciones de mejora en términos
del funcionamiento y resultados del programa; y las lecciones aprendidas.38
El PBP obtuvo una caliicación de 65 y fue el penúltimo mejor evaluado. El
comité evaluador reconoció los logros alcanzados y resaltó el compromiso
de los responsables del programa de contar en el país con capital humano
altamente caliicado. Asimismo, el jurado valoró positivamente la
disposición de tomar en cuenta las recomendaciones y los hallazgos de las
evaluaciones así como el esfuerzo de CONACYT por realizar una evaluación
de impacto pese a la complejidad que implica dicho estudio. En particular,
el comité evaluador coincidió en que los aspectos mejor evaluados fueron
la implementación y la estrategia. Como debilidades, se señaló que algunos
cambios en el programa fueron implementados en años anteriores por lo
que se percibe la inercia de dichos esfuerzos. También se hizo hincapié en la
diicultad de dimensionar el esfuerzo del programa debido a la ausencia de
metas preestablecías. Otro punto débil detectado por el jurado fue la falta
de información para evaluar y dar seguimiento a los ex becarios.
38 Cada institución participante caliicó cada uno de los aspectos y otorgó un puntaje total. La caliicación
inal que recibió el PBP fue el resultado de promediar el puntaje total de cada institución.
206 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Cuadro 4. Balance de los resultados alcanzados
Resultado
Esperado
Estrategias Resultados alcanzados Observaciones
Optimización
de costos y
aumento del
número de
becas en el
extranjero
asignadas
a partir
de 2009
Nuevas políticas
para el pago de
conceptos de
apoyo de la beca
• Reducción de costos
de inanciamiento
para becas en
el extranjero
en un 11%
• Establecimiento
de convenios con
instituciones
educativas
extranjeras con la
obtención de por
lo menos un 10%
de descuento en
las colegiaturas
• Incremento del
12% en el número
de becas en el
extranjero
La meta de esta estrategia fue
cumplida y el resultado alcanzado
contribuye al resultado esperado
Incrementar la
suscripción de
convenios con
instituciones
educativas del
extranjero
Aunque se establecieron
convenios con instituciones
educativas extranjeras se
desconoce la dimensión del
esfuerzo del programa ya que
no se ijaron metas concretas
Mejorar los
términos y
condiciones de
los convenios
existentes con
instituciones
del extranjero
A pesar de que se mejoraron
convenios con instituciones
educativas extranjeras se
desconoce la eicacia del programa
en esta meta ya que no se
establecieron objetivos concretos
Suscribir
convenios
con entidades
federativas
para becas en
el extranjero
El CONACYT y algunas
entidades federativas
emitieron convocatorias con
coinanciamiento para becas
en el extranjero para tener una
cobertura regional focalizada.
Sin embargo, no hubo una
meta deinida para esta
estrategia y no se reportaron
resultados alcanzados (número
de becas otorgadas)
Incremento
del número
de becarios
extranjeros
en México
a partir
del 2008
Promoción del
PNPC a través
de la feria de
posgrado en
Mesoamérica
• Incremento de
220% en el número
de nuevas becas a
extranjeros entre
2007 y 2010 para
realizar estudios
de posgrado en
centros CONACYT,
universidades
particulares e
instituciones
de educación
superior públicas
No se reportó información
suiciente para valorar en
qué medida las dos ferias
realizadas en Centroamérica
contribuyeron al resultado
esperado ya que no se deinió
una meta para esta estrategia
Posibilidad de
elegibilidad de
extranjeros en
convocatorias
nacionales
La meta se cumplió pero no
representa un gran esfuerzo
del programa establecer la
elegibilidad de extranjeros en
las convocatorias nacionales.
La eicacia de esta estrategia
se centra en la promoción
de las becas para estudios
de posgrado en el país
Programas Federales Comprometidos con el Proceso de Evaluación | 207
Información
coniable del
2010 sobre
las variables
enunciadas
en el
hallazgo, y
que
anualmente
se reporten
indicadores
Realizar el
análisis de la
información de
los miembros
del SNI que
fueron becarios
CONACYT
• 82% de los casos
analizados cruzaron
favorablemente
con la base de
datos del SNI,
el complemento
se realizó
manualmente
• Se calculó que
a julio de 2011,
62.67% de los
miembros del SNI
fueron becarios del
Programa de Becas
• Entre 2007 y 2011
el número de ex
becarios que se
incorporaron al
SNI fue de 3,481, lo
cual representó un
incremento del 46%
La meta se cumplió a cabalidad.
La acción de mejora en este
rubro es el establecimiento de
un sistema de monitoreo y una
evaluación orientada a resultados
e impactos del programa. Estos
instrumentos permitirán la
identiicación de instituciones
nacionales y extranjeras, que
generan condiciones para
que los becarios CONACYT
egresados se incorporen al SNI
Fuente: Elaboración propia con base en el anexo de la segunda icha
de inscripción y el resumen narrativo del programa.
Conclusión
El Programa de Becas de Posgrado y otras modalidades de apoyo a la
calidad del CONACYT contribuye de manera signiicativa con las políticas de
desarrollo cientíico y tecnológico y de equidad del país. Dicha contribución
recae principalmente en la formación de capital humano de alto nivel.
Uno de los ines principales del programa es que los recursos humanos
altamente capacitados respondan a las necesidades, los problemas y los
retos que enfrenta México. El PBP, al ser participante del “Premio 2011”
tuvo que encarar tres retos de los cuales se desprenden lecciones valiosas
tanto para este programa como para otros similares.
El primer reto fue la identiicación de hallazgos relevantes de
las evaluaciones realizadas al programa. En un primer momento, los
responsables del PBP, con base en la evaluación del Centro Redes,
identiicaron impactos que no tenían una relación lógica con las acciones
de mejora planteadas ni con los resultados esperados. Asimismo, estos
hallazgos no mostraron una relación directa con el objetivo del programa
de becas, el cual se enfoca en incrementar la competitividad del país.
Como establecieron las evaluaciones especíicas de desempeño, resulta
difícil vincular los productos del PBP con la competitividad ya que ésta no
depende directa y únicamente de los resultados del programa. Sobre este
punto, el comité evaluador indicó que es necesario “realinear las acciones
del programa de becas para que se evalúen a la luz de sus productos y no
208 | De las recomendaciones a las acciones: la experiencia del Premio 2011
en términos de impacto en la economía o competitividad del país ya que
éstas sólo serían consecuencias positivas marginales en el agregado de la
economía nacional”.39 Al parecer, este realineamiento requiere no sólo de
la disposición del CONACYT sino también de lexibilizar el esquema de
evaluación de la administración pública federal.
El segundo obstáculo fue la deinición de metas e indicadores
para cada una de las estrategias establecidas. Como se mencionó con
anterioridad, no en todas las estrategias se deinieron metas claras ni
indicadores que pudieran ser valorados en relación a los logros alcanzados.
De igual manera, hubo cierta variación entre las estrategias en cuanto a la
complejidad y potencial de mejora de la gestión. En otras palabras, mientras
unas estrategias implicaron un gran esfuerzo del CONACYT, otras acciones
ya venían implementándose con anterioridad por lo que no implicó mayor
trabajo llevarlas a cabo. El establecimiento de metas e indicadores claros
y concretos es un imperativo tanto para la evaluación de las estrategias y
los resultados alcanzados del programa, como para el rediseño de políticas
orientadas a la formación de cientíicos y tecnólogos de alto nivel.
La última diicultad fue aprender lecciones valiosas de la participación
del PBP. Sobre este punto los responsables del PBP airmaron que el ser
concursantes en el “Premio 2011” les permitió reorientar algunas acciones
y la implementación de políticas que generaron resultados exitosos. Del
mismo modo, concluyeron que “la lección estriba en aprender de otros
programas, evaluaciones, estudios, mediciones, indicadores para mejorar
los programas de CONACYT”.40 Como se puede observar, los operadores
del programa no elaboraron con detalle en las lecciones aprendidas. De
hecho, fue la parte más débil valorada por el comité evaluador. Sobre
este aspecto resulta necesario revisar todo el proceso y las etapas del PBP
en el concurso con la inalidad de extraer aprendizajes que los lleven a
perfeccionar la selección de hallazgos relevantes, a mejorar el diseño de
estrategias, metas e indicadores así como a establecer resultados esperados
que contribuyan directamente con el objetivo del programa. Al mismo
tiempo, es recomendable que los operadores del PBP analicen cómo otros
programas federales utilizan las evaluaciones para reformular sus políticas
y hacerlas más eicientes.
Debido a las diicultades que presentó el PBP se puede argumentar
que el CONACYT, al menos en este programa, se encuentra en una
etapa de transición entre el uso conceptual y el uso instrumental de las
evaluaciones. Dicho estadio es evidente pues mientras que en algunos
aspectos los operadores han sabido aprovechar información relevante de las
evaluaciones y utilizarla como insumo para la reformulación de programa,
39 Guillermo Cejudo, Minuta de las sesiones de trabajo con los programas seleccionados para el Premio
“Programas Federales comprometidos con el proceso de evaluación”, México, 2011, p. 2.
40 Dirección Adjunta de Posgrado y Becas, “Resumen narrativo del Programa de Becas de Posgrado y otras
modalidades de apoyo”, CONACYT, 2011.
Programas Federales Comprometidos con el Proceso de Evaluación | 209
en otros tienen problemas para vincular las estrategias con las acciones de
mejora y los resultados esperados. Afortunadamente, el CONACYT cuenta
con la disposición de utilizar a las evaluaciones como herramientas de
cambio para alcanzar sus objetivos. En la medida que esta voluntad esté
acompañada de acciones encaminadas a mejorar las políticas del programa,
los objetivos de esta institución se irán consiguiendo.
BキHノキラェヴ;i;
Bazdresch Parada, Carlos, “Prólogo”, en Ortega et al., Invertir en el
Conocimiento: El Programa de Becas-crédito del CONACYT, México, SEPCONACYT
y Plaza y Valdés, 2001.
Cejudo, Guillermo, “Minuta de las sesiones de trabajo con los programas
seleccionados para el Premio Programas Federales comprometidos con el
proceso de evaluación”, México, 2011.
Centro Redes, Evaluación de Impacto del Programa de Formación de Cientíicos
y Tecnólogos, México: CONACYT, México, 2008.
Consejo Nacional de Ciencia y Tecnología, Ciencia y Tecnología para la
Competitividad, México, FCE y CONACYT, 2006.
_______, Informe de Labores 2010, México, 2010.
_______, Informe General del Estado de la Ciencia y la Tecnología, México,
2011.
Consejo Nacional de Evaluación de la Política Social, Informe de Evaluación
Especíica de Desempeño 2009-2010, México, 2010.
_______, Informe de la Evaluación Especíica de Desempeño 2008, México,
2008.
Dirección Adjunta de Posgrado y Becas, Anexo de “Resultados alcanzados
por el programa de becas de posgrado y otras modalidades de apoyo a la
calidad”, México, 2011.
210 | De las recomendaciones a las acciones: la experiencia del Premio 2011
_______, “Resumen narrativo del Programa de Becas de Posgrado y otras
modalidades de apoyo”, México, 2011.
Gobierno Federal, Cuarto Informe de Gobierno, México, 2010.
_______, Cuarto Informe de Ejecución del Plan Nacional de Desarrollo 2007-
2012, México, 2010.
______, Indicadores de Actividades Cientíicas y Tecnológicas 2010, Edición de
Bolsillo, México, 2011.
Ortega, Sylvia et. al., Invertir en el conocimiento: El Programa de Becas-crédito
del CONACYT, México, SEP-CONACYT y Plaza y Valdés, 2001.
Reglas de Operación de los programas del Consejo Nacional de Ciencia y
Tecnología en el Diario Oicial de la Federación, 31 de diciembre de 2010.
Programas Federales Comprometidos con el Proceso de Evaluación | 211
ProÁrbol, FAPPA, JERFT y Promusac:
la evaluación aplicada a las
ヮラノケピI;ゲ Wミ Wノ ゲWIデラヴ ;ェヴケIラノ; Wミ
México: balance de resultados
Brasil Acosta
Introducción
La capacidad de autocrítica, así como la posibilidad de descubrir los errores y
tendencias negativas que se encubren por acción de la cotidianeidad; además
de contar con la cualidad de reconocer serenamente los aciertos de las acciones
realizadas por determinadas instancias gubernamentales, son condiciones
fundamentales para evitar y erradicar la rigidez que puede producir, y que de
hecho ha producido, nuestra perniciosa burocracia. De ahí la importancia de la
vigilancia y evaluación permanente y, sobre todo, de la capacidad de reacción
ante los resultados: tanto en la profundización de las acciones positivas,
como en la corrección de las tendencias negativas, que en conjunto, forman
parte fundamental del quehacer de toda institución pública en el marco de un
desprestigio generalizado, que a la fecha tienen algunas de las instituciones
públicas y algunos de los programas sociales en México. En efecto, dadas las
condiciones de pobreza y la falta de regulación que se viven en nuestro país,
mismas que se han visto agravadas por la crisis mundial, se hace necesaria
212 | De las recomendaciones a las acciones: la experiencia del Premio 2011
una nueva forma de hacer política y una nueva forma de instrumentar los
programas sociales, de forma tal que se garantice una correspondencia
adecuada entre el uso del recurso público destinado a determinado in y los
beneiciarios de dicho recurso. Por esta razón, la vigilanciala permanente
y las recomendaciones hechas por organismos distintos a la dependencia
encargada de ejecutar los programas, es fundamental.
En México, la evaluación de programas que tienen que ver con el
campo ha estado especialmente abandonada; de ahí que en el marco de la
política institucional actual, tenga una especial relevancia volcar la atención
sobre este sector y, sobre todo, atender a las respuestas que las instancias
especíicas den a esas evaluaciones.
Con el in de dar seguimiento a este proceso de evaluación, en el
contexto del “Premio 2011”, se estudiarán en este capítulo las experiencias
relacionadas con las evaluaciones que se realizaron a los programas:
ProÁrbol, de la Comisión Nacional Forestal (Conafor), el Fondo para
el Apoyo a Proyectos Productivos en Núcleos Agrarios (FAPPA), Joven
Emprendedor Rural y Fondo de Tierras (JERFT), y el Programa de la Mujer
en el Sector Agrario, Secretaría de la Reforma Agraria (SRA). La importancia
que tiene el análisis de estas experiencias radica en que nos permite destacar
las fortalezas y las debilidades, para que más adelante otros programas
orientados al campo mexicano puedan hacer uso de estas experiencias, así
como servir al mismo tiempo para mejorar el diseño futuro de programas
orientados al campo y se puedan incorporar los elementos que permitan
corregir los defectos que pudieran surgir de la instrumentación de éstos,
y se establezcan las características de la evaluación que contribuyan a
instrumentar adecuadamente los programas.
ProÁrbol (Conafor)
Siguiendo a Conafor, “ProÁrbol es el principal programa federal de apoyo
al sector forestal que ordena en un solo esquema el otorgamiento de
estímulos a los poseedores y propietarios de terrenos para realizar acciones
encaminadas a proteger, conservar, restaurar y aprovechar de manera
sustentable los recursos en bosques, selvas y zonas áridas de México. La
Comisión Nacional Forestal es la institución responsable de llevar a cabo este
programa, bajo reglas de operación y a través de una convocatoria anual en la
que se establecen los requisitos, plazos y procedimientos para la asignación
y entrega de recursos a los beneiciarios. Por sus características, ProÁrbol
garantiza la equidad, transparencia y eicacia en el ejercicio de los recursos
públicos destinados a impulsar el desarrollo sustentable para beneicio de los
dueños y habitantes de las regiones forestales y del país en general”.1
1
http://www.conafor.gob.mx/portal/index.php/tramites-y-servicios/apoyos-2012, (Consultado el 11 de
febrero de 2012).
Programas Federales Comprometidos con el Proceso de Evaluación | 213
La asignación de los pagos se basa en el concepto conocido como el
“pago de servicios ambientales” (PSA), que según Sven Wunder,2
promueve
directamente la conservación.3
Ante la imposibilidad de la naturaleza de
proveer los servicios ambientales antes ofrecidos de manera gratuita por
ella, se hace necesario conciliar los intereses de los seres humanos para que
contribuyan a hacer lo que la naturaleza, derivado del saqueo hecho por
el hombre, ya no puede. Se trata por ello de crear incentivos pecuniarios
mediante la creación de un mercado inexistente donde se asignan precios
para obtener un determinado producto, en este caso: la conservación del
bosque. El mismo Wunder, señala que la idea central del PSA es que los
beneiciarios externos de los servicios ambientales paguen -de manera
directa, contractual y condicionada- a los propietarios y usuarios locales
por adoptar prácticas que aseguren la conservación y restauración de
ecosistemas.
Como resultado del desarrollo del concepto de pago de servicios
ambientales en el exterior, el Gobierno Federal, a través de la Conafor,
instrumentó dos iniciativas: el Programa de Servicios Ambientales
Hidrológicos (PSAH) a partir de 2003, y el Programa para Desarrollar el
Mercado de Servicios Ambientales por Captura de Carbono y los Derivados
de la Biodiversidad y para Fomentar el Establecimiento y Mejoramiento
de Sistemas Agroforestales (PSA-CABSA) desde el año 2004. Ambos
programas se fusionan en el 2006 para formar parte de ProÁrbol (Conafor).
La Población Objetivo del Programa ProÁrbol es aquella supericie
dentro del área de la población potencial, que se planeó atender en el
ejercicio iscal 2010, de acuerdo a las características y objetivos especíicos
de cada uno de sus Programas presupuestarios.4
La población potencial
equivale a 35 millones 500 mil hectáreas; la población objetivo para el 2010
representó 50 mil hectáreas (0.14% del total); por su parte, la población
atendida para el año en cuestión fue de 176 mil hectáreas, es decir, 352%
más de lo proyectado.
Desde 2006 el programa ha instrumentado un proceso continuo de
mejora para determinar las áreas susceptibles de recibir el apoyo, a través
de acciones como las siguientes:
2
Sven Wunder, Pagos por servicios ambientales: principios básicos esenciales, CIFOR, Occasional Paper No.
42(s), 2005.
3
J. Hardner, J. y R. Rice, “Rethinking green consumerism”, Scientiic American, pp.89-95, 2002; E. Niesten
y R. Rice, “Sustainable forest management and conservation incentive agreements”, International Forestry
Review, Vol. 6, pp. 56-60, 2004; S. Scherr et al., “For services rendered. Current status and future potential
of markets for ecosystem services of tropical forests: an overview” en Technical Series #21, Yokohama:
International Tropical Timber Organization (ITTO), 2004; P. Ferraro y A. Kiss, “Direct payments to
conserve biodiversity”, Science, Noviembre 29, 2002, pp. 1718-1719.
4
CONEVAL, Informe de la Evaluación Especíica de Desempeño 2010-2011. Valoración de la Información
contenida en el Sistema de Evaluación del Desempeño (SED). ProÁrbol - Programa de Servicios
Ambientales por Captura de Carbono, Biodiversidad y Sistemas Agroforestales (CABSA) Comisión
Nacional Forestal.
214 | De las recomendaciones a las acciones: la experiencia del Premio 2011
1. Determinación de un protocolo y metodología para focalización
instrumentado, primero por la propia Gerencia de Servicios
Ambientales y actualmente por la Coordinación General de
Planeación e Información, bajo el cual se deinen las áreas
prioritarias.
2. Sistematización de coberturas cartográicas empleadas
para identiicar las áreas prioritarias, y generación de notas
metodológicas anuales que describen el procedimiento aplicado.
3. Exposición en distintos foros del proyecto de áreas prioritarias
de servicios ambientales, previo a la publicación formal (Comité
Técnico Consultivo del Programa, Comité Técnico Nacional del
Programa, Misiones de Banco Mundial, entre otros foros con
actores involucrados en el tema, cientíicos, organizaciones no
gubernamentales, asociaciones de productores).
4. Asimismo, a partir del ejercicio iscal 2010 las áreas prioritarias
de PSA están clasiicadas con pago diferenciado, utilizando como
base el tipo de ecosistema forestal y el riesgo a la deforestación.
Para dimensionar los alcances del programa, debe decirse que en
el año 2007, el presupuesto destinado al pago de servicios ambientales
se incrementó cinco veces. En el periodo 2003-2010, Conafor asignó
5,289 millones de pesos bajo el esquema de Servicios Ambientales para
la ejecución de 4,646 proyectos de conservación, en una supericie de
2,767,000 hectáreas. También apoyó la elaboración de 760 documentos
para proyectos (2004 a 2009) con una inversión adicional de 85 millones
de pesos, beneiciando así a más de 5,400 ejidos, comunidades y pequeños
propietarios en todo el país.5
Las evaluaciones que se realizaron fueron, fundamentalmente,
las especíicas de desempeño, así como la evaluación de consistencia de
resultados del programa ProÁrbol. Entre los hallazgos más relevantes que
se presentan en la icha de inscripción están los siguientes: no se cuenta
con información que indique las características de la biodiversidad en las
áreas apoyadas o la presencia de especies prioritarias; los beneiciarios
perciben al programa como un subsidio más del gobierno y consideran que
no tienen el suiciente conocimiento técnico y desconocen a quién acercarse
(demandantes de servicios ambientales) para efectivamente desarrollar un
mercado; relevancia del Programa en los tiempos actuales, se recomienda
evaluar la factibilidad de llevar una evaluación de impacto del Programa;
los indicadores relejan permanencia de los predios apoyados. Asimismo,
indican que no se entregan todos los apoyos aprobados probablemente
debido a problemas de gestión. Sin embargo, es importante señalar que hay
5
www.conafor.gob.mx
Programas Federales Comprometidos con el Proceso de Evaluación | 215
factores tanto internos como externos que inciden en estos problemas. Se
recomienda continuar mejorando los procesos de planeación para resolver
los problemas internos y minimizar el efecto adverso de los factores
externos; no se cuenta con criterios para deinir y cuantiicar las supericies
prioritarias objetivo que focalicen los apoyos de manera diferenciada al
resto del país.
Como muestra del compromiso de Conafor en el proceso de
evaluación, podemos señalar las acciones de mejora emprendidas que
quedan plasmadas en el reporte de Guillermo M. Cejudo, como parte del
jurado del “Premio 2011”, en el que señala que en la Conafor:
[S]e comprometieron a realizar 11 acciones de mejora que
se pueden agrupar en los siguientes rubros: 1) investigación
para mejorar la focalización y medición de los indicadores;
2) talleres para fortalecer las capacidades de los proveedores
locales de servicios ambientales, 3) mejorar los mecanismos
locales de pago por servicios ambientales y 4) agilizar el
trámite de pago a los beneiciarios.
En cuanto a las acciones de mejora, en el reporte de los programas
semiinalistas del “Premio 2011”, Guillermo M. Cejudo y Claudia
Maldonado señalan las siguientes:
• “Recursos inancieros para el desarrollo de investigaciones sobre
el tema de servicios ambientales, su vínculo con el tema social.
• Elaboración y emisión de Lineamientos de Fondos Concurrentes.
• En el marco de un convenio de colaboración con CONAFOR,
la Universidad de Wisconsin realiza un estudio que permitirá
conocer los impactos del PSAH en la deforestación y en la
condición socioeconómica de los beneiciarios.
• Simpliicación y agilización de trámites administrativos.
• Proceso anual de revisión y mejora para determinar las áreas
prioritarias o supericies elegibles para la aplicación de los apoyos
de PSA”.
Como se ve, Conafor instrumentó medidas especíicas para mejorar
su desempeño derivadas de la evaluación hecha; por desgracia, la medición
de su impacto en el ambiente, por ser difícil, impide detectar en el corto
216 | De las recomendaciones a las acciones: la experiencia del Premio 2011
plazo el resultado de sus acciones, pero cabe destacar la actitud abierta a los
señalamientos y el intento por hacer caso a las recomendaciones derivadas
de las evaluaciones.
En cuanto a algunas debilidades, se menciona que se deben
identiicar las categorías de apoyo destinadas a las poblaciones marginadas,
y se recomienda que, con base en las evaluaciones de años anteriores
se realice un ejercicio contabilización de la supericie, que permita la
cuantiicación y la caracterización de las zonas prioritarias, focalización
de los programas por región, integración de los programas de promoción
especíicos y la integración de programas para zonas frágiles. Conafor, en
respuesta a las recomendaciones hechas, ha instrumentado una serie de
estudios, convenios, documentales, lineamientos, talleres, etc., mismos
que han permitido tener una visión más clara del complicado fenómeno
que consiste en empatar los intereses humanos con los de su entorno
relacionado con la Biodiversidad. La evaluación del impacto (positivo o
negativo) del programa, es muy complicada, pues el componente de corto
plazo en este caso no favorece a los instrumentadores del programa. No
obstante, es necesario estudiar proyectos de impacto que manejen los
bosques productivamente por períodos de muchos años; asimismo, se sabe
que una hectárea plantada con yute equivale a 5 hectáreas de bosque en
cuanto a la captación de CO2 se reiere, por lo cual, con menos inversión
podrían obtenerse resultados de trascendencia.
Pese a la diicultad que implica medir con precisión los resultados
del programa, como se dijo anteriormente, Conafor procura hacer uso de
los estudios técnicos como herramienta para la toma de decisiones y, por lo
mismo, intenta que su actuar esté sustentado en los resultados de dichos
estudios. Esta forma de actuar es adecuada y pone de maniiesto que las
autoridades tienen la capacidad de reaccionar ante los señalamientos de los
organismos evaluadores, y aunque no se puede calcular el impacto, por la
diicultad temporal del fenómeno analizado, se puede decir que se ha hecho
caso de las recomendaciones planteadas.
Finalmente, dada la situación de pobreza del país y dada la
naturaleza de la economía de mercado en la que opera el programa
ProÁrbol, así como el negativo historial de corrupción en nuestro país,
está latente la presencia del conocido “riesgo moral”; pues ante una
oferta ilegal de recursos para vender madera o usar los bosques de forma
lucrativa, es posible que haya quienes reciban los pagos del programa y,
a la vez, los pagos de su contrario, es decir, del dinero que tiende a no
preservar la Biodiversidad.
No obstante, Conafor obtuvo en la evaluación inal el cuarto lugar de
13 programas participantes, lo cual revela el compromiso de la institución
con el programa de evaluación, pese a la diicultad de medir el impacto
concreto de sus acciones.
Programas Federales Comprometidos con el Proceso de Evaluación | 217
Programas correspondientes a la Secretaría
de la Reforma Agraria (SRA)
En el sexenio de Vicente Fox Quezada, se anunció la culminación del reparto
agrario cuya historia data desde la Revolución Mexicana. Al terminar
estas funciones, la SRA tiene la capacidad de extender su radio de acción y
promover programas en el sector rural en apoyo los campesinos. Al mismo
tiempo, después del reparto agrario una parte de la población rural se quedó
sin la oportunidad de acceder a la propiedad agraria. A este problema, se
añade el hecho de que 10.5% de la supericie nacional, que es de casi dos
millones de kilómetros cuadrados, se dedica a las actividades agrícolas y
aproximadamente 80% de esa supericie está fraccionada en parcelas de
cinco hectáreas o menos, lo cual ha provocado un divorcio entre el capital y la
tierra, que hace necesaria la intervención estatal para mitigar las condiciones
de pobreza que se sufren en el campo y para lograrlo se hacen necesarios
distintos programas. Estos programas, desafortunadamente, están muy lejos
de representar una solución estructural como la que se requiere para atender
la pobreza en el campo. Ahora bien, los programas señalados en este apartado
promueven fundamentalmente los proyectos productivos (en una escala de
mediana a pequeña, aunque predomina esta última). Sin embargo, el éxito
de un proyecto productivo no depende solamente de la buena voluntad
de la autoridad que otorga los recursos para su instrumentación, ni de la
capacidad del empresario para hacer que su proyecto resulte triunfador; hace
falta también que en el mercado estén dadas las condiciones que puedan
satisfacer la demanda de los productos que resultan de los proyectos y que
están destinados al mercado. En ese sentido, los efectos de la crisis mundial,
la concentración de la riqueza en México, el aumento de la desigualdad y,
inalmente, la pérdida de la capacidad adquisitiva del salario en nuestro país,
hacen que todo proyecto de inversión se sumerja en las negras aguas del
riesgo y del fracaso, si se trata de inversiones pequeñas o medianas, como
es el caso. De ahí la importancia de mejorar sustantivamente los modelos de
promoción de proyectos productivos, incorporando dichas consideraciones.
FラミSラ ヮ;ヴ; Wノ Aヮラ┞ラ ; Pヴラ┞WIデラゲ PヴラS┌Iピ┗ラゲ
Wミ N┎IノWラゲ Aェヴ;ヴキラゲ ふFAPPAぶが ふSRAぶ
Este programa tiene sus orígenes en el año 2000. “El programa Fondo para
el Apoyo a Proyectos Productivos en Núcleos Agrarios (FAPPA) está dirigido
a mujeres y hombres que habitan en núcleos agrarios y que no son titulares
de tierras, pero que tienen el propósito de poner en marcha proyectos
productivos para mejorar su calidad de vida y la de sus familias. Los
proyectos productivos pueden ser por ejemplo, de índole ganadera, textil,
ecoturismo, tiendas rurales, producción de alimentos o servicios varios”.6
6
http://www.sra.gob.mx/sraweb/programas/fappa/, (11 de febrero de 1012)
218 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Se trata de un programa que apoya a aquellos que, sea porque no tuvieron
herencia de sus padres, o que al inalizar el reparto agrario no pudieron
hacerse de una parcela, pero dada la situación de pobreza de los núcleos
rurales, buscan ser “emprendedores”. Se trata de encontrarlos, de modo que
así pueda el programa convertirse en una alternativa para mitigar la difícil
situación de los “sin tierra”. El programa se dio a conocer en el Diario Oicial
de la Federación el lunes 31 de diciembre de 2007.
De acuerdo al manual de reglas de operación7
, el Programa se rige
bajo los siguientes objetivos especíicos:
I. Apoyar a los hombres y mujeres que habiten en Núcleos
Agrarios, que no sean titulares de derechos agrarios, para la
implementación y puesta en marcha de proyectos productivos
con criterios de equidad e igualdad que sean viables técnica,
económica y ambientalmente sustentables, mediante el
otorgamiento de aportaciones directas.
II. Otorgar capacitación productiva con perspectiva de género a los
Grupos de “beneiciarios”(as).
III.Impulsar la sobrevivencia de los proyectos productivos apoyados
para determinar su éxito, a través de la supervisión.
IV. Apoyar a la población rural que haya sido beneiciada por el
“Programa”, con garantías líquidas.
Asimismo, la población objetivo se describe enseguida: “Avecindados”
y personas que habiten en “Núcleos Agrarios”, incluyendo aquellos que estén
ubicados en las zonas en las que se puedan resolver conlictos agrarios en el
medio rural, debidamente avalados por la autoridad correspondiente y que
no sean titulares de derechos ejidales o de bienes comunales, ni posesionarios
o usufructuarios de tierra social y que se constituyan en un “Grupo” con la
inalidad de establecer un “Proyecto Productivo” (reglas de operación)”.8
Los criterios de selección son los siguientes:
I. Evaluación Técnica: se analiza la viabilidad técnica, inanciera y
sustentable del proyecto productivo.
7
http://www.sra.gob.mx/sraweb/datastore/programas/2011/reglasFAPPA2011.pdf, (13 de febrero de
2012)
8
Reglas de Operación del Programa Fondo para el Apoyo a Proyectos Productivos en Núcleos Agrarios
(FAPPA), Diario Oicial de la Federación.
Programas Federales Comprometidos con el Proceso de Evaluación | 219
II. Focalización por marginación y vulnerabilidad: Se valoran las
condiciones sociales que cuentan los solicitantes y en las que se
establecerá el proyecto productivo.
En 2011 el FAPPA tuvo un presupuesto aprobado de 730 millones.
La tasa de crecimiento media anual para los beneiciarios fue un poco
menor al ubicarse en 2.46% del año 2000 a 2010, pasando de 16 mil a más
de 21 mil. El número de proyectos apoyados por año ha tenido una tasa
de crecimiento media anual más elevada, al llegar a una tasa de 20.76% de
crecimiento anual, ya que en 2000 se apoyó a 512 proyectos productivos y
en 2010 se incrementó a 3,376 proyectos apoyados.
Se hizo una evaluación de “in y propósito” en la que se planteó lo
siguiente:
1. Es necesario establecer los mecanismos de seguimiento
que aseguren la recepción del recurso otorgado, la correcta
aplicación por parte de los grupos apoyados y la permanencia
de los bienes en el área destinada a la operación de los proyectos
productivos.
2. Con el propósito de incrementar la duración de los proyectos,
es necesario establecer mecanismos que aseguren el correcto
seguimiento de los proyectos productivos.
Ante estas observaciones se planteó por parte de los encargados
de ejecutar el programa en su icha de inscripción lo siguiente: “mejorar
el modelo de supervisión de proyectos productivos mediante la
implementación de tres tipos de supervisión: supervisión previa, que tiene
como inalidad veriicar las condiciones iniciales del proyecto productivos;
supervisión de seguimiento, que tiene como propósito veriicar la correcta
aplicación del recurso por parte de los grupos apoyados y la supervisión
especial, la que resulte de las quejas y de las denuncias presentadas a la
Coordinación del Programa o instancias competentes”; sin embargo, la
evidencia ofrecida fueron las cédulas de supervisión de los proyectos
productivos visitados, lo cual no garantiza la correcta instrumentación de
las recomendaciones hechas.
En la misma icha de inscripción se planteó “fortalecer el proceso
de capacitación de los beneiciarios a través del mejoramiento de los
contenidos de los módulos y materiales de capacitación y enriquecerlos con
temas como equidad de género, derechos humanos y trabajo en equipo”, lo
cual se intentó resolver mediante manuales de capacitación, guías técnicas
por giro, trípticos mejorados y enriquecidos.
220 | De las recomendaciones a las acciones: la experiencia del Premio 2011
La diicultad que se puso de maniiesto en el proceso llevado a cabo
para poner en práctica las recomendaciones hechas por la evaluación, y esto
vale para los otros dos programas de la SRA que se exponen en este mismo
capítulo, pues se trata de la misma secretaría, fue la falta de personal para
instrumentar las medidas sugeridas por la evaluación, de tal suerte que el
radio de acción de las medidas por ellos planteadas, no parece haber tenido
el impacto esperado, pues se redujo a medidas cuyo radio de acción es pobre:
fundamentalmente en el terreno de la propaganda.
En cuanto a las acciones de mejora, la instancia evaluada plantea
que se instrumente la supervisión de seguimiento a proyectos productivos
apoyados en el ejercicio iscal del año anterior, a in de veriicar la
instrumentación del proyecto productivo de acuerdo con lo establecido
en la solicitud y determinar el estatus de operación de los mismos. 1)
Instrumentar la supervisión previa a proyectos productivos autorizados
para veriicar que la información registrada en la solicitud del apoyo
coincida, con las condiciones físicas y técnicas del proyecto productivo;
2) fortalecer el proceso de capacitación de los beneiciarios a través
del mejoramiento y la actualización de los materiales de capacitación,
enriqueciéndolos con Guías Técnicas por tipo de giro, folletos, trípticos y
volantes con información sobre equidad de género, valores y derechos y
obligaciones de los beneiciarios del programa, proporcionando número de
teléfonos gratuitos para presentar quejas y denuncias e 3) incidir y motivar
a la presentación de proyectos productivos de diversos giros.
Como se dijo antes, para poder instrumentar de mejor manera el
Programa aquí planteado, se hace necesario contar con más personal; sin
embargo, la propia secretaría reconoció no contar con él, lo cual aletarga la
solución efectiva de las recomendaciones planteadas.
Finalmente, este programa está sometido al riesgo de que se
presenten sesgos de selección por el carácter no aleatorio de los candidatos
a recibir el Programa, pues en la decisión puede inluir, en alguna medida,
el criterio del promotor o el criterio del desconocimiento de la población
objetivo.
Joven Emprendedor Rural y Fondo de Tierras (JERFT)
Desde su formación, en el año 2004, “este Programa fomenta el relevo
generacional en la tenencia de la tierra, apoyando a los jóvenes de núcleos
agrarios para adquirir o rentar tierra social. Los beneiciarios reciben
asistencia técnica y capacitación para instrumentar proyectos productivos
sustentables que mejoren sus ingresos y nivel de vida, arraigándolos en sus
comunidades”.9
9
http://www.sra.gob.mx/sraweb/programas/jer/, consultado 11 de febrero de 2012.
Programas Federales Comprometidos con el Proceso de Evaluación | 221
El objetivo de este programa es “lograr que el “Joven emprendedor
rural” cree su propia “Agroempresa” rentable y sustentable, preferentemente
en el “Núcleo agrario” al que pertenece, o en otro cercano que no implique
su cambio de residencia; a través de capacitación y, adquisición o renta de
derechos parcelarios, insumos y servicios de acompañamiento empresarial;
con el in de propiciar el arraigo, relevo generacional en la tenencia de la
tierra social y mejora de sus ingresos,”10 mediante apoyos directos; sin
embargo, no se pretende destinar recursos, sino a aquellos que cumplan
con los requisitos planteados en el “manual de procedimientos”, que se
compone principalmente de los siguientes procedimientos: “el de ingreso,
para acceder a los apoyos del Proyecto Escuela y Proyecto Agroempresarial,
para cambiar la actividad productiva y, acceder a la tutoría por segunda
ocasión”.
La población objetivo debe cumplir los siguientes requisitos: ser
“sujeto agrario”; tener mínimo de 18 años y hasta 39 años de edad, al
momento de presentar la solicitud de incorporación al “Programa”; habitar
en un “Núcleo agrario” que cumpla los criterios de cobertura, señalados en
el artículo 4 de las “Reglas”; presentar identiicación oicial con fotografía y
irma; y presentar Clave Única de Registro de Población (CURP).
Según el estudio realizado por la FAO,11 “en el periodo 2007-2009 el
JERFT ha realizado una inversión de 672 millones de pesos, de los cuales
65 por ciento correspondió a los apoyos directos otorgados por la SRA y el
resto se constituyó por medio de los créditos canalizados por la Financiera
Rural, que funge como el Agente Financiero del Programa desde el año
2007. Con estos recursos se impulsaron 599 proyectos agroempresariales,
a cargo de 2,441 jóvenes que previamente acreditaron la etapa de proyecto
escuela”.
Se instrumentaron evaluaciones especíicas de desempeño y
complementarias. Los hallazgos fundamentales son los siguientes: la
evaluación recomienda realizar estudios de caso que documenten el éxito
del programa para sujetos agrarios especíicos. Los lujos de información
en la operación del Programa presentan algunas deiciencias, tanto a nivel
que se reiere a las obligaciones y derechos de los jóvenes contratantes de
crédito, como al que se da entre la Financiera Rural y la SRA. También se
advierte desconocimiento de los jóvenes respecto de la oferta de productos
y servicios inancieros con que cuenta la Financiera Rural, lo que pudiera
estar limitando el uso de otros instrumentos que apoyaran la consolidación
de sus proyectos. Los proyectos productivos no solamente deben generar
ingresos para los jóvenes y sus familias, también deben permitir el pago del
crédito y la capacidad de inversión para el mantenimiento y el crecimiento
10 http://www.sra.gob.mx/sraweb/datastore/programas/2012/Manual_de_Procedimientos_del_
Programa_JERFT_2012.pdf, consultado el 13 de febrero de 2012.
11 http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_ext_comp/JERFT.pdf,
consultado el 13 de febrero de 2012.
222 | De las recomendaciones a las acciones: la experiencia del Premio 2011
competitivo de las empresas. La sostenibilidad autónoma de las empresas
formadas, en el mediano y largo plazo, presenta altos riesgos. El proyecto
escuela debe operar como un iltro necesario para determinar al conjunto
de jóvenes con mayores capacidades y habilidades e interés real en llevar a
cabo un proyecto agro-empresarial.
Como evidencias de cumplimiento se presentan: el informe
inal de la evaluación de la Organización de las Naciones Unidas para la
Alimentación y la Agricultura (FAO); constancia de caliicaciones del
módulo de aspectos inancieros entregado por el instructor; cédulas de
supervisión y fotos, donde se demuestran los proyectos agro-empresariales
apoyados por la SRA que se integran en una cadena productiva, el informe
inal de los resultados del “cuestionario del emprendedor”, así como la
propuesta para mejorar los criterios de selección en 2012. En este punto
nos volvemos a encontrar con la diicultad de la falta de personal para poder
ejecutar algunas de las recomendaciones sugeridas que, a diferencia de
otros programas, no se deriva de una estrategia propagandística de impacto
que permita a la población objetivo susceptible de ser beneiciara enterarse
de la existencia del programa y, por lo mismo, se tiene un problema
potencial de selección. Efectivamente, es posible que en este proceso no
se seleccionen a los que pudieran ser los emprendedores potenciales que
hagan rendir verdaderamente los recursos del apoyo y ello se deba a los
instrumentadores del programa en sus diferentes etapas. Al mismo tiempo,
en condiciones de corrupción se pueden asignar los recursos a personas
que no necesariamente caliican para los programas, razón por la cual, los
resultados no necesariamente serán favorables en estos casos y por tratarse
de apoyos directos, pueden convertirse en subsidios al consumo y no una
inversión productiva.
Programa de la Mujer en el Sector Agrario (PROMUSAG)
La participación de la mujer en la economía nacional y en los programas de
corte social, es fundamental en una sociedad en la que se ha proclamado
como bandera la equidad de género. La declaración de principios en
esa dirección no garantiza, sin embargo, que en los hechos se cumpla a
cabalidad con la llamada igualdad de oportunidades; ahora bien, si se
quiere obtener un equilibrio y hablar de equidad, es necesario que el
salario pagado en nuestro país mejore en términos reales para el hombre y
para la mujer, pues ésta es una forma eiciente de garantizar la igualdad de
oportunidades deseada. Finalmente, la responsabilidad natural que tiene
la mujer en su calidad de garante de la vida humana, le hace susceptible
de ser exitosa a la hora de emprender un proyecto productivo, por eso el
Promusag puede tener éxito si las condiciones económicas del mercado
y una elección adecuada de las mujeres emprendedoras, no impiden su
buen desempeño.
Programas Federales Comprometidos con el Proceso de Evaluación | 223
“El Programa de la Mujer en el Sector Agrario (PROMUSAG) está
orientado a las mujeres que habitan en núcleos agrarios, y que se organizan
para desarrollar un proyecto productivo que les permita obtener ingresos y
con ello contribuyan a combatir la pobreza en el medio rural. Los proyectos
productivos pueden ser: ecoturismo, engorda de ganado, tiendas rurales,
producción de alimentos o servicios varios.”12 En este tipo de programas
se pone de maniiesto la necesidad de formar lo que se conoce como el
capital social, en el que la formación de grupos sirve de garante para el
mejor desempeño inanciero de cada individuo, al tiempo que se fomenta la
solidaridad entre “socias”, se fomenta la presión para administrar de mejor
manera los recursos de la “sociedad”.
Desde su inicio y hasta 2008, el programa había registrado una
tendencia creciente en montos de inversión, el número de proyectos
apoyados y el número de beneiciarias. En 2009 esta tendencia cambia, como
resultado de una reducción del presupuesto en términos reales; asimismo,
al deinirse que los grupos deben tener un máximo de cinco integrantes, el
número total de beneiciarias disminuye, aún cuando el total de proyectos
aumenta en 27%. En 2009 el monto promedio de apoyo por proyecto fue de
130 mil pesos, con un presupuesto de 957 millones. Lo anterior permitió
brindar apoyo a un total de 7,277 proyectos y más de 34 mil beneiciarias.13
Se hicieron los siguientes señalamientos para el mejoramiento
del programa: instrumentar la supervisión de seguimiento a proyectos
productivos apoyados en el ejercicio iscal del año anterior, a in de
veriicar la instrumentación del proyecto productivo de acuerdo con lo
establecido en la solicitud y determinar el estatus de operación de los
mismos. Implementar la supervisión previa a proyectos productivos
autorizados para veriicar que la información registrada en la solicitud
del apoyo coincida con las condiciones físicas y técnicas del proyecto
productivo. Fortalecer el proceso de capacitación de las beneiciarias a
través del mejoramiento y actualización de los materiales de capacitación,
enriqueciéndolos con folletos, trípticos y volantes con información sobre
equidad de género, valores, derechos y obligaciones de las beneiciarias del
programa, proporcionando números de teléfonos gratuitos para presentar
quejas y denuncias. Incidir y motivar a la presentación de proyectos
productivos de diversos giros. Ampliar la difusión del programa a través
de medios electrónicos e impresos, materiales y pláticas mediante jornadas
de difusión de los programas en el medio rural, a in de que la información
llegue a un mayor número de la población objetivo. Diseñar un indicador
que permita conocer cómo el programa contribuye a mejorar la igualdad de
trato entre las beneiciarias y los hombres.
12 http://www.sra.gob.mx/sraweb/programas/promusag/, consultado el 11 de febrero de 1012.
13 http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_ext_comp/PROMUSAG.pdf,
consultado el 13 de febrero de 2012.
224 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Conclusiones
El programa que observó mejor desempeño, tanto por la profesionalización
de su actividad, como por la eiciencia con la que fueron instrumentadas las
recomendaciones por las supervisiones realizadas, pese a la diicultad de
instrumentar algunas de ellas, fue el programa ProÁrbol: el uso de técnicas
modernas y estudios cientíicos para poner en práctica el programa;
la constante evaluación de impacto, en un ámbito de política pública de
enorme complejidad para la medición y la identiicación de los impactos,
como es el caso de la política ambiental. Este esfuerzo fue reconocido con
el cuarto lugar del Premio.. Por su parte, los programas instrumentados
por la SRA se enfrentaron a problemas que les afectan en común por
pertenecer a la misma secretaría. Podemos mencionar el problema de la
falta de información para los núcleos que podrían beneiciarse de los
programas; problemas de falta de personal y falta de capacitación del
personal para seleccionar adecuadamente a los posibles beneiciarios del
programa y, inalmente, las acciones realizadas por los programas tuvieron
alcances limitados por constreñirse a acciones de propaganda (trípticos,
volantes, etc.) y cursos de capacitación, ejecutados por el mismo personal
que por ser limitado no podía abarcar muchas comunidades. Los resultados
de la evaluación conirman lo antedicho, pues los programas de la SRA se
colocaron en los últimos lugares de la evaluación. Quizás no fue la falta de
compromiso con el proceso de evaluación lo que llevó a los programas de la
SRA a obtener los resultados obtenidos, como la falta de recursos para su
instrumentación; en todo caso, faltó capacidad de gestión de parte de las
autoridades correspondientes para allegarse de esos recursos y así poder
instrumentar de mejor manera las recomendaciones que les hicieran a los
programas.
En resumen, el proceso de evaluación dio a las instituciones
elementos para relejar las virtudes y las deiciencias de sus respectivos
programas. La instrumentación de las recomendaciones depende, como
queda visto acá, de la disposición de las autoridades dirigentes, pero
también de los recursos económicos y humanos para la instrumentación
de las mejoras, de lo cual se deduce que la evaluación debe ser permanente
y los recursos humanos mejorar; así como asignar de forma cada vez más
eiciente los recursos económicos destinados a los programas para que se
potencien los beneicios derivados de una mejor instrumentación.
BキHノキラェヴ;i;
CONEVAL, 2011: Informe de la Evaluación Especíica de Desempeño 2010-
2011. Valoración de la Información contenida en el Sistema de Evaluación
del Desempeño (SED). ProÁrbol - Programa de Servicios Ambientales por
Captura de Carbono, Biodiversidad y Sistemas Agroforestales (CABSA)
Comisión Nacional Forestal.
Programas Federales Comprometidos con el Proceso de Evaluación | 225
Hardner, J., y R. Rice, “Rethinking green consumerism”, Scientiic American,
Mayo de 2002, pp.89-95.
Niesten, E. y R. Rice, “Sustainable forest management and conservation
incentive agreements”, International Forestry Review, Vol. 6, 2004, pp. 56-60.
Scherr, S., A. Khare y A. White, “For services rendered. Current status
and future potential of markets for ecosystem services of tropical forests:
an overview” en Technical Series #21, Yokohama: International Tropical
Timber Organization (ITTO), 2004.
Scherr, S., A. White, and A. Khare. 2004. “Tropical forests provide the
planet with many valuable services. Are beneiciaries prepared to pay for
them?” ITTO Tropical Forest Update, Vol. 14, Núm. 2, pp. 11-14.
Ferraro, P., y A. Kiss, “Direct payments to conserve biodiversity”, Science,
Noviembre de 2002, pp. 1718-1719.
Wunder, S., Pagos por servicios ambientales: principios básicos esenciales,
CIFOR, Occasional Paper Núm. 42(s), 2005.
http://www.conafor.gob.mx/portal/index.php/tramites-y-servicios/
apoyos-2012 (11 de febrero de 2012)
http://www.sra.gob.mx/sraweb/programas/jer/ (11 de febrero de 1012)
http://www.sra.gob.mx/sraweb/programas/promusag/ (11 de febrero de 1012)
http://www.sra.gob.mx/sraweb/programas/fappa/ (11 de febrero de 1012)
http://www.sra.gob.mx/sraweb/datastore/programas/2011/
reglasFAPPA2011.pdf (13 de febrero de 2012)
http://www.sra.gob.mx/sraweb/datastore/programas/2012/Manual_de_
Procedimientos_del_Programa_JERFT_2012.pdf (13 de febrero de 2012).
226 | De las recomendaciones a las acciones: la experiencia del Premio 2011
http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_
ext_comp/JERFT.pdf (13 de febrero de 2012).
http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_
ext_comp/PROMUSAG.pdf (13 de febrero de 2012).
Programas Federales Comprometidos con el Proceso de Evaluación | 227
Balance general de la experiencia
SWノ PヴWマキラぎ ノWIIキラミWゲ ┞ SWゲ;iラゲ
Claudia Maldonado
Históricamente, la utilización de las evaluaciones para la gestión pública
basada en evidencia y orientada a resultados ha sido el talón de Aquiles
de los sistemas nacionales de evaluación. Representa un constante
desafío, incluso en los sistemas de mayor consolidación y arraigo en la
práctica administrativa. Muchos factores contribuyen a ello. La efectiva
utilización de las evaluaciones depende de una cadena de producción de
valor público sumamente compleja. Se requiere, en primera instancia,
que existan los insumos básicos de información y capital humano para
la realización de las evaluaciones: sistemas de indicadores e información
coniables, instrumentos adecuados, evaluadores competentes y sistemas
normativos y de gestión eicientes para que el mercado de evaluación
funcione. Igualmente, una vez resuelta la producción de evaluaciones
rigurosas, creíbles y pertinentes para la toma de decisiones, es necesario
que existan, por el lado de la demanda, poderosos incentivos para que las
organizaciones públicas acepten, apropien y movilicen los resultados del
proceso evaluativo, y sean capaces de traducirlos en acciones puntuales de
mejora en el marco del proceso cotidiano de gestión.1
1
Idealmente, esta secuencia virtuosa permitiría la formación incremental de sistemas dinámicos de
aprendizaje transformativo. En la práctica, esta cadena de producción de valor es una aproximación
conceptual a una serie de factores y procesos, no necesariamente secuenciales y alineados, de los que
depende la efectiva utilización de los programas. (Para una interesante discusión del concepto de
utilización como aprendizaje, véase Hallie Preskill y Rosalie T. Torres, “he Learning Dimensions of
Evaluation Use”, New Dimensions for Evaluation, núm.88, 2000, pp.25-37)
228 | De las recomendaciones a las acciones: la experiencia del Premio 2011
En México, a pesar de notables avances en el marco institucional
para la evaluación periódica de los programas, se sabe poco sobre el grado
de apropiación de los hallazgos de la evaluación en los procesos internos
de gestión, de la calidad y pertinencia de las recomendaciones derivadas
del proceso de evaluación, de los factores externos a la evaluación que
inluyen en la capacidad de los operadores para detonar procesos internos
de mejora, y sobre todo, de su contribución especíica al desempeño
de los programas. La iniciativa parte del reconocimiento explícito de
la centralidad de la utilización y la necesidad de conocer, reconocer y
fomentar los esfuerzos y avances que realizan de manera cotidiana los
actores responsables de la operación de programas federales. De manera
complementaria, la iniciativa buscó documentar, sistematizar y extraer
lecciones relevantes en materia de utilización, a partir del acompañamiento
del mapa de ruta de la internalización de la evaluación: la traducción
crítica de los hallazgos y recomendaciones de los evaluadores en un
conjunto de acciones puntuales, con metas e indicadores explícitos, su
conexión lógica con los resultados esperados, y el grado de cumplimiento
de los objetivos planteados. Las experiencias aquí documentadas dan
cuenta de una enorme heterogeneidad en la capacidad de los programas
para diseñar esta ruta crítica y transitarla de manera exitosa. A pesar de
que dichas diferencias son parcialmente atribuibles a la diversidad de la
naturaleza, la complejidad, el contexto, y el grado de maduración de cada
programa, la respuesta diferenciada de estos programas al reto común
de la utilización, nos permite identiicar algunos elementos comunes
a todos los programas y extraer lecciones especíicas, pertinentes para
programas que operen en condiciones y con instrumentos comparables a
las experiencia que aquí se documentan.
La primera lección general consiste en la contribución del espacio de
diálogo que se generó en el marco de la realización del Premio: los programas
participantes fueron convocados para presentar y discutir, en un ambiente
de diálogo informal, los criterios y las razones que inluyeron en el diseño
de las estrategias de mejora propuestas, su apreciación sobre la capacidad
de instrumentarlas y el grado de avance con el que se comprometían en
un plazo concreto. A partir de este diálogo, los programas tuvieron la
oportunidad de revisar los planteamientos originales y presentar una
estrategia más completa, que incluyera también una visión estratégica las
tareas necesarias para lograr los avances, y un mapa de riesgos potenciales
identiicados por los operadores. A pesar de que la calidad y pertinencia de
las propuestas originalmente planteadas fueron muy heterogéneas, todos
los programas lograron mejoras importantes en el planteamiento de sus
estrategias.
En la primera etapa se pudo constatar que algunas de las deiciencias
de los planteamientos presentados por los programas estaban vinculadas
con la incomprensión de ciertos conceptos, poca claridad en los criterios
de priorización, la generación de indicadores poco precisos, o la selección
Programas Federales Comprometidos con el Proceso de Evaluación | 229
de metas poco realistas en función del alcance de las acciones propuestas.
Estos problemas relejan que nos encontramos en una etapa inicial de
la curva de aprendizaje en materia de evaluación, y que existe un déicit
importante de capacitación y socialización de y para la evaluación, pero
también ilustran, de manera afortunada, que las deiciencias identiicadas
no son atribuibles a la simulación, al manejo estratégico de indicadores y/o
la resistencia organizacional a la presión generada por las evaluaciones. Por
el contrario, el proceso dio cuenta de la gran receptividad y disposición de
los operadores para ainar, discutir y mejorar sus propuestas de mejora.
De manera consistente, los operadores reconocieron la legitimidad
y la pertinencia (de algunos) hallazgos de las evaluaciones, admitieron
los problemas identiicados por éstas y articularon propuestas con un
compromiso genuino por la mejora de sus programas. En el marco de sus
capacidades y ámbitos de acción, los operadores demostraron una clara
disposición para incorporar las lecciones de la evaluación en sus procesos
internos, y entendieron la necesidad de hacerlo de manera selectiva.
Lejos de la adopción automática e irrelexiva de las recomendaciones, las
propuestas de los programas relejaron una apropiación constructiva de las
evaluaciones a partir de su conocimiento privilegiado de las restricciones
internas y la aplicabilidad de diversas recomendaciones. En algunos casos,
por ejemplo, la generalidad de las recomendaciones no ofrecía pistas claras
para su operacionalización, por lo que fue necesario aterrizarlas y deinirlas
con mayor precisión como parte de la estrategia de mejora. En otros casos,
fue necesario recabar información adicional sobre los aspectos sensibles
de la operación de los programas antes de plantear una posible solución
a los mismos. En otros más, los programas reconocieron la imposibilidad
material de atender las inquietudes de los evaluadores en torno al impacto
real de las intervenciones, y optaron de manera consciente por alternativas
más acotadas y modestas (second-best).
El formato de seguimiento del Premio sugiere que el solo hecho de
generar espacios de relexión y discusión de las acciones de mejora permite
incidir de manera positiva en la generación de resultados puntuales, y
acelerar la curva de aprendizaje en materia de utilización. Al igual que
otras experiencias, como la iniciativa de Buenas Prácticas realizada por
CONEVAL, la realización del Premio nos recuerda la importancia de los
incentivos positivos, el reconocimiento y los procesos de acompañamiento
voluntarios y lexibles como un instrumento muy valioso para fomentar
la cultura de la evaluación, fortalecer la comunidad de práctica y socializar
el lenguaje de la evaluación para fortalecer las capacidades de reacción del
aparato público. En el caso del Premio, estos espacios fueron de carácter
externo: se convocó a los operadores a una serie de reuniones de discusión
y presentación de propuestas que fomentó la discusión interna de los
equipos de trabajo, y el intercambio de opiniones e impresiones con un
grupo externo a la operación. Este ejercicio ilustra, por una parte, que
los espacios externos para la discusión, el intercambio de información
230 | De las recomendaciones a las acciones: la experiencia del Premio 2011
y el reconocimiento de las iniciativas de los programas tienen un gran
potencial para fomentar la utilización de las evaluaciones. Esto nos
lleva necesariamente, a retomar un tema pendiente de nuestro sistema
de evaluación: su efectiva articulación con el sistema de rendición de
cuentas que, por su enorme grado de fragmentación, no ha permitido la
institucionalización de estos espacios externos de discusión e intercambio
de información que son tan importantes para fomentar la utilización de
las evaluaciones de manera proactiva. Por la otra, sugieren también la
necesidad de incentivar la generación de este tipo de dinámicas al interior de
las organizaciones, y no sólo como respuesta al estímulo externo generado
por el Premio.2
En esta materia, el papel de los cuerpos directivos de la
administración pública y la generación de liderazgos internos y espacios
para la socialización y movilización de los resultados de la evaluación en
diversos niveles jerárquicos es imprescindible.
De manera general, los equipos de trabajo relejaron un nivel
elevado de compromiso y motivación para mejorar el desempeño de
sus programas. Este hecho se relejó no sólo en el esfuerzo dedicado al
diseño y la instrumentación de las estrategias de mejora, sino en general,
en la disposición y apertura con los que se discutieron y presentaron las
propuestas. Las experiencias documentadas en el marco del Premio no
permiten hacer generalizaciones en torno al grado de utilización de las
evaluaciones ni realizar valoraciones directas del desempeño global de cada
programa. La respuesta a este tipo de preguntas requiere una evaluación
de distinta índole. En el universo de los programas participantes, las
experiencias permitieron identiicar algunos elementos comunes que
afectaron la capacidad de los programas para transitar la ruta crítica de
manera exitosa.
Heterogeneidad en la calidad y
ヮWヴピミWミIキ; SW ノ;ゲ W┗;ノ┌;IキラミWゲ
Las evaluaciones a partir de las cuales se diseñaron las acciones de mejora
ofrecieron hallazgos y recomendaciones de desigual calidad y pertinencia,
y en no pocas ocasiones, ofrecieron pistas contradictorias e inconsistentes
para la mejora de los programas. Evidentemente, la calidad de los insumos,
en interacción con la capacidad de traducirlos en acciones de mejora, afectó
de manera determinante la calidad y el potencial efecto de las acciones.
Aunque en el marco del Premio esta variable no fue parte de la valoración
del compromiso de los programas, la revisión de las acciones y estrategias
de mejora relejó importantes limitaciones en el campo de acción de los
programas directamente vinculadas con la calidad de los insumos básicos.
2
Y, en el mejor escenario, la articulación de una demanda integral por rendición de cuentas desde la sociedad.
Programas Federales Comprometidos con el Proceso de Evaluación | 231
DYgIキデ SW I;ヮキデ;ノ エ┌マ;ミラ ┞ aラヴマ;Iキルミ SW
capacidades para la evaluación
El principal desafío identiicado en esta experiencia está relacionado con
una gran heterogeneidad y un nivel relativamente bajo de capacidades
en materia de evaluación. A pesar de que existe un alto grado de
compromiso con el proceso de evaluación, las capacidades reales para
analizar, seleccionar, operacionalizar y responder a los hallazgos de la
evaluación, la claridad en la selección de los mismos, y la deinición de
los indicadores pertinentes, más allá de las restricciones materiales para
su instrumentación, releja un manejo débil de los conceptos principales
de la evaluación y una apropiación endeble del modelo causal detrás de las
intervenciones. Una debilidad recurrente en los planteamientos iniciales
presentados por los programas está directamente relacionada con la poca
claridad en la planeación de las acciones, la generación de indicadores y la
selección de metas. Muchos de los instrumentos imprescindibles para el
monitoreo y la evaluación de programas son todavía conceptos nuevos con
los que los operadores están poco familiarizados, y existe todavía confusión
en torno a sus atributos necesarios y su función especíicas. Por este motivo,
los operadores cuentan con pocos elementos para ser usuarios informados
y proactivos de los resultados de las evaluaciones, a pesar de reconocer la
importancia de dichos procesos, y realizar esfuerzos reales para satisfacer
las demandas de mejora.
DキゲヮWヴゲキルミ SW ノ; ;デWミIキルミ ラヴェ;ミキ┣;Iキラミ;ノ
Una preocupación recurrente de los operadores, que guarda relación directa
con el problema de fragmentación del sistema de rendición de cuentas, tiene
que ver con la multiplicidad de señales y demandas de atención vinculados
a la evaluación y el monitoreo que se confunden y traslapan con procesos
de iscalización y demandas dispersas e inconexas de información, que
deben atenderse con un margen limitado de atención organizacional. Esto
ha impedido, entre otras cosas, que la atención organizacional se oriente de
manera consistente a los resultados y permita acumular conocimientos de
manera más rápida al interior de las organizaciones. En la medida en el que
Premio centró la atención organizacional en el diseño y la instrumentación
de acciones de mejoras, se veriicaron procesos de aprendizaje e intercambio
de información muy modestos, pero que suelen carecer de espacios
permanentes en la gestión cotidiana de los programas.
232 | De las recomendaciones a las acciones: la experiencia del Premio 2011
Aノデラ ェヴ;Sラ SW キミIWヴピS┌マHヴW Wミ ノ; ラヮWヴ;Iキルミ
En particular, los programas de sectores descentralizados reportaron
problemas para dar continuidad a las acciones de mejora y acumular
memoria institucional en materia de desempeño y coordinación por la muy
alta rotación de funcionarios y/o la naturaleza episódica de la participación
ciudadana (proyectos productivos, avales ciudadanos, asesores educativos).
Esta situación impide la acumulación incremental de mejoras, ya que
periódicamente se inicia desde cero en aspectos clave de la operación
y la capacitación, y también se genera incertidumbre y diicultad para el
establecimiento de metas e indicadores, en la medida en que existen
muchos factores externos a los programas que tienen un comportamiento
inestable e impactan directamente sus indicadores de gestión, procesos y
productos.
LキSWヴ;┣ェラが デヴ;H;テラ Wミ Wケ┌キヮラ ┞ ;ゲキェミ;Iキルミ
clara de responsabilidades
El cumplimiento de las metas --en los plazos establecidos-- y la calidad de
los documentos de veriicación, estuvieron directamente relacionados con
la presencia de liderazgos que le dieron visibilidad y relevancia interna a las
evaluaciones, equipo de tuvieron la capacidad de asignar responsabilidades
individuales explícitas por cada acción de mejora, y realizar un trabajo en
equipo coordinado, en el marco de una estrategia común. En los casos de
SICALIDAD y el Programa de expedición de pasaportes y servicios consulares
de la SRE, este factor fue determinante para la calidad y coherencia interna
de las propuestas presentadas, para el adecuado seguimiento de las acciones
y el cumplimiento efectivo de las metas.
Uso creciente de TICS
Los programas participantes han hecho un uso creciente de las tecnologías
de la información como parte integral de sus estrategias de mejora,
particularmente para agilizar la prestación de servicios y los procesos
internos de manejo y recopilación de información. Esto permitió una
reducción importante en los costos de coordinación, los tiempos de
recolección y diseminación de información, y facilitó de manera general la
comunicación en los procesos cotidianos de gestión.
En conclusión, a pesar de que existen enorme limitantes materiales
y de recursos humanos para la efectiva incorporación de los hallazgos de las
evaluaciones; y su traducción directa en valor público para la ciudadanía,
las experiencias documentadas en el marco del Premio ofrecen señales
muy prometedoras en cuanto al grado de compromiso de los funcionarios,
y pistas claras en torno a la necesidad de profundizar los esfuerzos de
capacitación y fomentar más espacios de reconocimiento, aprendizaje e
intercambio en materia de evaluación.
Date
Resource Type Tag
Language Type Tag
Image Thumb
43