Indicadores Sintéticos para la gestión municipal: un estudio a partir de la política de educación de los Municipios de Paraná, Brasil

Amilton José Moretto, Maria Alejandra Nicolás y Maria Lúcia Navarro Lins Brzezinski

Resumen

La utilización de indicadores para la planificación ganó nuevos contornos en Brasil a partir de los años de 1990 con la implementación y evaluación de políticas sociales. El artículo discute el alcance y los límites del uso de esos instrumentos en la gestión de políticas públicas en el ámbito local. Se aborda el surgimiento y el concepto de indicadores e índices y, además el papel de éstos en la formulación, monitoreo y evaluación de políticas públicas. Se presenta la utilización de indicadores para evaluar el desempeño de políticas de educación en municipios del Estado de Paraná. Por fin, se destacan aspectos positivos y las limitaciones en el uso de índices sintéticos en las políticas públicas en el ámbito local

Palabras clave: Índices sintéticos; indicadores sociales y económicos; monitoreo y evaluación de políticas públicas; políticas de educación

Universidade Federal da Integração latino-americana. Foz do Iguaçu, Paraná, Brasil

E-mail: amilton.moretto@gmail.com

ORCID: 0000-0003-1922-8948

Universidade Federal da Integração latino-americana. Foz do Iguaçu, Paraná, Brasil

E-mail: maria.nicolas@unila.edu.br. ORCID: 0000-0002-6157-6762

Universidade Federal da Integração latino-americana. Foz do Iguaçu, Paraná, Brasil

E-mail: maria.brzezinski@unila.edu.br. ORCID: 0000-0002-3316-0284

Recibido: 15/03/2021 Aceptado: 08/06/2021

Synthetic Indicators for municipal management: a study based on the public policy for education in the state of Paraná, Brazil

Abstract

The use of indicators for political planning gained new impulse in Brazil in the 1990s, with the implementation and evaluation of social policies. The present work discusses the concept, scope and limits of the use of these planning tools in the management of public policies at the Municipal level in Brazil. The emergence and development of social indicators and indices is addressed, as well as their role in the formulation, monitoring and evaluation of public policies. The use of social indicators to evaluate the performance of education policies in municipalities of the State of Paraná is presented as a case study. Finally, positive aspects and limitations in the use of synthetic indices in public policies at the local level are highlighted.

Keywords: Synthetic indices; social and economic indicators; monitoring and evaluation of public policies; education policies.

Introducción

Harold Laswell en “The Policy Sciences” (1950) se detiene en la expresión “análisis de política pública” (policy analysis), al proponer que el conocimiento científico, resultado de investigación académica, sea incorporado por los gobiernos en la producción de políticas públicas (Secchi, 2016, Souza, 2007, Marques, 2013, Peters y Pierre, 2006). En la contemporaneidad, el concepto está orientado por un carácter prescriptivo: “[...] construir política pública, evaluar cuestiones técnico-políticas y generar información para el enfrentamiento de problemas públicos” (Secchi, 2016, p.11). El análisis de política pública debería contribuir para aumentar las posibilidades de elaboración de políticas públicas orientadas por estudios de carácter empírico. Y la elaboración de diagnósticos adecuados para los problemas públicos, así como de las posibles alternativas de instrumentos de políticas públicas a ser utilizados para mitigar los problemas sociales.

La incorporación de la técnica científica tanto en el diseño, como en el monitoreo y evaluación de políticas públicas es una práctica común de los gobiernos, pues fundamentan sus decisiones en estudios oriundos de investigaciones, principalmente, de carácter cuantitativas. La producción sistemática de indicadores en la planificación de políticas públicas se convirtió en una herramienta de utilidad de los gobiernos. El uso de estos instrumentos en Brasil se intensificó a partir de los años de 1990, con la creciente preocupación en la mejoría de las evaluaciones de políticas públicas. En la década de 2000, la importancia de los indicadores se tornó más evidente con la implementación del Programa Bolsa Familia (política pública de transferencia directa de renta) y el desarrollo de un banco de datos (Registro Único) para el análisis del impacto de esta política (Jannuzzi, 2016).

Los gestores públicos cada vez más atribuyen importancia a la difusión de resultados de las políticas públicas, sea por la rendición de cuentas ante la sociedad, la continuidad o extinción de una determinada política pública o bien por la elección de un determinado diseño de proyecto. Además, la diseminación de las Tecnologías de la Información y Comunicación (TICs) resultó en varios proyectos orientados a su desarrollo. Los servicios públicos comenzaron a ser prestados de forma electrónica y, además, informaciones sobre las acciones gubernamentales pasaron a ser ofrecidas online, bien como, los informes de monitoreo y evaluación de políticas públicas que utilizan indicadores como herramientas de medición de los fenómenos. Los gobiernos necesitan ser más transparentes y rendir cuentas de sus iniciativas. Ese mayor acceso posibilita el acompañamiento y la fiscalización por parte de la población, sin embargo, las informaciones colocadas bajo la forma de indicadores no son de simple comprensión para la mayor parte de la sociedad. No obstante, no se puede negar que, aunque exista una falta de comprensión del significado de un indicador, la población tiene la percepción de la mejoría de sus condiciones de vida a partir de la implementación de una política pública. La decisión de crear, modificar o finalizar una política pública tiene consecuencias para la evaluación de la administración, lo que implica en costos para la gestión, que pueden reflejarse en menor montante de recursos para el área, pérdida de votos y apoyo de la población.

Para alcanzar los objetivos de una política pública y, en ese sentido, realizar una gestión pública estratégica se torna fundamental captar y jerarquizar correctamente las diferentes demandas de la sociedad, monitorear la implementación de las acciones que responden a estas demandas, además de evaluar sus impactos para la población beneficiaria y para el conjunto de la sociedad. Los indicadores son instrumentos útiles de gestión pública, pues contribuyen en la interpretación de la realidad social (Jannuzzi, 2002). La utilización crítica de los indicadores contribuye para una mejor comprensión de los fenómenos que se buscan medir, ampliando el conocimiento de la realidad, inclusive con los límites que los indicadores presentan.

Este artículo discute el alcance del uso de indicadores y de índices en la gestión de políticas públicas en el ámbito local. Inicialmente, se presenta el contexto histórico de surgimiento y el concepto de indicadores sociales, así como el papel de indicadores e índices en los procesos de formulación, monitoreo y evaluación de políticas públicas. En la secuencia, se presentan los resultados de la aplicación del Índice de Calidad del Gasto (IGC) para evaluar la política de educación de municipios del Estado de Paraná, Brasil. Por medio de este índice, se puede ilustrar el éxito de políticas de determinados municipios y los bajos resultados en otros, pudiéndose comparar los municipios entre sí y, además, los resultados de un mismo municipio a lo largo del tiempo. Esto revela la importancia de los indicadores para la gestión municipal, en lo que se refiere a la formulación, monitoreo y evaluación de sus políticas. Y, por último, son presentadas las consideraciones finales.

El surgimiento de los indicadores sociales

Los indicadores sociales, como forma sistemática de medir aspectos de la realidad social, sus transformaciones y los impactos de la implementación de políticas sociales en las sociedades, surgieron en los EUA en la década de 1960. Hasta ese momento, la única medida que se utilizaba para medir el desarrollo era el Producto Bruto Interno (PBI), que indica el crecimiento de los países, pero no demuestra la presencia de la pobreza o las desigualdades sociales (Soligo, 2012).

Los indicadores son herramientas que surgieron en el campo de las ciencias naturales, donde la relación causa y efecto puede ser delimitada de forma clara. Sin embargo, en las ciencias sociales los indicadores están relacionados al contexto y a la época en la cual se construyen (Soligo, 2012). Los indicadores sociales poseen características relevantes, tales como, que el significado social debe ser interpretado en el contexto histórico en el cual es construido, que el objetivo de éstos es informar algún aspecto de un fenómeno social que se está investigando o de los cambios que ocurren, así como que buscan atender un interés o ayudar en la formulación de políticas públicas. (Jannuzzi, 2015)

Los indicadores pueden ser clasificados a partir de varias perspectivas. Se destaca la clasificación amplia entre indicadores de insumo, de proceso y de resultado (Jannuzzi, 2015, 2016). Los indicadores de insumo corresponden a los recursos (humanos, financieros, infraestructura, entre otros) que pueden medir aspectos de una política pública. Un ejemplo de este indicador en el área de educación básica, podría ser la relación de docentes de las escuelas de un municipio. Los indicadores de proceso son medidas cuantitativas intermediarias entre los indicadores de insumos y resultados. Por ejemplo, la relación de clases que son impartidas por los docentes en la red pública de educación básica. Y, por fin, los indicadores de resultado se refieren a los indicadores que pueden medir los efectos de un proceso de implementación de una política pública. Un ejemplo en el área de educación podría ser la relación de alumnos de la educación básica, que son aprobados cada año en sus respectivos cursos.

Los índices o indicadores sintéticos corresponden a un conjunto de indicadores socioeconómicos. Mientras que los indicadores actúan como un termómetro para medir fenómenos sociales en las más diversas temáticas (sociales, económicas, ambientales), los índices agregan un conjunto de diversos indicadores que sintetizan un concepto abstracto en un único valor. Además, son útiles para la comparación de políticas a lo largo del tiempo y en diferentes locales por medio del establecimiento de rankings (SESI, 2010). Son considerados marcos en la historia de los indicadores sociales, “Social Indicators” (Bauer, 1966), así como la elaboración de un sistema de “cómputos sociales” en un informe para la National Commission on Technology and the American Economy (Bell, 1966). Otro marco importante fue la creación del Servicio Nacional de Metas e Investigaciones en 1969 en los EUA, este órgano se encargaba de elaborar informes sobre la calidad de vida norteamericana. Los indicadores eran vistos como una medida de bienestar social, necesaria a la actividad de planificación gubernamental (Soligo, 2012; Santagada, 2007).

En la década de 1970 las organizaciones internacionales pasaron a publicar de forma más frecuente estadísticas e indicadores sociales. En la década de 1990, la Organización de las Naciones Unidas (ONU) y sus diferentes agencias especializadas comenzaron a publicar informes sobre la implementación de tratados relacionados a derechos humanos, medio ambiente y desarrollo. Se destaca la creación del Índice de Desarrollo Humano (IDH), que combina tres indicadores: renta, educación y expectativa de vida al nacer (longevidad). El IDH intenta superar análisis únicamente basados en procesos económicos, tales como el Producto Bruto Interno (PBI) o el Producto Nacional Bruto (PNB). El conjunto de indicadores que componen el IDH es aplicado en varios Estados para indicar el grado de bienestar y desarrollo de las poblaciones. La combinación de indicadores genera una nota, un valor entre 0 y 1, atribuida a cada Estado, situándolos en un ranking. Sin embargo, está sujeto a varias críticas, como el hecho de no incorporar elementos importantes como la desigualdad de renta, de género, racial y étnica. A pesar de un país encontrarse bien localizado en el ranking general, éste puede evidenciar situaciones de extrema desigualdad e injusticia en su población.

Posteriormente, fueron creados otros índices para temas específicos, como: “Índice de Libertad Humana (ILH, 1991), Índice de Libertad Política (ILP, 1992), Índice de Pobreza Humana (IPH, 1997), entre diversos otros” (Santagada, 2007, p.125). Fueron creados indicadores de “sustentabilidad” para medir cómo las sociedades se relacionan con el medio ambiente. Guimarães y Feichas (2009) citan ejemplos de indicadores sintéticos de sustentabilidad: Índice de Progreso Genuino (IPG, 1989), Ecological footprint method (1996), los Indicadores de Desarrollo Sustentable (IDS, desarrollados por el Instituto Brasileiro de Geografía y Estadística – IBGE en 2008), y la Matriz Territorial de Sustentabilidad (CEPAL/ILPES).

En Brasil, el IBGE ha desarrollado indicadores sociales desde la década de 1970, cuando se estableció el Grupo Proyecto de Indicadores Sociales (GPIS), con el objetivo de proporcionar informaciones sociales necesarias para la planificación estatal y, principalmente, incorporar los impactos de los emprendimientos económicos en las condiciones de vida de la población brasileña, así como el análisis de sus características y dinámicas (Simões et al., 2017). A partir de la década de 1990, otro factor a ser mencionado son las experiencias a nivel federal de estructuración sistemática de indicadores de los Ministerios de Educación, Salud, y Planificación. En esa época fueron creados nuevos programas sociales, operados de forma intersectorial y con articulación entre los entes federativos, además, se expandió y calificó el cuerpo técnico de funcionarios públicos, en especial en el gobierno federal y en los municipios (Jannuzzi, 2016). Además, desde la década de 2000 el desarrollo del gobierno electrónico contribuyó con la mejoría de la transparencia en la gestión pública al diseminar de informes sistemáticos sobre indicadores.

Es notorio el desarrollo y mejoría de los indicadores en el área de educación en Brasil. El Índice de Desarrollo de Educación Básica (IDEB) es un ejemplo de indicador sintético para medir la calidad del aprendizaje y, al mismo tiempo, establecer metas de mejoría. Éste índice fue creado en el año de 2007 por el Instituto Nacional de Pesquisas Educacionais Anísio Teixeira (INEP), vinculado al Ministerio de Educación. Es calculado a partir de dos variables: las tasas de aprobación y reprobación (“flujo escolar”, con datos obtenidos por el Censo Escolar) y por las medias de desempeño en la Prueba Brasil y del Sistema de Evaluación de Educación Básica. Por medio del IDEB se acompañan las metas de calidad para educación básica del Plan de Desarrollo de Educación (PDE), que estableció como meta para 2022 una nota de 6,0, que corresponde a un sistema educacional de calidad comparable a la de los países desarrollados (INEP e MEC, 2019).

Recientemente, la organización no gubernamental Tide Setubal lanzó un indicador de Desigualdad y Aprendizaje (IDeA) para evaluar la educación en Brasil. Éste fue concebido para evidenciar las situaciones de injusticia social y, como éstas influencian los niveles de aprendizajes. Por medio del IDeA los gestores pueden llevar en consideración las desigualdades entre los grupos de distintos niveles socioeconómicos, color de la piel y género en la evaluación de calidad de aprendizaje.

Otro ejemplo de uso de índice sintético en el nivel municipal es el estudio divulgado por el Sindicato Nacional de las Empresas de Limpieza Urbana (SELURB) de Brasil en el año de 2019. El estudio consiste en un modelo matemático para medir el grado de compromiso de los municipios con las metas de la Política Nacional de Residuos Sólidos. Se constató que cuanto mayor la tasa de niños matriculados en escuelas, cuanto mayor la densidad demográfica y, cuanto mayor la dependencia de transferencia de recursos de la Unión y del Estado, menor la propensión del Municipio de destinar los residuos sólidos generados en su territorio a vertederos (Girardi, 2019).

El papel de indicadores y de índices sintéticos en la formulación, monitoreo y evaluación de políticas públicas

El método de análisis “ciclo de políticas públicas” se refiere al recorrido de una política pública, desde el momento en que un problema social adquiere el status de problema público hasta su proceso de evaluación (Howlett, 2013). Aquí cabe mencionar que: “[...] Su clasificación social y posteriormente política como tal, es, en todos los casos, una construcción colectiva vinculada directamente con las percepciones, representaciones, intereses y valores de los actores involucrados en dicha situación” (Subirats et al, 2008, p.128). Luego del ingreso del problema en la agenda gubernamental, se sigue el proceso de toma de decisiones, que es cuando los actores públicos legitiman el inicio de una política pública y, posteriormente, el proceso de implementación, cuando efectivamente se determina una serie de acciones para poner en marcha las directrices y objetivos de la política pública. Es importante destacar el papel de los actores en el proceso de implementación, la interacción entre los actores de las instituciones y las comunidades políticas que establecen la dinámica de las políticas públicas (Lotta, 2014).

Mientras la política pública está en funcionamiento es posible verificar, en qué medida, el público objetivo está recibiendo los impactos de la política. Este proceso está conformado, inicialmente, por el monitoreo, que en última instancia, constituye la fuente y base para el proceso de evaluación de la política pública. Además, este proceso formal es planeado de forma organizada en acciones específicas que estarán emitiendo un juicio sobre la intervención pública (Champagne et al., 2011). Según Jannuzzi (2006), los procesos de monitoreo y evaluación son articulados, se complementan y poseen como objetivo ofrecer informaciones, consideradas de relevancia, para los gestores públicos sobre el progreso de la política pública.

El modelo del ciclo de políticas públicas es un marco de referencia, porque en la práctica el proceso es conturbado y las etapas pueden sucederse de forma descontinuada. Por lo tanto, no debe ser utilizado de forma mecánica, sino “como um fluxo contínuo de decisões e procedimentos, para o qual trata-se de encontrar o sentido” (Muller, 1998, p.67). En cada una de las fases del ciclo de políticas públicas se hace notoria la importancia de los indicadores.

En el ámbito de formulación de la política pública, los indicadores pueden contribuir para elaborar el diagnóstico de la realidad social (condiciones socioeconómicas, de participación, ambientales, demográficas etc.), así como de la capacidad de gestión (disponibilidad de recursos humanos, financieros y de equipamientos).

En la etapa de toma de decisiones son necesarios indicadores intermediarios con base en las prioridades que deben ser atendidas, conforme la orientación política gubernamental. En la etapa de implementación y ejecución, los indicadores de monitoreo cumplen el papel de apuntar anormalidades en ciertas fases del programa, información relevante para que los gestores consigan realizar las correcciones necesarias (Jannuzzi, 2016). Una cuestión a ser destacada, se refiere a la posibilidad de acompañamiento del indicador a lo largo del tiempo y, en ese sentido, permitir que sea comparado. Otro punto relevante, se relaciona con la construcción de paneles de indicadores para cada área o gestión del programa, dado que para quién tiene la responsabilidad de generar los procesos operacionales básicos se torna importante informaciones que permitan verificar el desempeño de las actividades de los coordinadores que están bajo su supervisión.

En la fase de evaluación será necesario decidir entre modificar las políticas, descontinuarlas o adaptarlas. Los indicadores son indispensables en esta etapa porque se debe medir la efectividad, eficiencia y efectividad de las políticas implementadas (Jannuzzi, 2017). El diseño de un proceso evaluativo no se configura apenas como un proceso técnico y, sí como una actividad inherentemente política. La elección por medir un determinado proceso o bien la definición de la utilización de técnicas cualitativas, por ejemplo, presenta una visión sobre aquello que se considera prioritario o necesario para evaluar una política pública.

En resumen, la elección de los indicadores utilizados en cada una de las etapas debe estar en sintonía con el programa o política y, además, debe ser de utilidad para los gestores. Un panel de indicadores construidos a lo largo del tiempo, confiables y relevantes, pero que no pueden ser utilizados por los gestores se convierten en meros números sin ningún peso significativo en el proceso de evaluación.

La política de educación básica de municipios paranaenses medida por el Índice de Calidad del Gasto (IQG)

Según la Constitución de la República de 1988, el Estado brasileño es organizado en la forma de Federación, de la cual integran la Unión, los Estados, el Distrito Federal y los Municipios, los entes de estos tres niveles deben organizar, en forma de colaboración, los sistemas de enseñanza (art. 211). A los Municipios cabe actuación prioritaria en la enseñanza fundamental y en la educación infantil, partes de la educación básica (art. 211, parágrafo 2º). La educación media y superior son responsabilidad de los Estados y de la Unión, respectivamente. En Brasil, la educación es considerada derecho social (art. 6º), y la educación básica es obligatoria y gratuita (art. 208, I de la Constitución). Son varios los momentos de financiamiento de la política de educación, sin embargo, cabe destacar que el legislador constituyente estableció un porcentaje mínimo de recursos que debe ser aplicado por los entes federativos en la manutención y desarrollo de enseñanza. De acuerdo con el art. 212 de la Constitución, los Municipios deben aplicar anualmente el mínimo de 25% de los ingresos públicos en la educación. El mismo peso vale para los Estados, cabiendo a la Unión el deber de aplicar 18% de sus ingresos en la manutención y el desarrollo de la enseñanza.

Teniendo claras las funciones de los indicadores e índices en las distintas fases del ciclo de políticas públicas, bien como la relevancia de la actuación de los Municipios en la consecución de la política de educación, se presenta un índice y su aplicación en el estudio de caso sobre políticas de educación en municipios paranaenses seleccionados: Índice de Calidad de Gasto – ICG. Ese índice es construido a partir de dos indicadores: i) el indicador de insumo; y ii) el indicador de producto y/o resultado (desempeño), a partir de la metodología de Brunet et al. (2012). Fueron seleccionados los Municipios paranaenses con población igual o mayor de 45mil habitantes, resultado en el análisis de 22 Municipios. El ICG es utilizado para medir la cantidad de producto (bienes y servicios) ofertados o los retornos alcanzados con determinado programa (resultados) en relación a los recursos disponibles utilizados (insumos), relacionando, por lo tanto, el índice de insumo (II) con el índice de producto (IP) o índice de resultado (IR). El índice está compuesto por:

o

Donde:

ICG - índice de calidad de gasto

II – índice de insumo;

IP – índice de producto; y

IR – índice de resultado.

Para construir el índice II fueron utilizados los datos de gasto público realizado por los 22 municipios seleccionados en la función educación, por alumno matriculado en la enseñanza fundamental. Para transformar ese gasto en el índice II, se ponderó el valor de este gasto por la media de gasto per cápita por el conjunto de los 22 municipios seleccionados para el análisis. Luego de esta ponderación, el índice relativo final por el escore estandarizado obtenido por medio de la función estadística distribución acumulativa normal. De esta forma:

Donde:

D - es el gasto total en la función educación;

P – es el número de alumnos matriculados;

M – es la media de gasto per cápita de todos los municipios seleccionados; y

σ – es la desviación estándar de todos los municipios seleccionados.

Se utiliza en la construcción de los IP e IR una combinación de escores estandarizados de algunas variables. Para el IP las variables utilizadas fueron: número de alumnos matriculados por docente; número de establecimientos de educación básica de la red municipal; horas de clase diarias; tasa de distorsión edad-serie; adecuación de la formación docente; y la tasa de aprobación en los años iniciales de enseñanza fundamental. Para el IR, se utilizó la media de las notas en portugués y matemática obtenida por los alumnos de los años iniciales de la red municipal en la Prueba Brasil, examen que busca evaluar el desempeño de los alumnos a nivel nacional. No IP, se utilizó más de una variable, todas tuvieron la misma ponderación o peso en el valor del indicador, i.e., el índice fue encontrado a partir de la media aritmética de los escores estandarizados. Estos últimos, de la misma forma que el índice II, son calculados a partir de la ponderación de los escores brutos de cada variable por la media y la desviación estándar de esta misma variable para el conjunto de Municipios seleccionados y utilizándose la función estadística distribución acumulativa normal. Por lo tanto:

Donde:

εi – es el score bruto de un indicador de la función educación para determinado municipio;

μ – es la medida de los escores brutos de un indicador de la función educación del conjunto de municipios seleccionados;

σ – es la desviación estándar de los escores brutos de un indicador de la función educación del conjunto de municipios seleccionados;

n – número de municipios seleccionados;

Los índices varían en el intervalo entre cero y uno. Cuanto más próximo de uno, mejor la posición del índice de producto o de resultado, o sea, mayor es la oferta del servicio de educación, que es en función del presupuesto público analizado. En el caso del índice II, que también varía de cero a uno, cuanto más próximo de uno, mayor el gasto público realizado y, cuanto más próximo de cero, menor el gasto realizado en la función presupuestaria de educación. Cabe resaltar que el hecho de estar próximo a cero no significa gasto muy bajo, sino que el gasto del municipio en cuestión es menor que aquel realizado por los demás municipios.

Ya el ICG, independientemente de ser calculado a partir del IP o del IR, podrá presentar un valor que será igual o mayor a cero, indicando cuántas veces el gasto de un determinado Municipio es mejor o más eficiente que el de otro Municipio (entre los 22 analizados). Por lo tanto, el ICG no presenta un valor absoluto, sino relativo. De esta forma, un municipio puede gastar menos que otro en la política de educación y, de la misma forma, ofrecer una menor cantidad de producto, pero podrá presentar un ICG mayor que el de otro que haya gastado más y tenga productos mayores. La interpretación es que el primer municipio consiguió utilizar mejor los insumos a su disposición, obteniendo más producto por unidad de gasto, a pesar de haber presentado un volumen de gasto o de producto inferior al de otro municipio. En otros términos, un municipio con ICG mayor obtiene mayor rendimiento de los recursos públicos utilizados, o sea, su gasto público es considerado de mejor calidad.

En la tabla 1, se presentan los resultados del IP (construido a partir de las variables: alumnos matriculados por docente, número de establecimiento de enseñanza fundamental de la red municipal) y del IR (construido a partir de las variables: horas clase diarias, tasa de distorsión edad serie y adecuación de la formación docente) para 22 Municipios1 del Estado de Paraná seleccionados, que poseen población igual o superior a 45 mil habitantes.

Tabla 1

Indicadores comparativos de gasto y resultados en la función Educación. Municipios seleccionados de Paraná, 2017

Fuente: MF/STN/SISCONFI/FINBRA; INEP. IDEB, Disponible en: http://ideb.inep.gov.br/resultado/resultado/resultado.seam?cid=159579. Acceso en 10/julio/2018.

Notas: Insumo: Gasto en la función educación por alumno matriculado; A/D: Alumnos matriculados por Docente; EST: Número de estabelecimiento da educación básica de la red municipal; HAD: Horas-Aula Diarias; TDI: Tasa de Distorsión Edad-Serie; AFD: Adecuación de la Formación Docente; II: Índice de Insumos; IP: Índice de Producto (eficiencia); IR: Índice de Resultado (eficacia); ICG: Índice de Calidad del Gasto (1 - en relación al producto; 2 - en relación al resultado); Pos: Posición en el ranking del os 22 municipios.

Con relación a II, que refleja el monto de recursos públicos asignados al presupuesto en la función educación, dividido por alumno matriculado, los municipios de Curitiba (0,98) y Cornélio Procópio (0,96) presentan los mayores índices, mientras los municipios con los menores índices fueron los de Pato Branco (0,17) y Pinhais (0,26). En este caso, el municipio de Curitiba también presenta el mayor IP entre los 22 municipios investigados, o sea, fue el municipio que más aportó recursos en esa función y el que más ofertó productos. Sin embargo, Curitiba es el municipio que se ubica en decimocuarto lugar, más atrás del municipio de Toledo, que presenta el mejor desempeño en el ICG1 (que utiliza el II el IP para su construcción). El gasto público en la función educación del municipio de Toledo es 6 veces mejor que el de Curitiba y el de Foz de Iguaçu (que ocupa la posición 12a en el ranking de los municipios) y 13 veces mejor que el de União da Vitória, que presentó el menor ICG1 cuando considerados los productos ofertados a la población. O sea, a pesar del municipio de Toledo presentar un índice de producto cerca de 40% menor que el de Curitiba, consiguió ofrecer esos productos con gasto por alumno matriculado menor que el de Curitiba. En otras palabras, el mejor ICG1 refleja la mejor eficiencia del gasto realizado por el municipio de Toledo. Cuando comparado los resultados Toledo y Foz do Iguaçu, se verifica que éste tuvo un gasto mayor y un resultado de producto menor que el del municipio de Toledo.

Al analizar el índice de resultado (IR) y el ICG2 (índice de calidad de gasto con base en el índice de resultado) se verifica algo semejante a lo observado anteriormente. Nuevamente, el municipio de Curitiba es el que presenta el mayor índice de resultado (0,88), seguido por Ponta Grossa (0,82), índice que es 1,5 mayor que el IR de Toledo y 2,6 veces el de Campo Largo, que por su vez presenta los mejores índices de calidad del gasto (ICG2). Toledo con índice de 6,49 y Campo Largo, con 3,67 presenta los mejores gastos para la función educación a partir del IR, 7 veces mayor que el índice obtenido por Curitiba (0,90) y 6 veces mejor que el de Foz do Iguaçu (1,15). O sea, también por esa forma de calcularse la calidad del gasto, se verifica que el retorno obtenido por los Municipios de Toledo y de Campo Largo fueron mejores que los otros Municipios, aunque estos tengan gastos menores que los demás por alumno matriculado y no hayan presentado los mejores IRs. Sin embargo, el gasto fue más eficaz en obtener los retornos que en los demás Municipios investigados. En otros términos, esos municipios consiguieron el mejor provecho de los recursos aplicados tanto en la oferta de bienes como en los resultados obtenidos con los bienes ofertados.

Por último, fue realizada otra evaluación comparativa, pero ahora utilizando los resultados de la evaluación de la enseñanza básica, la Prueba Brasil, para los alumnos de los años iniciales de la enseñanza fundamental en la red municipal (tabla 2). De la misma forma que en el análisis anterior, son presentados los datos de insumos (gasto total en la función educación por alumno matriculado) y los datos de resultado (notas medias obtenidas por los alumnos en Portugués y Matemática), conformando el ICG. La Prueba Brasil es realizada a cada dos años y los últimos resultados – cuando se realizó esta investigación – los datos disponibles eran del año de 2015.

Por medio de estos indicadores, se obtienen resultados un poco diferentes de aquellos presentados anteriormente – aunque estos resultados sean para el año de 2015 y los anteriores para 2017 – utilizándose otras variables para verificar el resultado del gasto con educación fundamental. Se puede observar que en el índice del insumo, los municipios de Curitiba (0,95) y Cornélio Procópio (0,95) son los que presentan mayor índice valor, i.e., o mayor gasto por alumno matriculado, mientras que Campo Largo (0,08) e Irati (0,08) presentan el menor índice.

Tabla 2

Indicadores comparativos de gasto en educación y desempeño estudiantil (Prueba Brasil).

Municipios seleccionados de Paraná, 2015

El IR – el desempeño de los alumnos de las series iniciales en el examen divulgado de enseñanza básica – por su vez coloca el municipio de Foz do Iguaçu (0,99) en la cima del ranking, con el mejor índice, seguido por los municipios de Maringá (0,98) y Pato Branco (0,92). Los menores índices corresponden a los municipios de Ponta Grossa (0,04), Campo Mourão (0,12) y União da Vitória (0,19). Este desempeño combinado con los insumos en la educación proveen el ICG, se verifica que el municipio mejor posicionado fue Irati (6,66), que tuvo un índice 2,8 veces mejor que aquel de Foz do Iguaçu (2,36) y 6 veces mejor que el índice Maringá (1,09), municipios que presentan los mejores IRs, mientras que Irati obtuvo el 9o mejor IR.

Como se puede verificar, el ICG busca medir cuánto se obtiene de producto o de resultado a partir de una cierta asignación de recursos (insumos). Esos indicadores pueden presentar resultados diferentes, de acuerdo con las variables utilizadas para la construcción del índice. En los ejemplos citados anteriormente, se puede constatar que no es suficiente contar con un mayor nivel de insumo – en este caso, más recursos públicos en la función presupuestaria de educación – es necesario combinar los insumos con los objetivos que se pretende alcanzar para poder ofertar los bienes y servicios necesarios que, de hecho, tengan un impacto sobre las condiciones de vida de la población, o sea, que realmente puedan mejorar una cierta situación. En este trabajo fue posible verificar que no basta asignar un gran montante de recursos públicos para obtenerse mejores servicios de educación, sean estos medidos por el IP o por el IR. El ICG permite que el gestor analice los indicadores de forma a mantener, alterar o mejorar las directrices de las políticas.

Reflexiones finales

Buscamos dilucidar el concepto de indicadores sociales y enfatizar la importancia de su aplicación en la gestión de las políticas públicas. Asimismo, se discutió la aplicación de indicadores e índices sintéticos en las políticas municipales. Se discutió la historia del surgimiento de la construcción y el uso de indicadores e índices, así como el desarrollo teórico y práctico en Brasil. Este trabajo no tuvo como objetivo hacer una presentación detallada sobre estas cuestiones histórico-teóricas, sino destacar elementos específicos que contribuyeron al desarrollo de paneles de indicadores que tenemos hoy.

Los indicadores e índice son mensuraciones que contribuyen para elaboración de nuevas explicaciones para fenómenos sociales, en varias temáticas: educación, medio ambiente, asistencia social, etc. Se destacó su relevancia en todas las etapas del ciclo de políticas públicas: desde la formulación de la agenda pública hasta la evaluación de la política implementada. Estos son instrumentos que se han convertido fundamentales tanto para la sociedad, cada vez más participativa, como para los gestores públicos.

A partir del concepto de indicadores e índices y de la contextualización de su relevancia en el ciclo de políticas públicas, fue presentado el indicador sintético ICG, formado por dos indicadores (de insumo y de producto/resultado), que sirve para medir la cantidad de productos ofertados y los resultados alcanzados con estos productos a partir del total de gasto público realizado en determinada función presupuestaria. El ICG se aplicó en relación a las políticas educativas de 22 Municipios paranaenses, lo que permitió comparar las acciones de diferentes ciudades como Toledo, Foz do Iguaçu, Curitiba, entre otras. Se constató que la realización de más gasto no siempre se refleja en mejores resultados o más productos. En el ejemplo presentado en la sección 4, se verificó que el municipio de Curitiba fue la ciudad que realizó la mayor cantidad de gasto público en la función de educación por estudiante matriculado, lo que no deja de ser una medida relativa, ya que es la capital del Estado Paraná, el más poblado y con los mayores ingresos, también se supone que deba presentar el mayor presupuesto para la función educativa. Sin embargo, se verificó que los municipios de Cornélio Procópio y União da Vitória, que son mucho más pequeños, también tuvieron una cantidad de gasto mayor que la de los municipios con una población más grande, como Londrina y Ponta Grossa, por ejemplo, pero tuvieron un desempeño satisfactorio en términos de productos ofrecidos y resultados.

Así, por ejemplo, el ICG del municipio de União da Vitória muestra que, inclusive con la aplicación de un volumen de recursos expresivos en educación por alumno matriculado – que lo posiciona como tercer municipio con mayor II – su ICG1 e ICG2 (tabla 1) sitúa el municipio en 22º y 18º, respectivamente entre los 22 municipios analizados. Cuando el ICG utiliza el índice de desempeño de los alumnos en la Prueba Brasil para su construcción (tabla 2), su posición es la de 21º. O sea, a pesar de ser uno de los municipios con mayor gasto en educación por alumno matriculado, ese gasto se muestra con baja eficiencia, eficacia y efectividad, porque los graduados de sus escuelas no tuvieron el éxito de los de otros municipios.

A partir de ese punto de vista, la utilización del ICG es una herramienta interesante para poder evaluar el desempeño de una cierta política al mostrar de forma simple el resultado de una acción de forma comparada con otros municipios. Además, la posibilidad de construir series del índice, a lo largo de los años, le permite al gestor público evaluar cómo la trayectoria de los resultados obtenidos con la acción gubernamental ha sido en determinada área de política pública. La idea de un indicador sintético, que muestra el desempeño de la gestión municipal en la ejecución de una política pública a través de la construcción de una clasificación de un grupo de municipios, ayuda a visualizar que un Municipio determinado puede mejorar su posición en relación con los demás, reduciendo el volumen de insumos manteniendo el mismo nivel de producto/resultado, o aumentando el nivel de producto/resultado manteniendo la cantidad de insumos gastados, o bien combinando los dos.

Sin embargo, el índice no dice cómo hacer esto. Por lo tanto, se hace necesario un análisis más desglosado de los indicadores utilizados en la construcción del índice, a fin de poder determinar qué aspectos contribuyeron al bajo desempeño - o buen desempeño - del índice. Cabe destacar que, incluso en análisis desagregados, frecuentemente, no es posible obtener toda la información necesaria para llegar a una conclusión precisa. A menudo, hechos que están fuera del control del gestor público interfieren, contribuyendo para el éxito o para el bajo rendimiento, en un momento dado, de una política pública. Por otro lado, el análisis comparativo, hecho posible por el índice sintético, puede estimular una mayor cooperación entre los administradores municipales, difundiendo buenas prácticas y acciones exitosas. De todos modos, ciertas iniciativas pueden ser difíciles de replicar en diferentes contextos. En otros, pueden surgir problemas de escala, es decir, en algunas acciones tener escala puede contribuir a una mayor eficiencia del gasto, mientras que en ciertas acciones de gran escala puede ser indiferente o ineficiente.

Lo que las informaciones y la literatura hasta el presente momento sugieren es que el uso de indicadores sintético es útil para mostrar trayectorias de políticas públicas y de las acciones gubernamentales. Sin embargo, esos índices deben ser utilizados con cuidado y, siempre en combinación con análisis más detallados para comprender con más precisión los motivos que arrojaron un determinado resultado y, de esta forma, ayudar a comprender mejor la implementación y ejecución de la acción gubernamental, planeando correcciones de curso con las mejoras necesarias.

Se verificó que no es suficiente una mayor cantidad de insumos para obtenerse buenos resultados en la política de educación. Es necesario que las acciones a implementar sean elegidas de forma a producir impactos sobre las condiciones de vida de una determinada población. La elección de las variables en la construcción del índice es esencial para revelar al gestor lo que es necesario mantener, mejorar y, eliminar en la implementación de la política pública. Para eso, ha resultado indispensable pensar que una serie de limitaciones ya fueron superadas en la construcción de los indicadores, tales como un acuerdo formal entre los actores claves de la política pública, la viabilidad y confiabilidad en la medición de los indicadores, un conocimiento adecuado sobre el proceso de implementación de la política o programa, disponibilidad de recursos humanos especializados para medir los indicadores, así como de compromisos en la continuidad del proceso de monitoreo de los indicadores.

Finalmente, vale la pena resaltar la discusión del comienzo de este trabajo, en qué medida las élites políticas usan informes técnicos, ya sean índices, para la toma de decisiones. En este sentido, en una investigación reciente, Hjort et al. (2019) investigan el impacto de la difusión de la investigación científica en las decisiones de los alcaldes brasileños. Con base en una encuesta de 1818 alcaldes brasileños, los autores señalan que el acceso a la información tiene efectos positivos y aumenta la probabilidad de que el municipio use estos datos para el desarrollo de políticas públicas. En última instancia, elementos técnicos así como aspectos políticos pueden afectar cualquier proceso de formulación, monitoreo y evaluación de políticas públicas a largo plazo.

Bibliografía

BRUNET, J. F. G., BORGES, C. B., BERTÊ, A. M. A. (2012). O gasto público no Brasil: entenda a qualidade dos gastos públicos no Brasil. Rio de Janeiro: Elsevier.

CHAMPAGNE et al. (2011). “Utilizar a avaliação”, en BROUSSEDLLE, A., CHAMPAGNE, F., CONTANDRIOPOULOS, A., y HARTZ, Z. (coordinadores). Avaliação: conceitos e métodos. Rio de Janeiro: Ed. Fiocruz.

COSTA, T. C. N. (2017). “Considerações teóricas sobre o conceito de indicador social: uma proposta de trabalho”, en INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE). Indicadores sociais: passado, presente e futuro. Rio de Janeiro: IBGE, 40-48.

GIRARDI, G. (14 de abril de 2019). “Como nascem os lixões no Brasil”. O Estado de S. Paulo, São Paulo, p. A16.

GRUPO DE INSTITUTOS FUNDAÇÕES E EMPRESAS (GIFE) (1º de julho de 2019). “Indicador inova ao medir desigualdades na educação”, Portal GIFE, Disponible en: < >, consultado el 10/7/2019.

GUIMARÃES, R. P. y FEICHAS, S. A. Q. (2009). “Desafios na construção de indicadores de sustentabilidade”. Ambiente & Sociedade, v. XII, n. 2. Campinas, julho-dezembro, 307-323.

HJORT, J., MOREIRA, D., RAO, G., SANTINI, J. F. (2019). “How research affects policy: Experimental evidence from 2,150 brazilian municipalities”. National Bureau of Economic Research, Cambridge, NBER, June.

HOWLETT, M., RAMESH, M., PERL, A. (2013). Política Pública: seus ciclos e subsistemas, abordagem integral. São Paulo: Elsevier.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISA EDUCACIONAL ANÍSIO TEIXEIRA (INEP) y MINISTÉRIO DA EDUCAÇÃO (MEC) (2019). Índice de Desenvolvimento da Educação Básica – IDEB, documento consultado en Internet el 11/7/2019 en: <http://portal.inep.gov.br/ideb>.

JANNUZZI, P. M. (2002). “Consideracões sobre o uso, mau uso e abuso dos indicadores sociais na formulacão e avaliacão de políticas públicas municipais”. Revista de Administração Pública, v. 36, n. 1, Rio de Janeiro, Janeiro.-Fevereiro, 51-72.

______ (2015). “Indicadores sociais” en DI GIOVANNI, G., NOGUEIRA, M. A. (2015), Dicionário de políticas públicas. São Paulo: Ed. Unesp y Fundap.

______ (2016). Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas: Editora Alínea.

______ (2017). “Indicadores de políticas e programas sociais no Brasil” en INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE) Indicadores sociais: passado, presente e futuro. Rio de Janeiro: IBGE, 28-37.

LINDBLOM, C. E. (1981). O processo da decisão política. Brasília: Ed. UNB.

LOTTA, G. S. (2014). “Agentes de implementação: uma forma de análise de políticas públicas”. Cadernos Gestão Pública e Cidadania. São Paulo, v. 19, n. 65, Julho-Dezembro, 186-206.

MALAVOTA, L (2017). “História, memória e seus usos: por que falar sobre os Indicadores sociais?” en INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE) Indicadores sociais: passado, presente e futuro. Rio de Janeiro: IBGE.

MULLER, P. (1998). “La producción de las políticas públicas”. INNOVAR Revista de Ciencias Administrativas y Sociales. n. 12, Bogotá: Universidad Nacional de Colombia, p. 65-75.

INSTITUTO DE GEOGRAFIA E ESTATÍSTICA (IBGE) (2018). Síntese de indicadores sociais: uma análise das condições de vida da população brasileira. Rio de Janeiro: IBGE.

MARQUES, E. (2013), “As políticas públicas na Ciência Política” en FARIA, P., MARQUES, E. (coordinadores), A política pública como campo multidisciplinar. Rio de Janeiro: Ed. Fiocruz.

ORGANIZAÇÃO DAS NAÇÕES UNIDAS PARA A EDUCAÇÃO, A CIÊNCIA E A CULTURA (UNESCO), MINISTÉRIO DA EDUCAÇÃO (MEC) (2019), Manual para medição da equidade na educação, documento consultado en internet el 20/11/2020 en: <http://www.unesco.org/new/pt/brasilia/about-this-office/single-view/news/handbook_on_measuring_equity_in_education_in_portuguese/>.

PETERS, G, PIERRE, J. (2006). Handbook of Public Policy. London: Sage Publications.

SANTAGADA, S. (2007). “Indicadores sociais: uma primeira abordagem social e histórica”. Pensamento Plural. Pelotas, julho-dezembro, 113-142.

SECCHI, L. (2016). Análise de políticas públicas: diagnóstico de problemas, recomendação de soluções. São Paulo: Cengage Learning.

SERVIÇO SOCIAL DA INDÚSTRIA DO ESTADO DO PARANÁ (SESI/PR), OBSERVATÓRIO REGIONAL BASE DE INDICADORES DE SUSTENTABILIDADE (ORBIS) (2010). Construção e Análise de indicadores. Curitiba. Disponible en: < http://lproweb.procempa.com.br/pmpa/prefpoa/observatorio/usu_doc/construcao-e-analise-de-indicadores.pdf>, consultado el 20/9/2020.

SIMÕES, A., ALKMIN, A. C., SANTOS, C. (2017). Passado, presente e futuro da produção e análise dos Indicadores Sociais no IBGE. Rio de Janeiro: IBGE.

SOLIGO, V. (2012). “Indicadores: conceito e complexidade do mensurar em estudos de fenômenos sociais”. Estudos em Avaliação Educacional, v. 23, n. 52, São Paulo, Fundação Carlos Chagas, maio-agosto, 12-25.

SOUZA, C. (2007). “Estado da arte em políticas públicas”, en HOCHMAN, G., ARRETCHE, M. T. S., MARQUES, E. C. (coordinadores). Políticas públicas no Brasil, Rio de Janeiro: Editora Fiocruz.

SUBIRATS, J., KNOEPFEL, M., LARRUE, C., VARONE, F. (2008). Análisis y Gestión de Políticas Públicas, Barcelona: Ariel.

---