O caso capixaba de avaliação de políticas públicas

​

II Seminário Fipe-LabPub - 27 de novembro de 2023

Avaliação de políticas públicas e processo orçamentário

​

Gabriela Lacerda, Gerente Executiva

FGV EESP CLEAR

1. Panomara internacional da institucionalização da avaliação
2. O caso capixaba
3. Lições aprendidas

Agenda

1. Panomara internacional da institucionalização da avaliação
2. O caso capixaba
3. Lições aprendidas

Agenda

Iniciativa Global de Avaliação (GEI)

A GEI é um uma rede global, coordenada pelo Banco Mundial e pelo Programa das Nações Unidas para o Desenvolvimento (PNUD), que visa atender a demanda crescente por tomada de decisão com base em evidência, por parte de governos, doadores, sociedade civil e financiadores de políticas públicas e programas sociais.

​

Doadores e co-fundadores:

Os Centros de Aprendizagem em Avaliação e Resultados (CLEAR)�

Nossa missão é promover políticas públicas informada por evidências por meio do fortalecimento de capacidades em M&A

Encontro global de sistemas nacionais de avaliação, organizado pelo PNUD, com mais de 100 países compartilhando suas experiências

Itália, Turin, 2022

Resilient National Evaluation Systems

Panorama internacional da institucionalização da avaliação: década de criação

2000

2010

1990

1970

Canadá

(1969)

Colômbia

(1994)

Chile

(1996)

México

(2006)

África do Sul

(2012)

Nacional

1980

Austrália

(1987)

2020

Costa Rica

(1994)

Benin

(2009)

Brasil

(2019)

Espírito Santo (2017)

Ceará

(2018)

Minas Gerais

(2021)

Niterói

(2021)

Maranhão

(2021)

Subnacional

EC nº 109

(2021)

Brasil: Emenda Constitucional n.º 109 de março de 2021

Art. 37.º, § 16.º: “os órgãos e as entidades da administração pública, individual ou conjuntamente, devem realizar a avaliação de políticas públicas, inclusive com divulgação do objeto a ser avaliado e dos resultados alcançados, na forma da lei”.

​

​

Com a EC 109, o Brasil para a integrar o seleto grupo de países com previsão constitucional para avaliação de políticas: Suíça, Alemanha, França, México, Colômbia e Costa Rica.

Fonte: OCDE (2021).

Características dos sistemas nacionais de avaliação

MONITORAMENTO

Diferenças entre Monitoramento e Avaliação

Organizações ou programas/políticas públicas

​

Regular, períódica, com pelo menos uma vez ao ano

​

Órgãos ou unidades responsáveis pelo controle orçamentário, organização e/ou recursos humanos

​

Órgãos ou unidades administrativas

AVALIAÇÃO

Foco

​

​

Tempo

​

​

Quem promove?

​

​

​

​

Quem conduz?

Programas/políticas públicas

​

​

Avaliação é pontual

​

​

Órgãos ou unidades responsáveis por políticas públicas

​

​

Especialistas externos ou unidades internas de avaliação

Fonte: Lazaro, 2015

O que é um sistema

de avaliação?

11

Em um sistema de avaliação, “(…)a avaliação faz parte do ciclo regular de vida de políticas e programas públicos, e é conduzida de maneira metodologicamente rigorosa e sistemática, na qual seus resultados são utilizados por tomadores de decisão e gerentes políticos, e esses resultados também são disponibilizados ao público”. Os sistemas de avaliação são uma função dos valores, práticas e instituições (...).”

(Lazaro, 2015, p. 16)

1. Panomara internacional da institucionalização da avaliação
2. O caso capixaba
3. Lições aprendidas

Agenda

Espírito Santo

Sistema de Monitoramento e Avaliação

de Políticas Púbicas (Simapp)

ESPÍRITO SANTO

Governança do sistema de

M&A do Espírito Santo

12 avaliações realizadas:

Ciclos 2018, 2019, 2020, 2021, 2022

​

4 Guias de M&A lançados:

Monitoramento

Avaliação ex ante

Avaliação ex post

Avaliação executiva

​

Lei nº. 10.744/2017

Guias de M&A do Espírito Santo

O CASO DO ESPÍRITO SANTO

Iniciativa pioneira no Brasil

Espírito Santo:

referência em gestão pública orientada para resultados…

… porém, as políticas não eram avaliadas.

Apenas algumas avaliações de forma pontual.

Começa então o interesse em aprimorar a gestão, incorporando ferramentas de avaliação na tomada de decisão.

Parcerias

para a construção do Sistema de M&A do ES

O Caso do Espírito Santo

Sistema de M&A pioneiro no Brasil, criado pela Lei nº 10.744 de 05 de outubro de 2017.

​

Busca por experiências e aprendizados internacionais, como Chile e Reino Unido.

​

Ferramentas de M&A criadas dentro do ciclo de planejamento e orçamento, de maneira coordenada e articulada.

​

Foco na melhoria da qualidade do gasto público e no aperfeiçoamento das políticas.

​

​

Governança

Etapas

Sistema de M&A do ES

1. Planejamento

2. Execução

3. Uso dos resultados

Etapas

Sistema de M&A do ES

1. Planejamento

1.1 Definição de áreas prioritárias pelo Governador

1.2 Seleção das políticas

1.3 Desenho das avaliações

1.4 Aprovação de Plano Anual de M&A por Comitê Estratégico e publicação por meio de Decreto Estadual pelo Governador até 30 de março

1.5 Elaboração e formalização dos termos de referência pelo Núcleo de Monitoramento e Avaliação (Numa)

Etapas

Sistema de M&A do ES

2.1 Realização das avaliações pelo Centro de M&A, criado dentro do Instituto Jones dos Santos Neves

2.2 Formação de Comitê Técnico para acompanhamento das avaliações

2.3 Aprovação das avaliações por Comitê Científico da Fundação de Amparo à Pesquisa

2.4 Plano de trabalho das políticas avaliadas: Secretaria de Planejamento e Economia revisa o orçamento com base nas avaliações e acompanha os ajustes nas políticas por meio de plano de trabalho com os órgãos finalísticos

2. Execução

Etapas

Sistema de M&A do ES

2.1 Publicação dos resultados: o Governo apresenta o Relatório Anual sobre avanço na qualidade do gasto público 15 meses após a publicação do Plano de M&A, divulgando os resultados das avaliações e classificando as políticas quanto ao seu desempenho

2.2 Transparência: a lei também prevê que os resultados das avaliações sejam publicados em meio oficial, em consonância com o princípio da transparência e da publicidade

3. Uso dos resultados

Linha do tempo

Sistema M&A - ES

V

V

V

Concepção e modelagem do Sistema; realização de piloto de avaliação.

2016

2017

Lançamento do Sistema de M&A (Simapp): Lei 10.744; e Curso Introdução ao M&A (parceria FGV Clear).

2018

1º Ciclo Anual de M&A (8 políticas escolhidas); Curso Avançado em Avaliação (parceria FGV Clear); e Lançamento de Guias de Avaliação (parceria FGV Clear).

2019

2º Ciclo Anual de M&A (2 políticas escolhidas); e Lançamento da Trilha de Aprendizagem em Avaliação com a Escola de Governo.

Desenho

Criação

Implementação

Continuidade

Mudança de Governo

Ciclos anuais

Sistema de M&A do ES

2018

2019

2020

2021

13 programas selecionados

2022

2023

Ferramentas de M&A estabelecidas

Sistema de M&A do ES

Monitoramento

Seleção de indicadores

Coleta de dados

Definição de metas

Utilização da informação

Criação de incentivos para a utilização da informação

Ex-ante

Diagnóstico do problema

Desenho da política

Projeto de implementação

Análise de riscos

Plano de monitoramento

Plano de avaliação

Análise de custos

Avaliação de desenho

Avaliação de processos

Avaliação de impacto

Avaliação de custo benefício e custo efetividade

Análise Executiva

Caracterização da política

Diagnóstico do problema

Desenho

Processos

Percepção dos beneficiários

Resultados da política

Análise crítica

Recomendações

Ex-post

Guias para Avaliar Políticas Públicas

Avaliação Ex ante

Volume I

Monitoramento

Volume II

Avaliação Executiva

Volume III

Avaliação Ex post

Volume IV

Acertos

Sistema de M&A do ES

• Liderança Política
• Cultura de gestão voltada a resultados
• Vinculação com ciclo orçamentário
• Sem excesso de engenharia (simplificado)
• Sustentabilidade (legislação e engajamento intergovernamental)
• Desenvolvimento contínuo de capacidades
• Baixo custo

Palácio Fonte Grande, Vitória-ES, Brasil

MINAS GERAIS

Sistema Estadual de M&A de Políticas Públicas - SAPP/MG

Decreto nº. 48.298/2021

Plano Anual de Monitoramento e Avaliação

​

Relatório Anual de Compromisso com o Valor Público

​

Ciclo 2022 - 9 programas

Ciclo 2023 - 7 programas

Guias

Plano Anual de M&A e Relatório Anual

NITERÓI

Decreto nº. 14.250/2021

Plano Bianual de Avaliação

​

Pesquisa Municipal por Amostra de Domicílios

​

Ciclo 2022-2023

1. Panomara internacional da institucionalização da avaliação
2. O caso capixaba
3. Lições aprendidas

Agenda

Características de sistema de avaliação bem sucedido

• Liderança e compromisso político
• Capacidade de produzir e analisar as evidências
• Capacidade de exigir e usar evidências
• Sustentabilidade ao longo do tempo

Cabo Verde, Praia, 2022

Assinatura do Memorando de Entendimento (MoU) pelo Vice Primeiro Ministro e Ministro das Finanças e o CLEAR LAB

Moçambique, Maputo, 2022

Grupo de Trabalho Subsistema de M&A

Lições aprendidas

• Aprender com as melhores práticas internacionais é útil não apenas para implementar práticas que funcionaram em outros lugares, mas também para obter legitimidade entre funcionários do governo e a sociedade civil;

​

• O CLEAR desempenhou um papel importante na facilitação da aprendizagem sul-sul devido à sua rede internacional.

Lições aprendidas

• Aprender com os outros nem sempre é simples: a heterogeneidade entre países é frequentemente um problema. Ela se apresenta em diferentes aspectos:
• Leis
• Competências do pessoal do setor público
• Cultura
• Natureza da demanda

Lições aprendidas

• Aprender com outras experiências no mesmo país pode ser mais fácil, já que instituições e governos nos mesmos países enfrentam restrições e a mesma cultura semelhantes.

​

• Importância de capilaridade e sentimento de dono dos atores locais para a sustentabilidade dessas iniciativas.

Oportunidades

• O país já possui algumas experiências de institucionalização de M&A que podem ser sistematizadas e organizadas para futuros aprendizados.

Brasil, Espírito Santo, 2017

Lançamento do Sistema de M&A

Brasil, Minas Gerias, 2022

Lançamento do Plano Anual de M&A

Brasil, Niterói, 2022

Lançamento do Sistema de Avaliação

Moçambique, Maputo, 2022

Seminário Manual de M&A

Cabo Verde, Praia, 2022

MoU para Sistema e capacidades em M&A

Lopez-Acevedo e Krause

World Bank, 2012

​

"Para que as avaliações sejam úteis, elas devem ser usadas”

​

/fgv-eesp-clear

/fgv_clear

/fgvclear

Obrigada

Gabriela Lacerda

Gerente Executiva

gabriela.lacerda@fgv.br

​

​

Sobre o FGV EESP CLEAR

O Centro de Aprendizagem em Avaliação e Resultados para a África Lusófona e o Brasil (FGV EESP CLEAR) foi estabelecido em 2015 e é um dos seis centros regionais da Iniciativa Clear, todos sediados em instituições acadêmicas de relevância internacional no sul global.

Os centros CLEAR fazem parte da Iniciativa Global de Avaliação (GEI), uma rede global, coordenada pelo Banco Mundial e pelo Programa das Nações Unidas para o Desenvolvimento (PNUD), que visa atender a demanda crescente por tomada de decisão com base em evidência, por parte de governos, doadores e financiadores de políticas públicas e programas.

O FGV PESP CLEAR tem sede no Brasil, na Escola de Economia de São Paulo (EESP) da Fundação Getulio Vargas (FGV), e é associado ao Centro de Estudos em Microeconomia Aplicada (C-Micro). Além do Brasil, atua em Angola, Cabo Verde, Guiné Bissau, Moçambique e São Tomé. Possui uma maneira única de fortalecer capacidades em M&A por meio da colaboração com parceiros locais, incluindo agências governamentais, instituições acadêmicas e terceiro setor.

O FGV EESP CLEAR atua em quatro principais eixos na área de M&A que contemplam (i) desenvolvimento da cultura de tomada de decisão com base em evidências, apoiando a implementação de sistemas próprios de M&A; (ii) fortalecimento de habilidades em M&A por meio da realização de cursos e capacitações técnicas; (iii) geração de conhecimento em M&A, produzindo informações e evidências por meio de estudos e pesquisas; (iv) disseminação de conhecimento em M&A na qual difunde conhecimento técnico da área de forma acessível a profissionais e estudantes.

Nossos principais clientes e parceiros estratégicos são governos nacionais e subnacionais, sociedade civil, setor privado e outros desenvolvedores de capacitação em M&A.

(i) Desenvolvimento da cultura de tomada de decisão com base em evidências

(ii) Fortalecimento de habilidades em M&A

(iii) Geração de conhecimento em M&A

(iv) Disseminação de conhecimento em M&A

Linhas de atuação

Clientes