Avaliações de impacto são importantes, mas devem ser usadas com critério, dizem profissionais envolvidos com o tema. "Não é panaceia", diz Patrícia Mota Guedes, gerente de Pesquisa e Desenvolvimento da Fundação Itaú Social.

A construção de um bom sistema de monitoramento tem de preceder a avaliação e, muitas vezes, ressalta ela, já é suficiente para indicar se o programa está indo na direção certa.

dá certo mesmo?
Avaliações de impacto
Governos federal e estaduais começam a tornar avaliações de políticas públicas obrigatórias
Brasil larga atrás de México, Peru, Colômbia e Chile
Escolas públicas de São Paulo usam teorias de Nobel para reduzir evasão

O estágio inicial deve definir bem os objetivos da política. Com base nisso, são estabelecidos os indicadores que serão monitorados. E, por fim, desenhadas as perguntas que a avaliação precisará responder.

"O fundamental é entender o que você quer atingir", afirma Maurício de Almeida Prado, diretor-executivo da Plano CDE.

No Brasil, políticas públicas e ações sociais de empresas raramente têm essa questão bem definida antes de serem implantadas.

Existe ainda uma confusão conceitual muito comum entre impacto e alcance.

"Ainda se ressalta muito que certo programa já atinge x milhões de pessoas, como se isso fosse seu impacto, e não é", diz Guilherme Lichand, sócio da MGov.

Impacto é a mudança que a política acarretou para o beneficiário. Por isso, busca-se estimar como seria sua vida se aquela intervenção não tivesse sido feita.

"O maior convencimento sobre a importância de avaliar políticas públicas é uma vitória do bom senso. Mas, ao se tornar algo politicamente correto, surge a preocupação de que façam qualquer coisa e saiam falando que é avaliação de impacto", diz Ricardo Paes de Barros, economista-chefe do Instituto Ayrton Senna e professor do Insper.

A Grande Saída

Angus Deaton

Comprar

O Nobel de Economia, Angus Deaton, ressalta em seu livro "A Grande Saída" que "ONGs têm muitos incentivos para reportar sucessos e esconder fracassos, pois disso depende o levantamento de fundos".

Mesmo quando o impacto é bem medido, muitas vezes a avaliação precisa ser complementada com entrevistas com os beneficiários, que ajudam a entender como o efeito de uma mesma política pode variar conforme o contexto.

Uma crítica às avaliações é que o resultado obtido em um projeto específico nem sempre pode ser generalizado para outras realidades.

"Não há razão para supor que o que funciona em um lugar funciona em outro", diz Deaton. Ele aponta que "burocratas de carne e osso não implantam políticas com tanto afinco como acadêmicos do Banco Mundial".
Paes de Barros ressalta que, embora pertinentes, as críticas não justificam deixar de avaliar. "Não podemos prescindir de avaliação quando gastamos um percentual grande do PIB com política social".

POLÍTICAS INCONSTANTES
O vai-e-vem de programas que são adotados e abandonados sem avaliação de seus resultados

CHIPS NOS UNIFORMES
A Câmara Municipal de São Paulo aprovou em outubro a instalação de chips eletrônicos nos uniformes de escolas municipais de ensino fundamental para controle de presença dos alunos. A tecnologia foi testada em 2012 em Vitória da Conquista, na Bahia, ao custo de R$ 1,1 milhão. Foi abandonada por apresentar falhas e não reduzir a evasão. Experimentos já testados com mensagens por SMS são mais baratos e reduzem as faltas.

CIÊNCIAS SEM FRONTEIRAS
O governo federal gastou R$ 12 bilhões de 2011 a 2016, para enviar estudantes brasileiros a universidades no exterior. Foram cerca de 93 mil bolsas, 69% para estudantes de graduação (que não se revertem em pesquisa). O programa não previa metas específicas para essas bolsas, nem acompanhava os resultados dos beneficiados. Parte dos alunos teve que voltar por não conseguir dominar o inglês.

FOME ZERO
Lançado pelo governo federal em 2003, o Fome Zero o projeto almejava atacar causas estruturais da fome e melhorar a educação alimentar e a qualidade das merendas. Sob o programa funcionavam 31 subprogramas executados por vários órgãos federais, alguns em parceria com a sociedade civil. Criticado pelo Banco Mundial por falta de "objetivo claro" e por não combater a pobreza e a desigualdade, foi substituído pelo Bolsa Família.

CRÉDITO SUBSIDIADO
Criado pelo governo federal em 2009, o Programa de Sustentação do Investimento (PSI) canalizou boa parte dos cerca de R$ 500 bilhões injetados pelo Tesouro no BNDES. De 2008 a 2016, o custo direto com o subsídio foi de R$ 41,9 bilhões. O custo de empréstimos da União ao banco somaram outros R$ 116 bilhões. Em 2013, quando o PSI atingiu seu ápice, foram emprestados R$ 190 bilhões com juros subsidiados. A política impulsionou a inflação e favoreceu as regiões Sul e Sudeste, que receberam 74% dos recursos. Dos três maiores subsidiados, dois enfrentaram situação de falência (EBX e Oi) e a JBS foi afetada pelo envolvimento de seu dono, Joesley Batista, na Lava Jato.

LEVE LEITE
Adotado por vários governos municipais e estaduais, programas de distribuição de leite não costumam ter sua eficácia acompanhada nem há análise de seu custo/benefício. No Rio Grande do Norte, avaliação feita pelo governo encontrou várias falhas: o leite estragava no trajeto e muitos beneficiários estavam fora do público alvo. O estudo também mostrou que programas administrados por municípios funcionavam melhor, levando o governo a aumentar a municipalização. Em São Paulo, a prefeitura limitou a distribuição a alunos de até 6 anos -desde 1995, o teto era 14 anos- e prevê economizar R$ 43 milhões.

MUTIRÕES DE HABITAÇÃO
Construções em parceria com associações de moradores e movimentos de sem-teto têm sido adotados e abandonados por governos municipais e estaduais sem uma avaliação de sua efetividade. Nos anos 1980, a prefeitura paulistana construiu 26.688 unidades habitacionais e criou o Funaps, um fundo para financiar mutirões. A gestão seguinte substituiu o programa pelo Cingapura. Mutirões também foram adotados pelo governo paulista, mas substituído por outros programas como Chamamento Empresarial e Empreitada Global. O mutirão tem custo por m² menor, mas as administrações dizem que são mais lentos e de qualidade irregular.