2ª SESSÃO LEGISLATIVA ORDINÁRIA DA 56 ª LEGISLATURA
Eventos
(Evento virtual - Seminário sobre "O papel do Legislativo na avaliação de políticas públicas")
Em 2 de Dezembro de 2020 (Quarta-Feira)
às 9 horas
Horário (Texto com redação final.)
09:12
RF
O SR. CLAUDIONOR ROCHA - Exma. Sra. Deputada Soraya Santos, 1ª Secretária da Câmara dos Deputados; Sr. Ministro Augusto Nardes, do Tribunal de Contas da União; Sr. Jules Queiroz, Diretor da Assessoria Técnica da Diretoria-Geral da Câmara dos Deputados; Sr. Marcus Peixoto, Presidente da ALESFE — Associação dos Consultores e Advogados do Senado Federal; Sr. Alison Souza, Presidente eleito do SINDILEGIS — Sindicado dos Servidores do Poder Legislativo Federal e Tribunal de Contas da União; Sr. Fábio Lopes, da Secretaria de Relações Internacionais; demais autoridades presentes, senhoras e senhores palestrantes, convidados, participantes e internautas, bom dia.
A ASLEGIS — Associação dos Consultores Legislativos e de Orçamento e Fiscalização Financeira da Câmara dos Deputados e os seus parceiros têm a grata satisfação de promover o presente Seminário Internacional virtual sobre o tema de inegável importância para a sociedade: O Papel do Legislativo na Avaliação de Políticas Públicas.
Louvamos a todos que propiciaram a sua realização, especialmente as entidades parceiras, ALESFE e SINDILEGIS, nas pessoas de seus Presidentes Marcus e Petrus, respectivamente.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Pessoal, vocês estão me ouvindo agora? Estão me ouvindo?
O SR. FÁBIO GOMES - Sim.
O Rocha está com a palavra.
O SR. CLAUDIONOR ROCHA - Eu já tinha iniciado a minha fala, Carolina. Algum problema?
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Tudo bem. Segue o jogo! Vamos embora!
O SR. CLAUDIONOR ROCHA - Pois não! O.k.
Agradecemos o inestimável apoio da Câmara dos Deputados e seus órgãos para a realização deste evento, nas pessoas do Sr. Deputado Rodrigo Maia, Presidente da Casa; da Sra. Deputada Joice Hasselmann, Secretária de Comunicação Social; do Sr. Deputado Alex Manente, Secretário de Relações Internacionais; do Sr. Sérgio Sampaio, Diretor-Geral; da Sra. Luciana Teixeira, Diretora da Consultoria Legislativa; e do Sr. Wagner Figueiredo, Diretor da Consultoria de Orçamento e Fiscalização Financeira.
Temos gratidão também aos diretores dos órgãos congêneres do Senado Federal, o Sr. Danilo Aguiar, Diretor da Consultoria Legislativa, e a Sra. Ana Claudia Borges, Diretora da Consultoria de Orçamento, Fiscalização e Controle, que coordenarão as mesas redondas.
Somos imensamente gratos à disponibilidade do Prof. Evert Verdung, a quem damos as boas-vindas — ele, dentro de alguns momentos, iniciará a palestra inaugural do evento —, bem como aos demais palestrantes que representam diversas entidades, organismos e instituições do Brasil e do exterior, os quais serão devidamente apresentados, antes de cada Mesa temática da qual participarão.
Os senhores muito nos honram com suas presenças, que engrandecem o escopo deste seminário.
(Falha na transmissão.)
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Rocha, o seu áudio está desligado.
O SR. FÁBIO GOMES - Nos últimos 10 segundos, Rocha.
O SR. CLAUDIONOR ROCHA - Eu acho que desligou só.
Estendemos, então, nossos agradecimentos a todos os servidores e funcionários das entidades e órgãos participantes pela sua efetiva contribuição, que nos permitiu formular, preparar e realizar este evento.
Por fim, damos voz ainda às autoridades, palestrantes, debatedores, coordenadores, corpo técnico e demais participantes, desejando sucesso e bom proveito a todos os que se interessam pelo tema, nossos colegas consultores, os participantes inscritos e os internautas que nos acompanham. Esperamos que este seminário nos traga conhecimentos úteis, propicie reflexões acerca da implantação efetiva da avaliação de políticas públicas em todos os níveis e esferas do Poder Legislativo, para o bem da democracia.
09:16
RF
Nosso intento, como integrantes dos órgãos institucionais de assessoramento e consultoria legislativa do Congresso Nacional, é apoiar os Parlamentares durante a elaboração do ordenamento jurídico pátrio, na busca incessante pela concretização dos ideais de uma sociedade livre, justa e solidária.
O que é a avaliação de políticas públicas? Qual sua importância? Como é feita? Essas são algumas das indagações pertinentes a que nossos ilustres convidados responderão ao longo deste seminário.
Estejam conosco, portanto, nas manhãs destes três dias. Um ótimo seminário a todos!
Muito obrigado.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Muito obrigada, Rocha, pela introdução.
Peço desculpas pela falta de áudio do início do nosso seminário.
Agradeço muito também a presença das autoridades, a 1ª Secretária da Câmara dos Deputados, Deputada Soraya Santos, do PL do Rio de Janeiro, e o Ministro do Tribunal de Contas da União, Augusto Nardes.
Após a fala do nosso colega Rocha, vamos ouvir, então, a 1ª Secretária da Câmara.
Tudo bem, Deputada Soraya? Seja bem-vinda! Qual é a sua opinião sobre esse tema, sobre o nosso seminário, de debater o papel do Legislativo na avaliação de políticas públicas?
A SRA. SORAYA SANTOS (Bloco/PL - RJ) - Bom dia, Carolina.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Bom dia.
A SRA. SORAYA SANTOS (Bloco/PL - RJ) - Quero agradecer o convite, a honraria de poder participar de um seminário com esta envergadura.
Esta pergunta nos norteia, como agentes públicos: se tudo aquilo que nós estamos fazendo como esforço de verdade está chegando à ponta.
Eu queria cumprimentar cada membro da Mesa, principalmente dos órgãos de controle interno e externo e, na pessoa deles, cumprimentar também o nosso Ministro Nardes, que sei que traz, na representação do Tribunal de Contas, as mesmas perguntas.
Parabenizo a iniciativa. Como 1ª Secretária, Carolina, nós temos o dever de apontar e iluminar as iniciativas da Casa. E esta é uma grande reflexão que vem sendo feita pela CONLE, CONOF, por todos os funcionários da Casa: será que o que nós estamos elaborando, construindo como políticas públicas está, de verdade, conseguindo melhorar a vida das pessoas? Essa é uma grande reflexão.
Na Câmara dos Deputados nós temos um único controle, através da Comissão de Finanças, onde fazemos uma avaliação econômica do custo do projeto. Mas isso está longe de ser uma realidade. Quando pensamos nos quatro "e", economicidade é apenas um deles. Nós queremos saber se, de verdade, eles estão sendo eficazes, se estão sendo efetivos. Nós temos que discutir exatamente o produto que entregamos. Muitas vezes, quando discutimos projetos de inclusão, temos que nos questionar até onde aquele projeto que traz o princípio da igualdade é necessário ser aplicado.
09:20
RF
Nós precisamos de ferramentas, mas ferramentas que entendam que, apesar da independência, seja dos Poderes, seja dos setores, eles devem trabalhar, Carolina, como interdependentes.
Sobre esse conjunto de avaliação, quando o Executivo puder mandar uma iniciativa legislativa, que já venha com uma avaliação prévia. Que os próprios consultores da Câmara não tenham um olhar apenas (falha na transmissão) para a economicidade que se faz, para quem paga a conta. Nós temos que ter um olhar para o atingimento de metas, para a efetividade, para a eficácia.
Eu quero, em nome do Presidente Rodrigo Maia, como 1ª Secretária da Casa, representando a Mesa Diretora, dar os parabéns por essa iniciativa. Estou aguardando ansiosamente a palestra de cada um dos convidados. Quero agradecer aos palestrantes por compartilharem o conhecimento e as vivências conosco.
Esse seminário pode ser um marco do que vamos fazer à frente ao elaborarmos um projeto de lei. Além da elaboração de um projeto de lei, que haja também a percepção de que aquele projeto valeu à pena. Como Deputados, como Senadores, nós somos o ouvido da sociedade e precisamos saber, medir, avaliar e voltar ao microfone para dizer que aquele projeto ou aquela iniciativa valeu à pena.
Então, bom dia a todos. Tenham um bom seminário! A Câmara está muito feliz com todos esses órgãos reunidos, para pensar no resultado do que se produz como política pública no Brasil.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Muitíssimo obrigada, Deputada. Com certeza é um seminário que só vai contribuir com o papel dos Parlamentares na elaboração de leis, para avaliar se as políticas públicas, de fato, estão chegando à ponta, lá no cidadão. Obrigada mais uma vez.
Nós temos aqui presente o Ministro do Tribunal de Contas da União, o gaúcho Augusto Nardes, que também é Embaixador da Rede Governança Brasil.
Tudo em paz, Ministro? Obrigada pela sua participação. O TCU tem um papel superimportante nessa questão de avaliar as políticas públicas, certo?
O SR. MINISTRO AUGUSTO NARDES - Certo, Carolina. Obrigado. Parabéns pelo evento! Fico muito feliz. Cumprimento a ASLEGIS, na pessoa do Claudionor, que acabou de falar; a ALESFE, na pessoa do Presidente Marcus Peixoto; e também o SINDILEGIS, na pessoa do Petrus e agora do Alison, que está assumindo essa função, porque foi eleito. Então, fico muito feliz.
Eu acho que a Deputada Soraya atacou um ponto crucial, que eu venho há 8 anos tentando implantar no Brasil, sobre as ferramentas para entregar resultados. Depois de 40 anos de vida pública e 6 mandatos, cheguei à Presidência do Tribunal de Contas e vi que ele não podia ficar na zona de conforto, ao somente multar e penalizar; tinha que ser uma instituição que fizesse um trabalho preventivo. Fiz um acordo de cooperação com a OCDE em 2013, que assinei lá em Paris, e implantei toda a política de governança no Brasil.
Nós temos hoje mais de 500 auditorias em todas as áreas. Criamos a especialização no Tribunal de Contas da União. Temos gente especializada em 26 secretarias, para avaliar os resultados — assunto no qual a Deputada Soraya acaba de tocar, ou seja, eficiência e eficácia —, e não ver somente a questão da legalidade, que continuamos vendo. Cinquenta por cento do nosso time hoje — nós temos 1.700 auditores — avaliam a conformidade e a legalidade.
Semanalmente nós votamos muita questão de legalidade em relação a Prefeitos, a gestores, à Presidência da República. Todo ano, nós fazemos um parecer prévio de aprovação ou não das contas, que vai para o Congresso Nacional. Então, nós temos esse vínculo estreito com o Congresso Nacional. Temos autonomia, temos independência, mas assessoramos o Congresso com essa autonomia, essa independência, e assessoramos as demais estruturas do Estado brasileiro.
09:24
RF
Eu cheguei à conclusão de que o Tribunal tinha que sair da zona de conforto e partir para uma política de prevenção. E aí eu coloco, basicamente, aquilo de que a Deputada Soraya reclama: como avaliarmos a eficiência, a eficácia, se nós não temos as ferramentas adequadas?
A Rede de Governança, que eu criei no ano passado, e a Lei da Governança, que conseguimos fazer no Governo Michel Temer, estão nos dando todas essas ferramentas. Estamos baseados na experiência que implantamos no Tribunal de Contas, no sentido de avaliar e monitorar toda a administração pública. Aí vamos saber realmente aquilo de que a Deputada Soraya reclama com muito direito e muita convicção: a entrega de resultados. Não teremos resultados se não tivermos uma boa política de governança.
Eu quero agradecer ao SINDILEGIS porque, desde o início, quando eu comecei a propor essa ideia, ele começou a nos apoiar através do Petrus e de todo o seu time.
Estou muito feliz porque nós estamos andando a passos largos, Carolina, estamos caminhando rapidamente. Já fizemos o decreto, que elaboramos juntamente com a equipe do Presidente Michel Temer. O Presidente Bolsonaro abraçou essa proposta e está montando um centro de governo, o que não tínhamos no País e temos que ter.
Eu sou Relator, hoje, de uma proposta de implantação de política de governança no Brasil e fico monitorando o Judiciário, o Legislativo e o Executivo, para que se possa implantá-la. Gostaria que a Deputada Soraya fosse a nossa representante, para exatamente colocarmos essas ferramentas à disposição do Congresso Nacional, trabalhando em conjunto com o Tribunal de Contas da União.
Nós vamos continuar elegendo presidentes, os quais passam muito rápido. Quatro anos não significam muita coisa na administração pública, e, para se fazer uma transformação, tem que haver planejamento estratégico. Mas os Ministérios não tinham planejamento estratégico. Na semana passada, foi-me apresentado um arcabouço disso. Eu queria um que tivesse um prazo de 16 anos, já pensando mais à frente, mas já foi apresentado um arcabouço para 12 anos, a ENDES.
Então, já temos um planejamento estratégico para 12 anos, o que não tínhamos antes, quando cada Ministério era administrado conforme o interesse do partido A, B ou C. Temos que ter um projeto de Estado, de Nação, não podemos ficar improvisando. E isso nós conseguimos implantar já no Tribunal de Contas da União e estamos monitorando para implantar em todo o Brasil.
Estamos acabando de fazer, agora, o meu time da Rede Governança, uma instituição para a qual eu gostaria de convidar a Deputada Soraya Santos e todos a participarem, de voluntários no Brasil. Criamos vários comitês para discutir os temas de interesse da Nação em médio e longo prazos. Esses comitês trabalham, é claro, baseados em todas essas quinhentas auditorias, que têm as falhas e os gaps da administração pública federal e que o Tribunal de Contas passou a fazer depois de 2012, com os indicadores de 2013 e 2014.
Hoje nós estamos prontos para auxiliar. A Carolina e os líderes, especialmente o Claudionor e o nosso amigo Marcus Peixoto, enfim, todos os que estão trabalhando com isso poderão trabalhar em conjunto conosco. Essa Rede Governança está aumentando, e nós estamos transformando isso num grande órgão de contato e de articulação.
Não vou me alongar muito. Eu poderia ficar aqui falando 1 hora sobre o tema, mas, como me pediram brevidade, procurarei ser racional.
Para finalizar, registro que, no dia de amanhã, nós teremos já um primeiro evento, o 4º Fórum Nacional de Controle, que eu propus, para que o Tribunal de Contas, juntamente com outras instituições, pudesse ver a transversalidade das políticas públicas.
09:28
RF
Tem que haver uma política transversal entre Estados Municípios e União e uma política transversal entre os Ministérios e os Governos Estaduais e entre os Ministérios da própria estrutura do Governo, que, muitas vezes, não conversavam. Então, eu montei o 4º Fórum Nacional de Controle, no qual, amanhã, nós vamos discutir sobre educação e inovação, sobre como utilizar a inovação para transformar a educação.
Eu vou discutir a minha proposta amanhã, com o Milton Ribeiro, Ministro da Educação, com o Braga Netto, Ministro-Chefe da Casa Civil, com o Ministro das Comunicações e com o Ministro da Ciência e Tecnologia — serão quatro Ministros. Nós vamos fazer um debate sobre como, neste momento da pandemia, transformar a educação numa plataforma digital, para todos os alunos brasileiros terem acesso à educação, já que boa parte dos nossos alunos pobres não teve educação neste ano. Isso está claro. A pandemia demonstrou que nós não temos uma boa governança na educação e, por isso, os nossos números estão muito baixos.
Amanhã será a abertura desse nosso evento, Carolina, que vai ser de grande repercussão nacional.
Mas eu acho, Deputada Soraya, que só vamos consolidar isso quando fizermos uma lei, para todo o Brasil utilizar as ferramentas de que a senhora reclamou de forma muito clara, na sua fala. Eu estou plenamente de acordo com a senhora, e nós temos que estabelecer esse trabalho em conjunto. O Tribunal de Contas pode ser usado. Eu, como Parlamentar, não usava muito o TCU, mas a senhora pode usá-lo em relação a qualquer tema de que quiser tratar, porque nós criamos indicadores em todo o Brasil, sobre avaliação de pessoal, avaliação de aquisições e avaliação de TI. Nós sabemos tudo o que está acontecendo no País. Hoje, o Tribunal de Contas é um local em que se pode encontrar informações e passá-las para os Parlamentares de forma permanente, a fim de auxiliá-los.
Parabéns aos organizadores! Carolina, quero destacar o trabalho do Petrus Elesbão, que, junto com o Marcus Peixoto e o Claudionor, teve a visão de fazer este grande evento. Fico muito feliz de ter conversado com o Evert Vedung e com as outras lideranças que vão dele participar.
Não percam jamais a fé nem a crença! Vamos transformar esta Nação, para melhorar sua capacidade de competição! Se quisermos entrar na OCDE, temos que ter capacidade de competir. E, sem uma boa governança, o Estado não entrega o resultado que a Deputada Soraya destacou.
Um grande abraço e um bom evento!
Obrigado.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Muitíssimo obrigada, Ministro Augusto Nardes, do TCU.
Realmente, o senhor trouxe boas notícias e colocou o dedo na ferida com relação à legislação na avaliação de políticas públicas.
A SRA. SORAYA SANTOS (Bloco/PL - RJ) - Carolina, se você me permite, vou só...
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Claro, Deputada! Fique à vontade.
A SRA. SORAYA SANTOS (Bloco/PL - RJ) - Ministro Nardes, eu só queria dizer que o convite está aceito. Isso é um colírio para os olhos de todos nós que pensamos no Brasil.
Quero dizer que, como 1ª Secretária, tenho me socorrido, sim, do TCU. Agora, até por força da pandemia, do teletrabalho, estivemos com a nossa Controladoria Interna e o TCU buscando indicadores. É o segundo ano de premiação às iniciativas da própria Casa, e eu tenho muito orgulho de poder apresentar esses resultados.
Mas nós precisamos ir além e não só aprovar projetos. V.Exa. já tem o meu compromisso, mas eu gostaria de assinar o meu pertencimento a essa rede transformadora. V.Exa., mais do que ninguém, tem experiência no Legislativo, tem experiência política, e, como Ministro, tem acesso a muitas informações de que nós precisamos demais, para que possamos dar velocidade às ferramentas tecnológicas que nos são oferecidas hoje, mas que também exigem resultado.
Eu não me contive, Carolina, e tive que aceitar, em nome da Câmara, esse convite.
09:32
RF
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Que ótimo, Deputada! Nós ficamos muito felizes, na verdade. V.Exa. é sempre muito bem-vinda.
Convido agora, para fazer uso da palavra, o Sr. Marcus Peixoto, Presidente da Associação dos Consultores e Advogados do Senado Federal — ALESFE e consultor legislativo do Senado.
Tudo bem, Marcus? Como foi construir este seminário virtual e qual é a importância dele?
O SR. MARCUS PEIXOTO - Bom dia a todos e todas.
Agradeço a introdução do Presidente Claudionor Rocha e, em função de todas as apresentações e agradecimentos que ele já fez, vou deixar aqui, na pessoa do Ministro Nardes e da Deputada Soraya, o meu agradecimento pela participação de todas as autoridades presentes. Faço um agradecimento especial à ASLEGIS, que teve a ideia inicial do seminário e que, na sequência, convidou a ALESFE e, depois, o SINDILEGIS.
Então, nós iniciamos essa empreitada no final do ano passado e estamos realizando, agora, um projeto iniciado há 1 ano. E eu estou muito feliz que esse assunto esteja vindo na forma de um seminário internacional, por iniciativa das nossas entidades e com o apoio da Câmara dos Deputados. A nossa pretensão é que este seminário seja realizado anualmente. Embora ele não seja tido como o primeiro seminário internacional, esperamos realizar o segundo no ano que vem. Pelo menos, esse foi o compromisso feito por nós Presidentes das três entidades. Esperamos contar, inclusive, com o apoio institucional do Senado e do TCU em 2021, para a realização desse segundo seminário internacional.
Como Presidente da Associação dos Consultores e Advogados do Senado, eu queria chamar atenção para o fato de que, através de uma mudança regimental feita no Regimento Interno do Senado Federal em 2013, as Comissões Permanentes da Casa, desde 2014, são obrigadas a eleger uma política pública para ser avaliada ao longo do ano. Então, desde 2014 foram avaliadas dezenas de políticas públicas, cuja implementação é de responsabilidade do Poder Executivo.
Não há uma repetição, uma continuidade desse processo de avaliação, já passados 6 ou 7 anos. Por isso, é importante que a avaliação de políticas públicas seja um processo contínuo e anual, para que seja dada accountability, haja a chamada prestação de contas e a responsabilização sobre os resultados para a população. Por isso, é necessário que esse seja um processo contínuo. Não basta avaliar uma política de 5 em 5 anos, de 6 em 6 anos ou de 10 em 10 anos.
Naturalmente, a capacidade do Poder Legislativo de promover a análise e o acompanhamento de todas as políticas anualmente é muito mais limitada. É importante que o processo de avaliação de políticas públicas seja internalizado pelo Poder Executivo — e eu me refiro às três instâncias de governo, a federal, a estadual e a municipal — e seja uma prática de rotina implementada pelo Estado.
Eu acho que essa iniciativa do Senado Federal é exemplar no âmbito do Legislativo, porque uma das missões institucionais do Poder Legislativo é fazer a avaliação e o acompanhamento da administração do Poder Executivo.
Há desafios também em relação ao Poder Judiciário, que tem que ter, no seu âmbito, as estratégias de avaliação das políticas públicas sendo continuamente realizadas e publicadas, sobretudo através do CNJ, mas com efetivo controle social.
Então, é importante que a sociedade encampe essa perspectiva, a importância da avaliação como uma das fases do ciclo das políticas públicas, o qual não começa necessariamente com a avaliação, mas com um planejamento eficiente. No entanto, você só pode planejar políticas públicas se houver um marco regulatório que as ampare. Daí a importância do Poder Legislativo, que deve elaborar leis de forma eficiente.
09:36
RF
Nós teremos debatedores ao longo do seminário que vão tratar desse tema, como a Profa. Fabiana, da UFMG, por exemplo, que é especialista em Legística. Nós temos que ter boas leis que amparem, temos que ter bom planejamento e boa execução, para que haja uma avaliação de política pública que esperamos que seja exitosa.
Este debate sobre a avaliação de políticas públicas é importante porque ele não se encerra apenas nesse tema, ele se interliga e interage com outros temas, como o da eficiência legislativa. Nesse sentido, eu quero destacar que nós não temos, na legislação federal, amparo para a obrigatoriedade de implementação de avaliação de políticas públicas no âmbito do Poder Executivo, principalmente no âmbito das demais instâncias de governo, nos Estados e Municípios. Nós não temos um marco federal para isso. Mas está tramitando no Senado e prestes a vir para a Câmara dos Deputados uma proposta de emenda constitucional, de autoria da Senadora Maria do Carmo Alves, que procura trazer para o âmbito da Constituição Federal essa preocupação com a avaliação de políticas públicas.
Sem me alongar mais, eu encerro aqui com os meus agradecimentos. Desejo a todos um bom seminário.
Obrigado.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Somos nós que agradecemos, Marcus.
É interessante perceber que todo o corpo técnico da Câmara dos Deputados está se engajando para realmente colaborar nesse papel tão importante do Legislativo, como você mesmo citou, de avaliar e fiscalizar as políticas públicas.
Agora nós vamos ouvir o Diretor-Adjunto da Câmara dos Deputados, Sr. Mauro Mena Barreto.
Tudo bem, Sr. Mauro? Seja bem-vindo. (Pausa.)
O SR. JULES QUEIROZ - Carolina, na verdade, aqui é o Jules Queiroz.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Perdão, Sr. Jules. Tudo bem? Seja bem-vindo.
O SR. JULES QUEIROZ - Bom dia a todos e todas.
Meu nome é Jules Queiroz. Eu sou Diretor da Assessoria Técnica da Diretoria-Geral da Câmara dos Deputados e estou aqui representando o Sr. Diretor-Geral Sérgio Sampaio.
Quando eu vi o tema do seminário, lembrei-me de uma passagem do Jeremy Bentham num livro de sua autoria, sobre a teoria da legislação, em que ele diz o seguinte: "Saber qual é o bem da comunidade é uma ciência, mas saber os meios para implementar o bem da comunidade, aí, sim, é uma arte". Parece-me que este seminário vai tratar exatamente do momento-arte da política pública: como implementá-la.
Nós estamos aqui praticamente por todo o Legislativo. A decisão de legislar ou não legislar é simplesmente o primeiro passo na implementação de uma política pública, ela está longe de ser o último passo. No Direito anglo-americano, a validade da lei se confunde com a sua aplicação. É aquele conceito de enforcement: para o sistema anglo-americano, a lei que não é aplicada simplesmente não existe. Aqui no nosso sistema, quem melhor refletiu sobre isso não foi um jurista, foi um poeta, o Carlos Drummond de Andrade, quando falou que "os lírios não nascem das leis".
Portanto, de nada adianta o Congresso aprovar uma legislação que não vai ser aplicada de maneira eficaz, efetiva e eficiente. Por isso, quando se fala em avaliação de impacto legislativo e avaliação de políticas públicas, vêm-me à cabeça três preocupações. A primeira, que é a mais evidente, é que nós temos necessidades e recursos limitados, o que, num cenário de pandemia, agrava-se sobremaneira. É preciso que se avaliem as políticas públicas para saber efetivamente onde colocar os recursos públicos, de maneira a maximizar a sua utilidade. Esta é a primeira questão a ser enfrentada numa avaliação de políticas públicas.
09:40
RF
A segunda preocupação é um ponto relevante a meu ver: a crise da democracia que vem se instalando no mundo. Não só no Brasil, mas no mundo, toda democracia vem sendo questionada, e os governos e parlamentos vêm tendo que enfrentar questionamentos a respeito da sua legitimidade. E como se responde a esses questionamentos? Através do exercício justificado do poder. O poder não mais pode ser exercido apenas com a seguinte prerrogativa: "Eu fui eleito e estou exercendo o poder para o qual fui eleito". Muito pelo contrário, é preciso que os governos e parlamentos expliquem à sociedade, de maneira transparente, por que foi tomada a decisão A e não a decisão B.
Então, talvez já entrando até no espírito de debate — embora esta não seja bem uma mesa de debates —, eu discordo do Marcus com relação a não termos um marco obrigatório de avaliação de políticas públicas. Nós temos, sim. Quando a Constituição fala em princípio republicano e em princípio democrático, ela obriga o Estado, nos aspectos de controle, do Judiciário, do Legislativo e do Executivo, em especial, a avaliar, sim, as suas políticas públicas. Se nós não fazemos isso, temos que nos perguntar por que estamos sendo omissos. Não é?
Deputada Soraya, quando V.Exa. era Presidente da Comissão de Finanças e Tributação, e eu ainda era consultor lá na Consultoria Legislativa, V.Exa. me pediu para avaliar, para fins de parecer, a efetividade de uma lei de incentivos fiscais. Eu tive que passar a vergonha de responder a V.Exa.: "Não posso, Deputada, porque a lei não foi pensada com mecanismos para isso, porque o Executivo não instituiu mecanismos para isso e porque nós no Congresso também não instituímos mecanismos para isso".
Então, a preocupação com a avaliação de política públicas tem que ser uma preocupação do draughtsman, do legislador, daquele que desenha a própria legislação que vai fundamentar essa política pública que vai ser avaliada.
Em uma situação de protagonismo do Congresso, como nós estamos vendo de alguns anos para cá, em que ele vem se tornando ativo em propor e implementar políticas públicas não apenas a reboque do Executivo, essa responsabilidade se torna ainda maior. Tomemos a reforma da Previdência que o Congresso aprovou. Agora é preciso saber qual foi o impacto dessa reforma em âmbito social e em âmbito de contas públicas.
Nós estamos próximos de aprovar uma reforma tributária. Daí já devemos nos perguntar, desde agora, quais são os indicadores que queremos alcançar com a aprovação dessa reforma.
A legislação-álibi, como o Prof. Marcelo Neves, da UnB, chama a legislação aprovada apenas para se dizer que foi aprovada, não é mais um paradigma aceitável na democracia do século XXI.
A terceira preocupação é a disponibilidade da informação. Até pouco tempo atrás, o Estado era monopolista da informação pública. Hoje, essa informação não é mais controlada, nem no seu conteúdo nem no seu tempo, pelo Estado, ela está o tempo todo nas redes sociais, na rua. Para enfrentar a perda de monopólio da informação, o Estado tem que prestar uma informação qualificada e, para isso, tem que produzir uma informação qualificada. Daí também a importância da avaliação de políticas públicas.
Feitas essas considerações, muito me anima ver um seminário desta natureza desenvolvido no âmbito do Legislativo. Desejo, em nome do Sr. Diretor-Geral, um excelente seminário a todos vocês e espero que os resultados vertam-se sobre o processo legislativo na prática, nos anos que virão.
Muito obrigado.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Jules, somos nós que agradecemos as excelentes colocações. Realmente, isso nos ajuda a enriquecer o debate, que vai se estender. Hoje, amanhã e sexta-feira, nós estaremos aqui de 9 horas da manhã até meio-dia e meia.
Agora queremos ouvir a representante da Consultoria Legislativa da Câmara que também colaborou na organização do nosso seminário virtual, a Luciana Teixeira.
Tudo certinho por aí, Luciana?
09:44
RF
A SRA. LUCIANA TEIXEIRA - Bom dia, Carolina, Deputada Soraya, Ministro Nardes, Jules, Marcus, Claudionor e todos os que estão aqui presentes.
Eu queria cumprimentar todos, mas especialmente os organizadores do seminário, não só os presidentes das associações, mas também o nosso colega Fábio Gomes, que é um dos mentores, quem, de fato, acreditou nessa ideia, implementou-a e fez com que este seminário pudesse acontecer.
Depois das falas da Deputada, do Ministro, do Jules e do Marcus, resta pouco a dizer, porque este debate ficou muito situado, e acredito que os pontos mais relevantes quanto à avaliação de políticas públicas já foram muito bem colocados.
Queria só ressaltar, na fala da Deputada Soraya e do Ministro Nardes especialmente, a questão da importância para a avaliação orçamentária não só das metas financeiras mas também das metas físicas, para que, de fato, nós possamos avaliar a efetividade e a eficiência das políticas públicas, como também o meu colega Jules aqui ressaltou.
Eu queria colocar também algumas questões.
Atualmente, com a publicação em 2019 do decreto que instituiu o Conselho de Monitoramento e Avaliação de Políticas Públicas no âmbito do Executivo, esse debate tem avançado; e, com a publicação da Lei de Liberdade Econômica, houve a ampliação da avaliação, que se tornou obrigatória não só para as agências reguladoras, mas para todo o Executivo; recentemente, houve a publicação dos primeiros relatórios com recomendações e propostas do Conselho de Monitoramento e Avaliação de Políticas Públicas e, também, foi editada uma resolução do conselho, cuja organizadora é a Secretaria-Executiva do Ministério da Economia, que estabelece o processo de monitoramento dessas propostas, de alteração nas políticas públicas, já que todos os relatórios vêm acompanhados de recomendações.
Eu queria, então, enfatizar um dos aspectos, que é a questão do envio. No próximo ano, esses relatórios serão enviados para o Congresso Nacional. Então, acredito que, neste momento, é ainda mais oportuno discutir o papel do Legislativo na avaliação dessas políticas públicas que serão enviadas. E, finalmente, então, teremos que discutir essa avaliação ex post, mas também, agora, no seminário, a avaliação ex ante dessas políticas, o que também é igualmente importante.
A meu ver, este seminário é um marco na discussão e nos debates, e ainda mais oportuno neste momento de crise e de limitações orçamentárias e financeiras pelo qual passamos, para que conjuguemos não só as metas financeiras mas também as metas físicas, a fim de que a população brasileira possa, de fato, ser atendida.
E nós, no Congresso Nacional, temos um papel muito importante no desenho dessas políticas e na efetividade, para que elas consigam, na ponta, cumprir os seus objetivos.
Não vou me alongar, porque nós estamos aqui muito curiosos, eu especialmente, pela fala do Prof. Evert.
09:48
RF
Então, eu queria desejar a todos um excelente seminário, um bom trabalho, agradecer o convite e dizer, em nome da Consultoria Legislativa (CONLE), que é uma satisfação poder apoiar um seminário de grande relevância, cujo tema é muito oportuno. Acredito que essas discussões podem avançar no adensamento das discussões no Congresso Nacional, especialmente na Câmara dos Deputados, em relação à avaliação de políticas públicas no País.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Muitíssimo obrigada, Luciana, pelas suas considerações.
Além da ASLEGIS e da ALESFE, nós temos o SINDILEGIS também como um dos organizadores do nosso evento. O Presidente Petrus Elesbão teve um imprevisto familiar e, infelizmente, não pôde estar presente aqui conosco nesta abertura, mas, ao longo do nosso seminário, ele vai participar e dar a sua contribuição.
Vamos dar início à nossa programação.
A partir de agora até às 10h50min, nós vamos assistir a uma palestra, seguida de um debate sobre o tema central aqui do nosso seminário, que é justamente: O Papel do Legislativo na Avaliação de Políticas Públicas.
Depois, nós faremos um intervalo bem rapidinho de 10 minutos e, na volta, teremos uma mesa-redonda para falarmos um pouquinho das experiências internacionais e de como acontece essa avaliação em outros Parlamentos.
Neste primeiro momento, nós teremos aqui a participação do palestrante, o Prof. Evert Vedung, da Universidade de Uppsala, na Suécia. O debatedor será o Prof. Bernardo Kipnis, da Universidade de Brasília — UnB; e o coordenador será o Fábio Gomes, da ASLEGIS. Nós também recebemos o Prof. Luiz Pedone, da Universidade Federal Fluminense.
Sejam todos muito bem-vindos. Obrigada pela participação. (Manifestação em língua estrangeira.)
Lembramos a todos que haverá uma tradução simultânea do inglês para o português para vocês não perderem nadinha.
A palavra está com você, Fábio.
O SR. COORDENADOR (FÁBIO GOMES) - Obrigado, Carolina.
Inicialmente, eu gostaria de agradecer a presença de todos, nas pessoas da Deputada Soraya Santos, do Ministro Augusto Nardes, da Luciana Teixeira, Diretora da CONLE, dos presidentes das entidades e, é claro, do Prof. Evert Vedung.
Eu vou compartilhar a minha tela para fazer a apresentação do professor.
Vocês estão visualizando a minha tela com os dados do professor? Está o.k.? Então vou prosseguir.
(Segue-se exibição de imagens.)
O Prof. Evert Oskar Vedung é doutor em filosofia e ciência política da Universidade de Uppsala, na Suécia, e professor emérito dessa instituição — ele está aposentado. A sua obra tem sido referenciada em cursos de políticas públicas nos Estados Unidos e na Europa, abordando, entre outros temas, a avaliação de políticas públicas. Então, ele é um renomado pesquisador, um cientista político, que traz para a nossa discussão, além da visão acadêmica da administração pública, das políticas públicas em geral, com as quais já estamos acostumados, também a visão da ciência política, o que eu acho muito interessante para nós que somos uma Casa política, no caso a Câmara dos Deputados.
09:52
RF
Aqui cito algumas das destacadas publicações do professor: Public policy and program evaluation, em 1997; Carrots sticks and sermons: policy instruments and their evaluation, em 1998; Four waves of evaluation, 2010; Six models of evaluation, 2013; Six uses of evaluation, 2015; Implementation in public policy and public administration, 2016; e, mais recentemente, um capítulo Policy evaluation em The sage handbook of political science.
Também queria destacar que o professor tem atuado no Brasil já com uma boa experiência. Ele já ministrou aulas na ENAP — Escola Nacional de Administração Pública, ele mencionou antes de nós começarmos, também, no TCU e na UnB. Também me lembro de uma palestra que ele realizou no Senado Federal e gostaria de destacar uma palestra que ele fez muito gentilmente no CEFOR, da Câmara dos Deputados, em 8 de novembro de 2017, também sobre o tema de avaliação de políticas públicas.
Então, sem mais demora, passo a palavra ao professor. (Manifestação em língua estrangeira.)
09:56
RF
O SR. EVERT VEDUNG (Manifestação em língua estrangeira. Tradução simultânea.) - Muito obrigado pela sua apresentação na introdução, Fábio. Obrigado por me convidar para este grande evento. É uma honra estar aqui falando para vocês. A audiência é impressionante. Diante de mim, há profissionais e autoridades. Vou fazer o meu melhor.
Este talvez seja o meu livro mais importante: Public policy and program evaluation (Avaliação de Programa e Políticas Públicas). Uma versão em português sairá em breve. Uma edição revisada será publicada em breve em português.
Eu sou um cientista político. A avaliação de políticas públicas é uma aventura transdisciplinar: temos psicólogos, economistas, pessoas das áreas da saúde pública e da educação e também cientistas políticos. Todos nós temos abordagens diferentes na avaliação de políticas públicas. O que vocês vão receber de mim é uma visão de um cientista político sobre o papel do Legislativo na avaliação das políticas públicas.
Vou começar dizendo das duas abordagens de avaliação.
A primeira é a democracia representativa. É muito típico fazermos a ligação entre a avaliação da democracia com a cadeia de governança parlamentar.
Em segundo lugar, minha abordagem está ligada... A avaliação de políticas públicas é uma área muito diversa e vem em ondas. Começou nos anos 60 a primeira onda. Nós tivemos várias ondas de avaliação de políticas públicas, algo muito diverso. Não se trata apenas de avaliação econômica, de eficiência e eficácia, há outras coisas envolvidas nessas ondas.
10:00
RF
Vou chamar atenção para a nova onda de governança pública, porque há uma diferença na nova gestão pública que, desde os anos 90, passou a se chamar governança. Eu acho que, no Brasil, quando os senhores falam em transversalidade, trata-se dessa nova governança pública. Essa onda tem a ver com complexidade. Há vários problemas complexos, e eu voltarei a esse ponto.
Esta é uma imagem da cadeia de governança parlamentar na democracia representativa. Quando os estudantes iniciam as aulas de ciências políticas, nos primeiros meses, nós mostramos essa teoria da democracia representativa.
Se os senhores observarem a parte de baixo, à esquerda, verão os cidadãos. Numa democracia, são os cidadãos que governam, o demos tem que governar; mas os cidadãos não têm tempo e competência, por isso eles precisam eleger agentes para tomar decisões por eles. Então, eles elegem os parlamentares, e aí temos o parlamento; porém o parlamento também não tem tempo e, às vezes, conhecimento técnico — eu não estou falando sobre Belo Horizonte, por exemplo, estou falando de cidades bem pequenas. As pessoas não conseguem tomar as decisões, então elegem governantes. Os governos também não têm tempo e competência técnica, então eles elegem agências nacionais para decidir. Essas agências também não têm tempo e competência, então apontam agências regionais e agências locais. E, se há decisão nesse nível — por exemplo, introduzindo uma política sobre a crise da pandemia —, basicamente é um programa das pessoas que se está introduzindo, de acordo com a teoria da democracia representativa.
O segundo ponto que nós podemos perceber nesse diagrama é que o parlamento são os agentes dos cidadãos, os servos dos cidadãos, mas também são os mestres do governo. Se vocês olharem para o governo, verão que o governo são os agentes do parlamento, mas também são os diretores das agências nacionais. Então, todos os atores nessa cadeia têm papéis duplos, e isso cria alguns problemas, conflitos e dissensões nela.
10:04
RF
O terceiro ponto que é importante saber dessa imagem é que os agentes recebem diretivas das pessoas. Eles dão ao parlamento, o parlamento dá ao governo, mas o parlamento também pede uma prestação de contas. Então, as instituições de auditoria entram para fazer essas avaliações. Essas cortes fazem um tipo de avaliação, de compliance, de adequação.
Basicamente, esta imagem é uma repetição do que eu acabei de falar no diagrama. Na democracia, demos é a parte mais importante, kratein, governo, todo o poder ao povo.
As pessoas não podem governar porque não têm tempo e não têm competência, então é preciso delegar.
Neste eslaide, temos a avaliação de políticas públicas. É preciso fazer a definição do tipo de avaliação que vou mencionar aqui, porque há uma diferença entre outros assuntos e há outras definições na literatura, mas que também são semelhantes de certa forma.
Avaliação tem a ver com valorar. Não é apenas a coleta de dados, mas uma definição do que é aceitável e do que não é aceitável, é uma espécie de julgamento.
Ela é também uma intervenção pública. Prefiro a palavra intervenção porque inclui também projetos, reformas e todas as coisas que o setor público faz. Então, você pode avaliar essas atividades também. Não estou falando sobre avaliação ex ante. Eu tenho falado de uma avaliação de política pública, depois que... Na ciência política, chamamos de ex ante, uma análise. É um pouco diferente para nós. A partir da decisão de uma intervenção pública, aí é que entra a avaliação.
10:08
RF
A avaliação tem a ver com implementação. Depois que as políticas são adotadas, nós temos camadas e camadas de implementação. Isso é muito importante em ciência política. Nós incluímos isso nas avaliações.
Em ciência política também estamos interessados em legitimidade, não apenas em efetividade e eficácia. A aceitabilidade do ponto de vista das pessoas é muito importante para nós cientistas políticos. Então, isso também está no processo, para que haja procedimentos devidos para avaliar serviços, por exemplo.
Também, a avaliação está relacionada com efeitos e resultados, é verdade. Para todos os cientistas políticos há essa ligação. Também está relacionada com os efeitos mais desejados, mas também com os resultados que não foram intencionados ou coisas que não foram previstas. E também há os efeitos colaterais. Isso também precisa entrar na avaliação de políticas públicas, efeitos bons e efeitos ruins. E nós estamos interessados também nessas coisas.
E, finalmente, uma avaliação deve ser algo prático, deve ser utilizada, deve ser usada. É algo que se faz para melhorar a sociedade e melhorar as políticas públicas.
Este é último ponto que quero falar sobre avaliação: avaliação na perspectiva de ciência política.
Há dois propósitos fundamentais. O primeiro é a prestação de contas, accountability. E alguns de nós temos um problema com essa palavra. Talvez os escandinavos, porque temos o conceito francês. Acho que alguém mencionou isto: responsabilité. Dizemos responsabilidade em vez de accountability. Mas os ingleses e americanos dizem accountability. E eu quero expandir um pouquinho a perspectiva de cientista político.
O segundo propósito é quando falamos das melhoras. Avaliação não é só para controle mas também para melhora, desenvolvimento, aprendizado e promoção, fazendo as intervenções ainda melhores.
Accountability, todos vocês vão reconhecer que alguns cidadãos têm alguns problemas com isso.
No primeiro item, os superiores delegam para seus subordinados algumas tarefas que têm que ser feitas. Eu mostro isso lá no meu Parlamento.
No segundo, superiores requisitam os subordinados para dar as contas da performance dessas tarefas. Eles têm que contar uma história sobre o que eles fizeram para o superior deles.
10:12
RF
No terceiro, os subordinados passam de volta as contas para os seus superiores.
No quarto, os superiores analisam essas contas e respondem, culpando ou louvando — ou o que seja — os subordinados pelas ações deles.
Accountability, na língua anglo-saxônica, está nos quatro itens aqui, é isso que eles querem dizer com accountability.
Eu acho que é tudo igual ao conceito em francês e em português que alguns de vocês mencionaram, e em sueco também. Na verdade, accountability é só um pingue-pongue, um bate e volta, uma ida e volta.
Há três tipos de prestação de contas hoje em dia na ciência política.
O primeiro tipo é a auditoria financeira, a econômica, a contabilidade fiscal, os fundos expandidos de acordo com os limites do orçamento.
O segundo é a performance da auditoria.
Acho que no começo era tudo sobre financeiro, mas, desde os anos 90... Do ponto de vista da ciência política, o impacto da prestação de contas é a intervenção que produz o resultado esperado, a avaliação orientada para metas. Esse é apenas um modo de avaliação que temos. Existem pelo menos dez modelos. O campo é muito largo. Nós temos o modelo orientado para clientes, além da avaliação orientada para metas.
Na avaliação de performance, temos ainda a prestação de contas da eficiência, para saber como os impactos estão relacionados com custos e intervenção. Os economistas falam sobre a avaliação relacionada com o custo, o custo-benefício, e também os cientistas políticos têm esse olhar.
E o terceiro tipo, a outra perna, a outra parte, de acordo com a ciência política, é a auditoria de implementação.
10:16
RF
Algumas disciplinas dizem que a avaliação só está relacionada a intervenções e resultados, como as intervenções produzem esses resultados e por aí vai. Os psicólogos, por exemplo, não têm implementação, no seu conceito de avaliação; os economistas, também; mas os cientistas políticos dão muita importância à implementação.
Penso que é importante para os tribunais de controle também terem esta visão: a prestação de contas das entregas. Os montantes de resultados estão sendo entregues? Os resultados estão sendo entregues?
Ainda na questão da implementação, temos a prestação de contas de cobertura. As pessoas atingidas foram aquelas designadas como alvo? Há beneficiários que não deveriam ser beneficiados, servidos?
Então, isso é o encaixe entre resultados e público-alvo.
Qual é o papel dos parlamentos em tudo isso do ponto de vista de avaliação?
Eles têm os órgãos superiores de auditoria. É claro que eles precisam ser independentes dos parlamentos e também precisam ser independentes dos avaliados. E essa independência normalmente está garantida na lei. Isso tem crescido, como vocês sabem, e se tornou uma profissão, ou seja, auditores profissionais estão fazendo auditorias financeiras, também estão fazendo avaliação, auditoria de performance. E essa auditoria, parece-me, ser muito parecida na parte de implementação e delegação, porque algum tipo de avaliação também é delegada para várias camadas de auditores no setor público. Por exemplo, no caso da Suécia, no tribunal de auditoria da Suécia, eles checam contas anuais disponibilizadas pelas agências.
Então, estão valorizando, estão julgando essas contas. Às vezes, checam representantes dos assuntos do governo. Eles delegam a avaliação para agentes que estão abaixo deles. E essas agências precisam disponibilizar as contas, e essas contas são checadas por tribunais superiores, e os tribunais superiores de contas relatam para o governo.
10:20
RF
Portanto, eles fazem sugestões, fazem elogios ou críticas, retificações.
Isso vai para o parlamento, que é o ator principal nesse caso, porque o parlamento é o representante do povo em uma democracia. Eles checam todos os pontos acima, as instituições de auditoria superior, checam tudo.
Isso gera ações de correção, então eles fazem uma meta-avaliação. É uma avaliação indireta, como tudo nessa cadeia de implementação; é uma delegação após uma delegação, após uma delegação.
De uma perspectiva da ciência política, o conceito de meta-avaliação é muito interessante, e também para a comunidade de avaliação de uma forma geral.
Então, os parlamentos são como auditores de última instância.
A sugestão, a ideia, poderia ser empoderar os parlamentares para realizarem melhor essa meta-avaliação. Eles poderiam melhorar a capacidade de fazer a meta-avaliação. Isso é desenvolvido na comunidade de avaliação. Nós temos cursos de meta-avaliação. Eu vou mostrar depois alguns exemplos, mas essa é a minha sugestão aqui. Nós podemos discutir isso, se for uma boa ideia.
Uma coisa boa que os parlamentos podem fazer é uma meta-avaliação melhor. Quais os prós e contras da meta-avaliação? Quais são as questões a serem perguntadas na meta-avaliação? Qual modelo de avaliação é usado? Os métodos de intervenção são aplicados? Quais são os métodos de coleta de dados?
Eu tenho uma figura aqui no eslaide que está em todos os meus livros e que mostra — espero que de maneira pedagógica — o que é a meta-avaliação.
Em cima da imagem, nós temos os processos de intervenção, iniciação, tomada de decisão e intervenção. Intervenção vem entre processos, sempre vem no meio deles. Depois que a política é implementada, ela produz alguns efeitos e alguns efeitos colaterais também. E a avaliação é feita com a intervenção, a implementação e os efeitos. E a avaliação também é retroativada porque a avaliação prática deve ser usada, deve melhorar a sociedade e melhorar os processos. Esse é o principal trabalho da avaliação.
10:24
RF
Na parte de baixo desta imagem, temos a avaliação da avaliação. Vocês conseguem ver? Isso eu não consigo ver exatamente daqui, mas eu acho que vocês têm a palavra "meta-avaliação" embaixo e a palavra "ouvidoria" embaixo também. Temos feedback e depois temos metarrevisão. Também se pode avaliar o feedback da avaliação. Isto é basicamente o que recomendo, que talvez vocês deveriam fazer mais.
Há vários "webinários" de meta-avaliação, da abordagem de meta-avaliação na Internet. E eu achei um feito pela minha colega María Bustelo Ruesta, que é Diretora de Master Avaliação em Programas de Políticas Públicas e professora de Ciências Políticas e Administração Pública da Universidade Complutense de Madri, na Espanha.
Ela tem "webinários" no assunto e seminários como este, na verdade.
O que é meta-avaliação? É a sintetização de uma avaliação que não é algo estatístico. Pode ser estatístico, que nós chamamos de meta-análise, mas é mais narrativo, para que os parlamentares, os políticos entendam. É uma revisão sistemática de algumas dessas avaliações. E também pode haver meta-avaliação em algo específico. Mas eu quero dizer que tudo isso, geralmente, é chamado de meta-avaliação.
O que está escrito no título acima (Parliamentary standing committees) pode ser uma questão para alguns parlamentares. Eles podem conseguir um treinamento em meta-avaliação também, em sintetização de meta-avaliação. Mas a minha segunda sugestão é que eles deviam resguardar as intervenções como algo mais geral.
Essa é minha ideia de apresentar em 5 minutos, em 2 minutos.
Mas deixe-me usar o caso da crise política no Brasil durante a pandemia. Você pode ver essa crise política, essa intervenção na crise política brasileira como um caso de crise política no geral, que é comparado com a crise de 1973 e com a crise política de 1978 dos aiatolás no Irã, a crise política no Irã. Pode-se ver uma intervenção acontecendo agora como um caso de algo mais geral. Isso é chamado de abdução. Isso não é estatística, não é generalização, é uma abdução de ver as coisas como um caso num contexto generalizado.
10:28
RF
Existe uma tríade que eu chamo de cenouras, paus — carrots and sticks — e instrumentos. Esses instrumentos podem ser uma madeira, um pau, para forçar as pessoas a fazerem alguma coisa, podem ser um incentivo, uma cenoura, por meio de apoio econômico de diversas formas, e podem ser também sermões ou cerimônias para informar às pessoas o que fazer e o que não fazer.
Vocês podem ver que, em alguns aspectos da pandemia no Brasil, alguns casos, por exemplo, significam uma cenoura, outros significam uma regulamentação, talvez um pau ou algum sermão.
Dei esse exemplo só para os senhores terem uma ideia desses três pontos. Isso é algo que, no Parlamento, pode ser delegado. Vocês podem inclusive delegar para universidades e centros de pesquisa. Vocês têm as instituições de controle para que haja uma avaliação sistemática sobre casos dentro de algo mais geral.
Vocês devem ser bastante seletivos porque a coleta de dados requer muito e não dá para fazer tudo. Tem que haver muito cuidado com essa avaliação. Não deveriam ser feitas mais avaliações, e sim avaliações de melhor qualidade; e, de vez em quando, deveria ser feita uma avaliação de pronto, instantânea, ad hoc, aqui e ali. Escolha alguns momentos e faça esse tipo de avaliação comparando com outros momentos.
Eu gostaria de dizer do papel duplo que encontramos na cadeia parlamentar de implementação. Todos os atores são principais e agentes ao mesmo tempo, porque são ao mesmo tempo superiores e subordinados, e isso cria tensões entre os atores. É como na história do Dr. Jakyll e Mr. Hyde, O médico e o monstro. Então, existem problemas nessa auditoria, nessa prestação de contas. Isso pode ser usado como um sistema de checagem. E isso é muito perigoso para esses atores, porque, quando se faz a prestação de contas, enquanto subordinados, pode-se descobrir algo, e isso pode ser usado contra eles. Essa avaliação de prestação de contas se torna adagas contra eles mesmos. Nesses casos, os principais evitam avaliações ou eles não fazem de forma nenhuma. Portanto, quando esses resultados são reprimidos por superiores, há um efeito contrário.
10:32
RF
Acho que pude dar uma ideia geral.
Mas me deixem dizer outra coisa: a assimetria de informação em favor dos agentes. Os agentes podem ter a tendência de enganar. Então, eles "performam" as atividades só para passar pelos controles dos superiores, mas não mais do que isso. Então, em vez de trabalhar, eles fazem trabalhos privados, eles gastam tempo fazendo trabalhos pessoais durante o horário de trabalho.
Isso é muito familiar para todos nós. E os agentes podem fazer isso por causa da superioridade de informação. É muito fácil de se esconder.
Então, a assimetria da informação está em favor dos agentes. Por exemplo, um trabalhador social pode trabalhar no escritório e fora do escritório, interagindo com clientes. Então, eles sabem muito mais sobre o trabalho que está sendo feito do que os gestores, e, da mesma forma, ocorre com os diretores, os professores de uma escola.
Essa assimetria de informação desequilibra um campo em favor do agente que tenha interesse no comportamento.
Algo que aponta na mesma direção é o poder de erosão da confiança na prestação de contas. É um estresse em cima da prestação de contas. Os agentes não querem fazer um bom trabalho, porque eles recebem críticas por tudo o que fazem.
10:36
RF
Então, algum tipo de prestação de contas ou muita prestação de contas pode se tornar contraproducente. No livro A Volta ao Mundo em 80 Dias, Passepartout é o servo perfeito para o Phileas Fogg: Passepartout é o agente, e Phileas Fogg é o principal; Passepartout antecipa os desejos do Phileas; e Phileas não tem que dar nenhuma ordem, por causa da antecipação do Passepartout. Esse mecanismo pode trazer prejuízo quando existe muita prestação de contas ou muito estresse, o que causa a erosão da confiança, destrói a confiança.
Eu acho que vou parar por aqui, para ver se conseguimos fazer uma discussão sobre esse problema que temos no Governo. Se você olhar a cadeia de implementação, vai se perguntar: "Será que isto é uma boa ideia? A democracia representativa, com essa longa cadeia de implementação, pode levar à desconfiança". Eu responderia que "não", que isto não é uma boa ideia. Mas também vou mencionar que todas as demais alternativas são piores. Para citar Winston Churchill, digo que a democracia é ruim, mas que todas as demais alternativas são piores.
Então, a democracia é o melhor que nós temos à disposição. Desde o começo do século XX, as democracias ganharam três guerras: a Primeira Guerra, a Segunda Guerra e a Guerra Fria. Isso é um trabalho impressionante, uma performance impressionante das democracias.
A segunda parte é o propósito de desenvolvimento, a parte promocional no propósito da avaliação.
Na avaliação de políticas públicas, nós falamos de desenvolvimento formativo, quer dizer, em melhorar a intervenção. Nós fazemos uma avaliação para melhorar a implementação de outra avaliação que já acontece. Isso é um propósito da avaliação. A segunda parte é somativa, é sobre melhorar o novo futuro de intervenções não feitas anteriormente. Numa crise como a de agora, você pode fazer uma somativa numa forma de abdução, comparando com outras crises políticas que ocorreram recentemente, para que a próxima crise política seja melhor. É muito tarde para fazer algo para melhorar a performance de agora, mas você pode fazer algo para melhorar a do futuro.
10:40
RF
Eu começo com as minhas cinco ondas de avaliação, que vieram para o mundo atlântico e para o Brasil. Nem todos os países do mundo do lado oeste passaram por isso. A Finlândia não tem a primeira onda. A Alemanha também não tem a primeira onda e, talvez, não tenha a segunda também. Há diferenças entre os países. Mas, de qualquer forma, essas são as chamadas quatro ondas de avaliação, que têm uma parte muito pequena, de duas páginas. Vocês podem encontrar tudo na Internet. Eu falei disso no Brasil, em outros anos anteriores. Aqui, o maior interesse é a onda número 5, a nova governança pública, de que eu gostaria de falar por um momento.
Formalmente, na avaliação de políticas públicas, na ciência política, nós falamos de governantes, de cooperação entre agências basicamente. Isso é algo novo em gerenciamento público. O que é gerenciamento público, é gestão pública? Isso fala sobre competição. Tem que haver competição entre as agências, que têm que competir entre si. Essa eficiência de custo é importante no setor público, é verdade. Mas a nova governança política fala sobre outras coisas. Ela fala sobre cooperação, pois as agências não podem competir, elas têm que cooperar. Ela fala sobre complexidade, transversalidade, horizontalidade, coprodução e colaboração governamental, para surgirem novas intervenções, que criem novas situações onde existem problemas muito complexos, como, por exemplo, as mudanças climáticas ou outros desse tipo.
Esse tipo de governança parece demandar um outro tipo de gestão pública e avaliação. Eu fiz uma comparação aqui entre uma nova gestão pública das ondas de governança política, a marquetização, os contratos de competição e a redução de custos. Acho que todos vocês sabem sobre gestão pública. Aqui na Europa, é bem comum esse termo e a avaliação pela comunidade também. Aqui na Europa, nós falamos bastante sobre isso, para nos referir a essa transversalidade nas políticas públicas. O que é a nova governança pública? Eu tentei resumir um pouco quais são as propriedades constituintes da governança pública.
10:44
RF
A primeira cocriação, item 1a, fala do envolvimento de diferentes agências públicas horizontais, para colaborar, inovar, criar e implementar novas políticas, da cocriação lateral e o cruzamento horizontal das fronteiras, que você encontra nesse tipo de governo especificamente.
A segunda cocriação, item 1b, fala do envolvimento de vários atores públicos verticalmente, para indicarem uma mudança de direção. Tem que existir algum tipo de direcionalidade nesses novos atores públicos, o que tem que ser definido por alguém, talvez pelo Parlamento ou por um governo. É necessário criar um futuro e criar propostas políticas que inovem. E, uma vez que essas propostas são adotadas em âmbito governamental, devem-se criar recursos financeiros para a implementação das políticas. Esse é um cruzamento de fronteiras vertical. Existem fronteiras entre as agências. E essa é uma ideia muito importante nesse conceito.
A terceira cocriação era para ser a 1c, mas eu coloquei como 1e. Ela fala do envolvimento extragovernamental de stakeholders — indústrias, clientes e cidadãos, talvez —, como experts de grupos que pressionam para serem criadas novas políticas de forma colaborativa e para implementá-las. Isso tem que acontecer num longo termo, e as metas têm que autorizar isso.
10:48
RF
Esta parte é algo novo. Eu ainda não estou completamente certo disso. Mas talvez a avaliação devesse ser contínua, o tempo todo, real time. Na União Europeia, no período do programa que terminou em 2013, eles levantaram a ideia de fazer uma avaliação contínua, que estivesse acontecendo o tempo todo, tentando melhorar os programas que estão sendo executados.
Esse tipo de avaliação da governança deveria ser contínuo, com uma melhoria contínua, com um aprendizado contínuo, melhorando a intervenção. Isso é um refinamento, isso tem a mesma direcionalidade, mas deve estar focado na melhoria.
A avaliação das prestações de contas é sempre necessária. Precisamos ter uma avaliação das prestações de contas. Eu não sou contra essa avaliação, mas acho que ela tem que ser organizada de forma especial e deve estar separada da avaliação do desenvolvimento, porque, se elas estiverem misturadas, não haverá desenvolvimento de forma nenhuma, por causa do medo da prestação de contas, o jogo de culpas do principal e do agente. Isso é um pouco uma ideia nova, sobre a qual não tenho escrito muito. Mas a prestação de contas é necessária e deveria seguir em frente, porém deveria ser apartada da avaliação de desenvolvimento.
Pode-se dizer também que as avaliações precisam ser entrelaçadas. Como os rastafáris, que têm aqueles cabelos cheios tipos de tranças, as avaliações deveriam ser entrelaçadas na intervenção que estão avaliando e não deveriam ser independentes, como as auditorias de prestação de contas. Então, as avaliações deveriam estar junto das intervenções.
A coleta de dados também realizada pelos clientes e burocratas na linha de frente precisa estar envolvida na implementação da intervenção. Uma coisa que dá muito trabalho na avaliação é a coleta de dados. Você precisa de muitos dados para fazer uma avaliação. Nesse caso, como se trata das mesmas pessoas que estão fazendo a intervenção, então, elas conhecem o campo, e você não precisa coletar tanta informação.
O desenho e os achados da avaliação têm que ser anotados continuamente, com as pessoas implementando a intervenção e a avaliação da intervenção.
10:52
RF
Isso pode ser feito em formato de testes.
(Intervenções em língua estrangeira.)
O SR. EVERT VEDUNG (Manifestação em língua estrangeira. Tradução simultânea.) - Já estamos chegando ao final.
Isso pode ser feito em forma de testes, de tentativas. Conforme diz o item 3, isso deveria estar fora do maquinário das organizações-mãe e deveria funcionar como os projetos: ter recursos próprios e ser limitado pelo tempo, com prazos.
Como isso pode ser encorajado pelos Parlamentos? Quais são as sugestões? A minha proposta é que todos os participantes deste workshop tenham ideias. Talvez os Parlamentos sejam os avaliadores de última instância, sejam os agentes do povo mais importantes dentro de uma democracia. Como as pessoas não têm tempo nem competência de fazer isso, elas, então, elegem o Parlamento para fazê-lo. E os Parlamentos podem exigir dos governos que peçam às regiões propostas de eliminação de obstáculos, para monitoração e avaliação de testes. Talvez alguns desses obstáculos possam ser eliminados, mas é preciso haver propostas para isso. Então, os Parlamentos podem exigir dos governos propostas de eliminação de obstáculos, para, além de eliminarem os obstáculos aos testes, também eliminarem os obstáculos à monitoração.
Há outras ideias substanciais que podem ser exigidas nos testes e que alguns governos europeus estão fazendo. Em Berlim, na Alemanha, há uma organização chamada (ininteligível). O Governo está pedindo aos agentes que coletem propostas, como as que eu sugiro aqui.
10:56
RF
Este é o meu currículo no Brasil. Como o Fábio já me apresentou, eu não preciso repetir as informações. Enviei a apresentação, então, vocês podem ter acesso a ela depois deste evento.
Muito obrigado a todos.
O SR. COORDENADOR (FÁBIO GOMES) - Muito obrigado, professor, pela brilhante apresentação. Nós agradecemos o compartilhamento do conhecimento teórico na área da ciência política e também do conhecimento prático em avaliação.
Lembrei-me de uma atividade que temos no mestrado em Poder Legislativo, do CEFOR. Nós temos uma disciplina sobre avaliação de políticas públicas e, ainda nesta semana, terminamos as aulas deste semestre. Já foram três versões, mas eu me lembrei disso porque debatemos muito o seu livro sobre avaliação de políticas públicas e também o referencial teórico do TCU.
Sem mais demora, passo a palavra ao nosso debatedor Bernardo Kipnis, professor e pesquisador da Universidade de Brasília, da Faculdade de Educação.
O Prof. Bernardo Kipnis possui doutorado em Educação pela Universidade de Londres; mestrado em Economia pela UnB; graduação em Economia pela Universidade Estadual do Rio de Janeiro; e pós-doutorado pela Universidade da Califórnia, em Berkley, nos Estados Unidos, e pela Monash University, na Austrália. Ele atua no Programa de Pós-Graduação em Educação, de mestrado profissional, e coordena, atualmente, o projeto de implantação da Escola Nacional dos Direitos da Criança e do Adolescente, em parceria com o Ministério da Mulher, da Família e dos Direitos Humanos e o PNUD. O campo de pesquisa do professor é em políticas públicas e avaliação na área de epistemiologia e metodologia da pesquisa social.
Por favor, Prof. Bernardo, fique à vontade para falar por uns 5 minutos a 10 minutos.
Obrigado.
O SR. BERNARDO KIPNIS - Bom dia a todos e todas.
Inicialmente, quero agradecer o convite de, primeiro, poder escutar a palestra do Prof. Evert, e, segundo, também poder conversar e comentar um pouco sobre esse conhecimento tão importante.
Pelo que vimos na mesa de abertura, há um consenso sobre a relevância e a importância da avaliação, que talvez seja uma questão mais conceitual e também instrumental. Há também a questão dos processos e procedimentos.
Vou só colocar alguns pontos que me chamaram atenção na palestra do Prof. Evert. Na verdade, nesse último projeto que foi citado, feito com o Ministério da Mulher, da Família e dos Direitos Humanos, com a Secretaria Nacional dos Direitos da Criança e do Adolescente, nós estamos trabalhando exatamente com uma política de formação continuada para dar sustentação à política pública na área dos direitos da criança e do adolescente. Eu tenho a oportunidade de trabalhar com o Prof. Evert e, em relação aos trials que ele estava mencionando da necessidade de se ter experiências mais focadas, acho que essa é uma delas, na direção da segunda visão que ele propôs sobre avaliação, que é a avaliação para o desenvolvimento.
11:00
RF
Ele foi bastante detalhista também na questão da accountability e da avaliação nesse formato. Na verdade, já se tem todo um conhecimento produzido e indicadores, e isso também apareceu na mesa de apresentação, mas eu queria focar um pouco mais a segunda visão dentro da perspectiva da New Public Governance, da nova governança pública. Esse conceito de governança passa a ser central, e nós vimos também dentro da apresentação nas palavras do Ministro Nardes como isso vem evoluindo aqui no Brasil.
Eu queria chamar a atenção para a segunda visão de avaliação, sem desmerecer ou deixar a outra de accountability presente, reforçando a situação que nós vivemos com a política pública, que é uma situação que ele denominou complexa. Nós vivemos em sociedades complexas, os problemas são complexos e, portanto, a política pública tem que dar conta disso. Complexidade não é no sentido de complicado, mas é complexidade porque envolve muitos agentes e muitos níveis governamentais. O que se está chamando de transversalidade nada mais é do que isso. Como você consegue conversar sobre avaliação, articulando e definindo um desenho, com toda essa abrangência e, principalmente, toda a incerteza? Ele não colocou isso explicitamente, mas nós hoje vemos — e a questão da crise é um reflexo disso — que vivemos uma sociedade em tempos de incerteza. Então, qualquer planejamento precisa ser mais flexível.
Aí entra, eu vejo, a questão da avaliação para o desenvolvimento, primeiro pelo envolvimento dos participantes. Não é só uma avaliação de fora, mas, na verdade, com quem de fato está lidando com os problemas, com os que estão na ponta. Então, essa co-construção, como dito, essa cooperação passa a ser constituída de situações bastante relevantes e reais, das quais a avaliação precisa dar conta. Quando ele propõe um guarda-chuva de gols, um guarda-chuva de finalidades ou objetivos, no fundo isso significa deixar uma margem, deixar um espaço para que a política, para que aquela intervenção possa, de fato, ser bem-sucedida.
Outro fator importante é o que nós chamamos de monitoramento, eventualmente. Mas se trata de um monitoramento com feedback, e uma própria mudança no processo. Não é simplesmente acompanhar, mas também poder mudar ao longo do processo. Eu acho que essa visão traz elementos hoje de que precisamos ter a experiência, porque não está tão consolidada quanto a accountability, quanto a outra, mas eu vejo que passa a ser muito importante. Isso se traduz nesse projeto, que vimos desenvolvendo em conjunto, de avaliação, em que há uma política aplicada a um sistema chamado Sistema de Garantia de Direitos ou Sistema Nacional de Atendimento Socioeducativo. Então, esse sistema que envolve diferentes agentes, diferentes parceiros e diferentes Ministérios exatamente reflete essa outra visão. O esforço todo que estamos tendo é de tentar ver, dentro desses conceitos e da metodologia proposta, como podemos avaliar essa experiência. Já desenvolvemos a metodologia, dentro do modelo proposto pelo Prof. Evert, que permite, dentro desse marco conceitual, talvez entender e talvez se ajustar ao que necessário se faz, ainda que esteja em processo.
11:04
RF
Então, eu queria ressaltar essa questão da flexibilidade, da complexidade e da necessidade de haver propostas inovadoras que, a meu ver, só surgem quando há espaço, quando não se está tão amarrado, embora existam direções. A meu ver, digamos que essa é outra representação, outro marco conceitual que eu acredito que tenha um percurso, um espaço grande dentro da política pública brasileira.
Foi, por exemplo, proposto o Plano Nacional de Educação, um plano para 10 anos com metas e tudo mais. Existe hoje, mais do que antes, um acompanhamento usando a tecnologia com o Observatório do PNE. Como é que se dá esse acompanhamento e as mudanças, ao longo de 10 anos, sem precisar esperar o final para poder, então, decidir?
Esses são os desafios, e eu acho que essa visão agrega, porque também traz a necessidade do aprendizado. E o conhecimento não só está com especialistas de avaliação. Eles têm conhecimento, mas esse conhecimento é aprendido em todo o processo de implementação do programa. Então, essa é questão da implementação.
A outra questão que eu ressalto, com relação à qual ele faz uma sugestão do ponto de vista do Legislativo, é essa preocupação com a meta-avaliação, com a possibilidade de se criar uma dinâmica, uma forma de o Parlamento, em parceria com universidades e institutos de pesquisa, ter essa visão ampla, no final das contas, da corrente que ele coloca, que ele bem apresentou naquela figura, dentro de uma democracia parlamentar, de como também o Parlamento pode se ocupar disso e pode ter todos esses insumos. Enfim, eu vejo que — o próprio Ministro Nardes mencionou isso — existe uma gama de indicadores hoje presentes, ou seja, existe conhecimento, existem informações. A questão é o uso delas e para qual objetivo. Essa visão é um pouco mais para o desenvolvimento, permitindo que, de fato, possa se avaliar o resultado, mas dentro dessa nova percepção. E ele contrapôs muito claramente a nova governança pública com a nova gestão pública, que foi mais da década de 90. Eu acho que é algo que vale a pena tentar. É uma contribuição do Prof. Evert em termos da sua teoria de intervenção, junto com stakeholders. Então, é um desafio. Eu acho que o próprio seminário pode desenvolver também essas questões e, de repente, sair com ideias e com possíveis tentativas, possíveis experimentos e experiências que podem dar um caminho para que construamos uma possibilidade nessa direção.
11:08
RF
Eu só queria ressaltar outro conceito que chama a atenção, o conceito de trust, o conceito de confiança. Um dos obstáculos dentro da perspectiva da accountability é toda aquela relação que gera vários problemas, mas o conceito de confiança hoje para mim é central, de como envolver horizontalmente tantos atores. Você não consegue com base só nas regulações e em todos os mecanismos. Elas existem, mas, se não houver essa confiança entre parceiros e entre pessoas de que está se querendo a melhoria, o desenvolvimento daquela intervenção, daquela política pública, daquele programa, então fica muito mais difícil implementar.
Na prática, na avaliação desse projeto, começamos a perceber como instituições tão diferentes, mas que estão juntas para algo em comum, trabalham, se relacionam e como elas resolvem conjuntamente, o tempo todo, os problemas que vão surgindo. Nós estamos numa era de incerteza mesmo, como já se dizia, uma era de resultados não planejados.
Este é outro elemento que o Prof. Evert trouxe: você pode planejar tudo, pode definir os resultados, mas sempre vão surgir outros não esperados, não planejados. E há também os side effects, o que você tem ali que também não estava previsto, mas que vai acontecendo.
11:12
RF
Estas são as contribuições que eu gostaria de deixar. E agradeço ao Prof. Evert pela palestra. Para mim, sempre é uma satisfação muito grande trabalhar e aprender também com ele.
Obrigado, Fábio, pelo convite.
O SR. COORDENADOR (FÁBIO GOMES) - Obrigado, Bernardo, por suas palavras.
Antes de passar para as considerações finais do Prof. Evert, nós gostaríamos de ouvir o Prof. Luiz Pedone, da Universidade Federal Fluminense, que foi convidado para estar aqui na sala pelo próprio Prof. Evert.
Com a palavra o Prof. Luiz Pedone.
O SR. LUIZ PEDONE - Muito obrigado, Fábio. Muito obrigado a todos. Muito obrigado, Prof. Evert.
Eu vou falar em português, porque deve haver tradução para quem não entende português.
Em primeiro lugar, eu gostaria de dizer que tenho trabalhado com o Prof. Evert há muito tempo. Faz 8 anos que ele tem vindo à Universidade Federal Fluminense. Nós temos realizado cursos de avaliação de políticas públicas como um todo. E fizemos uma tradução e uma ampliação do seu livro de avaliação de políticas públicas, que está sendo lançado. Só não foi lançado ainda por causa da pandemia. O principal responsável pela gráfica do livro sofreu uma operação seríssima recentemente e atrasou mais ainda. Mas deve ser lançado em breve o livro de avaliação de políticas públicas e programas governamentais. A tradução (falha na gravação), na qual eu também sou coautor. O Prof. Evert me deu a graça de ser coautor.
O Prof. Bernardo Kipnis é velho conhecido. Eu fui da Universidade de Brasília durante 30 anos. Ao mesmo tempo em que ele fazia mestrado em Economia, eu fazia mestrado em Administração. Fizemos até uma ou duas matérias juntos lá na Economia, se eu não me engano, uns quarenta e tantos anos atrás. Foi um prazer, Bernardo.
O que eu gostaria também de enfatizar é a importância do tema no Brasil. Eu fui um dos primeiros pesquisadores sobre políticas públicas, nos anos 1984 e 1985, assim que voltei do meu doutorado nos Estados Unidos. Um dos primeiros livros que saiu da fundação do serviço público, a antiga Escola Nacional de Administração Pública, nos anos 1986, foi um livro sobre políticas públicas que eu elaborei à época, nos anos 1980. E havia cursos da Universidade de Brasília com o Tribunal de Contas da União, em 1997, 1998. Também participei disso no Núcleo de Pesquisa em Políticas Públicas, com o Paulo Calmon, da Universidade de Brasília. Então, não é nenhuma novidade que este tema está na ordem do dia. A avaliação de políticas públicas vem aumentando sua importância no Brasil. Inclusive, deu-me muita satisfação ouvir a Carolina falar nesta Comissão sobre esse Conselho de Monitoramento e Avaliação de Políticas Públicas, implantado no Ministério da Economia, que vai mandar relatórios para o Congresso. Ótimo! Que bom!
11:16
RF
Isso tem que ser feito e tem que ser usado na Câmara e no Senado, no Congresso, pelos legisladores, não só para avaliar pelo lado da accountability, da equidade e da responsabilização, mas também, como muito bem disseram o Evert e o Bernardo, a respeito da nova área de avaliação, desenvolvimento, melhoria e inovação das políticas públicas. Elas são complexas, envolvem multiorganizações, multiníveis de governo — municipal, regional, estadual, federal, internacional, inclusive — e precisam ser bem estudadas, bem analisadas, bem avaliadas e bem desenvolvidas para que nós tenhamos, cada vez mais, melhores políticas públicas para a sociedade. A sociedade precisa disso; e não só precisa como também exige, por outro lado, dos representantes eleitos e governantes.
Gostaria de encerrar por aqui e de agradecer a você, Fábio Gomes, e aos outros envolvidos na organização do evento.
Quero também parabenizá-los, porque este evento deve dar bastantes resultados e oportunidades para o desenvolvimento de ações que levem exatamente ao que se sugeriu no segundo ponto: desenvolvimento da avaliação de políticas públicas.
Muito obrigado.
O SR. COORDENADOR (FÁBIO GOMES) - Obrigado, Prof. Luiz.
Agora eu pediria ao Prof. Evert para realizar as suas considerações finais, dizendo algo que ainda queira acrescentar a respeito desse tema.
O SR. EVERT VEDUNG (Manifestação em língua estrangeira. Tradução simultânea.) - Muito obrigado pelo seminário. É um prazer estar aqui.
Também quero agradecer aos comentadores. Eu não consegui ouvir exatamente, mas agradeço-lhe, Bernardo, em primeiro lugar.
Eu acho que essas ideias sobre desenvolvimento e avaliação têm que ter continuidade e complexidade, têm que ter monitoramento e têm que ter flexibilidade e inovação.
Eu acho que foi muito importante para o desenvolvimento dessas ideias, porque nós trabalhamos juntos há muito tempo com isso e com a avaliação do tipo de programa sobre isso. Isso realmente é caracterizado pela complexidade. Nós temos também o contexto internacional nesse projeto. É bom ressaltar isso.
11:20
RF
Então, eu espero que nós possamos dar continuidade a isso no futuro.
Agradeço ao Luiz Pedone, que contribuiu com inovação e implementação, que são bem importantes na avaliação.
Agradeço a ambos e também ao Fábio, pelo seu compartilhamento excelente nesta reunião. Foi maravilhoso dela participar e ver a expertise que vocês têm aí em Brasília — que é uma ótima cidade, num ótimo País.
Muito obrigado.
O SR. COORDENADOR (FÁBIO GOMES) - Muito obrigado, Prof. Evert e todos os participantes desta Mesa.
Eu retorno, agora, palavra para a Carolina.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Fábio, muito obrigada pela condução dos trabalhos.
Realmente, está sendo uma aula muito interessante. O Prof. Verdung trouxe informações importantes para falarmos sobre avaliação de políticas públicas.
Agradecemos também a participação dos professores universitários.
Nós vamos fazer, agora, um intervalo bem rapidinho, por conta do adiantado da hora. Serão apenas 5 minutinhos e, na volta, nós vamos continuar falando sobre as experiências das avaliações de políticas públicas em outros países.
Voltaremos já!
11:24
RF
(A reunião é suspensa.)
11:28
RF
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Estamos de volta.
Nós agradecemos, mais uma vez, aos participantes do chat, que também nos honram com os seus comentários.
Dando sequência ao nosso seminário, agora vamos iniciar a mesa-redonda Parlamentos e Avaliações de Políticas Públicas: Experiência Internacional.
Nós temos como convidados a Dra. Irmgard Anglmayer, do Parlamento Europeu; Florentin Blanc, da Organização para Cooperação e Desenvolvimento Econômico — OCDE; e Daniel Ortega Nieto, do Banco Mundial.
Quem irá coordenar esta mesa-redonda será o Presidente da ALESFE, Marcus Peixoto.
Com a palavra o Sr. Marcus Peixoto.
O SR. COORDENADOR (MARCUS PEIXOTO) - Muito obrigado, Carolina.
Eu queria, mais uma vez, desejar um bom dia a todos os participantes do evento e dar as boas-vindas ao Florentin Blanc, ao Daniel Ortega Nieto e à Irmgard Anglmayer.
Vamos seguir sem mais delongas, já que estamos com a nossa programação atrasada.
Vamos iniciar com a palestra da Irmgard Anglmayer, sobre quem vou fazer uma breve apresentação.
Irmgard Anglmayer trabalha no Parlamento Europeu, em Bruxelas, onde é Analista de Políticas Públicas na Unidade de Avaliação Ex Post do Serviço de Pesquisas. Nessa função, realizou estudos de apoio aos relatórios de Avaliação das Comissões Parlamentares, nomeadamente sobre a implementação da Convenção das Nações Unidas sobre os Direitos das Pessoas com Deficiência, a Iniciativa de Cidadania Europeia e a Mudança Sazonal do Relógio, aqui conhecido como horário de verão.
Irmgard Anglmayer também trabalhou extensivamente na avaliação parlamentar e na agenda Legislar Melhor da União Europeia.
No início deste ano, realizou um estudo baseado em pesquisas sobre as práticas dos parlamentos nacionais em relação à avaliação ex ante e ex post.
Suas publicações externas temáticas incluem os seguintes artigos: em pareceria com José Luis Rufas Quintana, Retrospective policy evaluation at the European Parliament, de 2019; e, em parceria com Armandine Scherrer, Ex-post evaluation in the European Parliament: an increasing influence on the policy cycle, publicado neste ano de 2020.
11:32
RF
Então, passo a palavra a Irmgard Anglmayer.
Thank you very much for your participation in our seminar.
A SRA. IRMGARD ANGLMAYER (Manifestação em língua estrangeira. Tradução simultânea.) - Muito obrigada. Podem me ouvir?
Sr. Peixoto, é um grande prazer estar com vocês neste seminário, nesta mesa-redonda sobre Parlamento e a avaliação de políticas públicas.
Como você mencionou, o meu português é não existente, mas, do francês, é possível entender alguma coisa.
Eu sou do Parlamento Europeu, do Serviço de Pesquisa, em Bruxelas, e trabalho numa unidade dedicada à avaliação ex post.
O meu Parlamento tem realizado avaliações de uns 2 anos para cá.
Estou muito feliz de estar aqui, hoje, compartilhando a nossa experiência. Eu me sinto honrada de estar na mesma Mesa que colegas da OCDE e do Banco Mundial, ambas instituições com quem nossos serviços de pesquisa trabalham de forma próxima.
Eu quero organizar a minha apresentação de 15 minutos da seguinte forma: primeiro, eu vou passar um pouquinho do contexto, um esboço da avaliação parlamentar na União Europeia, e vou falar sobre os estudos comparativos que você mencionou que eu fiz este ano ainda, uma avaliação do impacto nos parlamentos nacionais. Depois, vou compartilhar alguns componentes chaves do sistema de avaliação do Parlamento Europeu. Explicarei como esse sistema é descrito, como a política se encontra com administração, como isso acontece. No terceiro ponto, vou mostrar algumas conclusões acerca do impacto do trabalho da avaliação no ciclo das políticas para a União Europeia e como isso tem sido absorvido pela Comissão Europeia, que é o braço executivo da UE. E vou dizer que há impactos intangíveis também.
Está tudo bem com o meu som? Ouvem-me bem?
O SR. COORDENADOR (MARCUS PEIXOTO) - It's o.k. You can proceed.
A SRA. IRMGARD ANGLMAYER (Manifestação em língua estrangeira. Tradução simultânea.) - Muito obrigada.
Vou começar dando um pouco do contexto.
Avaliação ex post é um elemento essencial do ciclo de políticas. Ela olha para frente e olha para trás ao mesmo tempo. Olha para trás porque avalia retrospectivamente como as políticas ou partes da legislação estão operando na prática. E também, ao mesmo tempo, podemos tirar conclusões da avaliação para revisar leis e mantê-las adequadas aos propósitos. Esta é a palavra chave: aprendizado de políticas para o funcionamento adequado das avaliações.
11:36
RF
Nós temos visto uma aceitação global dessa avaliação, o espalhamento dessa noção e o uso dos instrumentos nessa área.
Alguns acadêmicos têm dito que esse é um aspecto que está tomado por dado e também um negócio lucrativo com relação a alguns trabalhos de consultoria. Isso pode ser verdade, eu concordo, mas, vindo de um ambiente parlamentar, é mais importante para os governos e para os parlamentos.
A avaliação é bastante considerada como uma questão. A maior parte da literatura — isso inclui as políticas regulatórias da OCDE — coloca o foco nos governos, nas agências, e não na parte legislativa.
Eu trabalhei recentemente num estudo comparativo da capacidade avaliatória dos parlamentos nacionais que cobre os 27 Estados Membros da União Europeia. Meu estudo confirma que isso não é algo muito comum, e, dos 27 parlamentos nacionais, apenas cinco se engajam em avaliação consistente: Bélgica, Franca, Itália, Polônia e Suécia. Muitos outros fazem uma pequena escala apenas de forma ad hoc, ocasionalmente.
Podemos dizer, em geral, que os parlamentos não são os grandes produtores de avaliação — e acho que eles nunca serão, porque eles complementam a função executiva. Vou falar sobre isso mais tarde.
Esses parlamentos que eu mencionei mostram diferentes padrões e como eles os usam: o tipo de engajamento e a ambição de cada um variam de acordo com as capacidades dos recursos, a vontade política, a abordagem de determinado país e do governo para os procedimentos de avaliação e também a sua relação com o sistema político e com o sistema legal de cada um desses países.
Em três países europeus isso está ancorado na constituição. É o caso da França, da Suécia e da Suíça — a Suíça não é parte da União Europeia, mas também fez parte do nosso estudo. Esses três países têm avaliações anuais com objetos, ajuda à institucionalização da avaliação parlamentar.
Quem faz as avaliações? Quem são os atores e quais são as capacidades de avaliação? Nesse estudo nós vimos que essas capacidades são localizadas em diferentes níveis. Estão no nível político — ou seja, os órgãos compostos por membros, comitês ou comissões ad hoc, comissões ou comitês de controle — ou estão no nível da administração, centrados em serviços de pesquisa nos parlamentos ou em outras entidades administrativas. Ambos os níveis têm os seus próprios méritos. A avaliação dos membros pode ser uma ferramenta de força política, dependendo da estrutura do país, porque pode produzir relatórios visíveis, resoluções, podem transmitir isso.
11:40
RF
Em outros países, há um procedimento de emendamento previsto pelo governo, e isso pode ser também verificado pelos parlamentos.
Uma comparação sobre o efeito imparcial realizada por pesquisadores pode entrar em detalhes, pode ser mais robusta em termos de metodologias, mas, numa perspectiva política, é uma supervisão mais suave, mais branda e fica dentro do parlamento.
E aí nós vemos parlamentos que combinam os dois níveis: o aprofundamento de um estudo com a força política de uma resolução apresentada por um relator.
Isso torna importante essa comissão de avaliação. Esse desenho facilita evidências para a legislação futura.
Comparando essa estrutura dupla, vemos que ela pode ser bastante eficaz para a avaliação, mas é claro que requer recursos, porque isso precisa ser realizado em diferentes níveis.
Essa arquitetura pode ser encontrada nos Parlamentos da Suíça e da Suécia e também no Parlamento Europeu, que é o local onde eu trabalho.
Isso me traz ao segundo ponto da apresentação: um esboço das características do sistema de avaliação do Parlamento Europeu.
Como eu mencionei, temos níveis interligados, temos um relatório de avaliação, que é feito pelo comitê, e depois é feito um estudo dessa avaliação de forma imparcial, o qual é esboçado dentro dos serviços de pesquisa, que é onde eu trabalho — eu comecei em 2014, logo depois da criação deste cargo.
Nos últimos 6 anos, nós fizemos mais de 70 avaliações, e isso tem se tornado popular. Nós temos várias avaliações sendo realizadas agora — posso dizer que por volta de dez.
Vocês podem pensar como funciona na prática esse formato entrelaçado, que tem um estudo técnico, mais a parte política.
Quando um comitê seleciona um arquivo para avaliação, há um estudo de background feito pela minha unidade. Esse estudo contribui com um relatório baseado em evidências, com fatos e números. No começo do processo, nós nos juntamos para definir o escopo com o secretário responsável e também com o membro do Parlamento que lidera esse relatório, e isso garante essa cobertura de forma bem feita. As pesquisas subsequentes são independentes, são processos completamente independentes. O nosso estudo garante um texto compreensível e ajuda na implementação também.
11:44
RF
Nós também trabalhamos com acordos internacionais, com a nossa unidade de coordenação estratégica, e o comitê resolve essas colaborações. Avaliamos efetividade, eficiência, coesão e continuidade. Temos outros atributos, mas, talvez, não caibam aqui.
Nós temos que produzir esse relatório até o final do trabalho da comissão. Isso quer dizer que o nosso trabalho tem que estar pronto, com antecedência, antes dessa agenda, para que haja também debate com os Parlamentares. Isso é muito importante, mas é um prazo curto, o que dificulta ou impõe restrições severas, às vezes, ao nosso trabalho. Então, quando começam as deliberações sobre o relatório... Os nossos estudos têm sido bem recebidos pelas comissões e têm sido usados também pelo Relator e por outras partes interessadas no processo de apresentação de emendas.
Esse estudo é um apoio técnico na decisão política. Não existe uma obrigação, por parte da comissão, de integrar, ou apresentar, ou incluir o nosso estudo. Ele tem característica apenas consultiva.
Nós falamos muito sobre a criação de políticas públicas baseadas em evidências no contexto internacional com mais frequência. Por causa das limitações, é interessante observar que as comissões têm, sim, aproveitado os nossos estudos. Elas têm reconhecido nossos inputs, nossos estudos, em alguns casos, como a fonte principal de informação utilizada em seus relatórios. Então, isso é uma evidência robusta de criação de políticas públicas.
Se a resolução é adotada, torna-se uma regulamentação formal do Parlamento. Uma resolução, a partir de um relatório de avaliação, interessa, por algumas dificuldades, à comissão correspondente no Executivo, e isso pode se tornar numa revisão de processo, o que também pode entrar na escolha da agenda.
11:48
RF
Uma particularidade do Parlamento europeu precisa ser mencionada: os Parlamentos nacionais não têm iniciativa legislativa. Não se pode começar uma revisão legal.
Deixem-me falar sobre o último ponto da minha intervenção, fazer algumas reflexões sobre o impacto da avaliação no ciclo das políticas públicas do Executivo.
Temos visto dúzias de casos, a avaliação, o trabalho da comissão, a resolução. E eles também informam o comitê de políticas sobre o contexto de revisar legislação existente. Em alguns casos, a comissão considera a nossa avaliação para a formulação de propostas legislativas. Isso é o topo que podemos atingir. Em alguns casos, nossas avaliações entraram nas avaliações de impacto das comissões, avaliações mais aprofundadas, e sempre se providencia e se faz uma adequação com a agenda do Executivo.
Tentei passar um pouco do contexto da avaliação e falei sobre as especificidades, no caso do Parlamento europeu, do relatório, da criação de um relatório e da pesquisa subsequente pelo corpo técnico. Depois mencionei se as nossas avaliações podem deixar sinais de importância no impacto das políticas públicas.
Uma das minhas últimas mensagens é que a União Europeia, o Parlamento europeu tem encontrado uma institucionalização da avaliação de forma sistemática. Nos últimos 6 anos, o uso da avaliação de políticas tem fortalecido a função de supervisão do Parlamento sobre o Executivo. E essa arquitetura pode parecer um pouco complicada, muito grande, mas também tem seus méritos. Tudo isso ajuda o processo de criação de políticas.
A última mensagem que eu gostaria de dizer é que nossa experiência encorajadora pode também encorajar outros Parlamentos a engajarem de forma mais ativa nessas avaliações. Essa avaliação é uma ferramenta de supervisão se for desenhada de forma correta. A avaliação parlamentar não tem os mesmos recursos que se tem no Poder Executivo, é uma parcela menor. E o sistema de avaliação dos Parlamentos não é perfeito. Faltam ainda direitos mais fortes ao acesso a informações. Isso é algo que temos encontrado.
11:52
RF
Eu quero mencionar o caso da Suíça como um exemplo a ser seguido, porque lá o processo é bem mais poderoso. E depois eu poderia compartilhar o estudo sobre os parlamentos europeus, em que você vai encontrar uma descrição sobre o caso da Suíça.
Acho que eu usei todo o meu tempo. Gostaria de agradecer aos organizadores por me convidarem, em nome do Parlamento europeu. Eu também posso responder a perguntas que vocês tenham depois das apresentações.
Muito obrigado pela atenção.
O SR. COORDENADOR (MARCUS PEIXOTO) - Muito obrigado, Irmgard, pela sua apresentação. Acho que foi muito importante saber o que está acontecendo no Parlamento europeu, o trabalho de assessoramento que é feito pelas Comissões do Parlamento.
Dado o adiantado da hora, vamos passar para a nossa apresentação seguinte. Vamos deixar as perguntas e os debates para depois das três apresentações.
O nosso próximo apresentador é o Florentin Blanc. Assistiremos a uma apresentação rápida do nosso palestrante. Ele trabalha há quase 20 anos em questões de desenvolvimento e cooperação internacional e há mais 16 anos em política regulatória e entrega regulatória. Trabalhou em mais de 40 países em quase todo o mundo, com foco particular na aplicação de regulamentações e inspeções, e recentemente contribuiu para uma série de publicações importantes, inclusive na OCDE, particularmente sobre os princípios da fiscalização, de 2014, e kit de ferramentas, de 2018.
Tem ampla experiência e especialização em regulamentação de segurança alimentar, regulamentação técnica e de mercado de produto e também na regulamentação baseada em risco, licenciamento e permissão. Ele tem um PhD em direito na Universidade de Leiden, na Holanda, sobre inspeções baseadas em risco e como elas podem contribuir para melhorar os resultados regulatórios, o bem-estar, ao mesmo tempo em que reduzem os custos econômicos da regulação e fortalecem a legitimidade do Estado.
Após uma carreira inicial de educação de 3 anos em uma ONG internacional, trabalhou por 15 anos no grupo do Banco Mundial, com consultorias ocasionais para a OCDE e outras organizações e países. E também tem conduzido trabalhos de pesquisa, em particular sobre questões relacionadas aos impulsionadores da conformidade regulatória e mudança de comportamento.
Desde 2019 está na OCDE liderando um trabalho de entrega regulatória, em particular inspeções, fiscalização, transformação tecnológica da regulamentação e questões de barreiras administrativas, bem como desenvolve trabalhos sobre regulamentações técnicas na área de segurança alimentar, segurança de produtos e proteção ambiental, entre outros.
Por favor, Florentin Blanc, você tem agora a palavra por 15 minutos.
O SR. FLORENTIN BLANC (Manifestação em língua estrangeira. Tradução simultânea.) - A tradução parece que não funcionou no começo, mas acho que eu entendi a apresentação que você fez sobre segurança alimentar, entregas regulatórias. Houve um esclarecimento do vocabulário técnico utilizado.
11:56
RF
Então, agradeço por estar falando com esta audiência, alguns colegas da União Europeia, estou satisfeito. Estou tentando compartilhar meus eslaides.
(Segue-se exibição de imagens.)
Acho que vocês já podem vê-los. Vou tentar me ater ao tempo. Algumas coisas que vou apresentar estão baseadas na minha experiência pessoal e também no trabalho que temos feito na OCDE.
Isso é uma estrutura, um framework, da forma como a OCDE vê.
Em 2012, isso é o que chamamos de "polícia regulatória e governança". Preferencialmente, devem fazer sentido os resultados que se quer em contrapartida com resultados que não se queira.
Então, são princípios de melhores práticas para que haja uma avaliação do impacto regulatório. Você pode encontrar essa avaliação de impacto regulatório on-line, você pode também encontrar a estrutura de avaliação e encontrará também material para avaliação ex post.
Acreditamos que é importante saber o que é preciso fazer antes e o que é preciso fazer depois. Qual é a lógica por trás do que estamos falando? Queremos obter resultados. Quando as regras são adotadas, em termos de bem-estar social, segurança e melhoria? Com frequência, a premissa é um pouco simplista: se o comportamento será seguido pelas regras e se a meta será atingida ou se será conseguido o resultado esperado.
As regras em si podem ter diferentes níveis de qualidade. Algumas regras são bem concebidas, realistas e terminam sendo respeitadas e efetivas. Algumas podem apresentar má qualidade, ou seja, não produzem resultados, passam a ser ignoradas e até mesmo resistidas.
12:00
RF
As regras são de má qualidade quando a legislação produz efeitos não desejados e efeitos opostos. Em 1978, por exemplo, a França adotou uma série de leis para proteger pequenas empresas, limitando a abertura de supermercados. O argumento era muito simples: se queremos proteger as lojas pequenas, então vamos dificultar o funcionamento dos grandes. Mas o resultado foi oposto. Como os grandes supermercados não tinham nenhuma competição, eles acabaram destruindo os negócios pequenos, porque nós limitamos a entrada de competidores das lojas grandes. O resultado foi exatamente o oposto daquilo que se esperava. E isso acontece com certa frequência.
Existe uma necessidade de ter uma visão compreensiva sobre uma série de problemas complexos: demandas de mercado, recursos, conhecimento, regras. Nós sabemos que há causas complexas que trarão resultados múltiplos. As leis são apenas pequenas elementos nessa cadeia, nesse processo.
Políticas regulatórias são políticas para todo o Governo. Como a colega Anglmayer disse, geralmente nós focamos no que escrevemos, e não no Executivo. Nos Estados modernos, a maior parte das iniciativas vem do Executivo. Então, muitos órgãos têm sido criados. Isso não significa que nós encontramos, de fato, qualidade intrínseca da regulação. Se você quer boas leis, você precisa fazer uma avaliação ex ante e uma avaliação ex post. E não se pode fazer essa avaliação em apenas uma unidade do Governo, isso precisa ser distribuído e ter o envolvimento dos Parlamentos.
O que nós vemos é que vamos ter um novo cenário ano que vem. Não espero que isso vá mudar tão drasticamente. Os Parlamentos têm um papel essencial na política regulatória, porque várias baixas vêm do Parlamento.
Na maioria dos Estados modernos — era diferente antigamente —, no século XXI, a maioria das ações parte do Executivo; o Parlamento não tem iniciativa. Mas, em vários países diferentes, como no Brasil e no México, o Parlamento tem um papel fundamental nesse trabalho.
12:04
RF
Como vemos aqui no gráfico, há um número significativo. Ele significa que essas baixas vêm do Parlamento, de leis iniciadas pelo Parlamento. Mas eles vão sem nenhum tipo de...
Como vimos na apresentação anterior, é tradicional, porque ela existe há bastante tempo. Mas a grande questão é qual o suporte técnico necessário para que haja melhora. Isso varia de país para país.
Outra dimensão de avaliação de políticas é o papel de supervisão do Governo, o papel dos Parlamentos ao supervisionar os Governos. Isso ainda é algo limitado nos Parlamentos, mas precisa ser desenvolvido.
Isso talvez seja algo mais possível nas funções de políticas regulatórias dos Parlamentos. Isso quer dizer que, sob um ângulo, é o escrutínio e são avaliações das ações desenvolvidas pelo Executivo. Um dos problemas é se isso é feito da forma correta ou apenas para completar uma obrigação. Então, isso é extremamente importante.
Também pode haver um escrutínio na avaliação de forma externa. Igualmente haverá uma avaliação, e também se pode fazer uma avaliação dos próprios. Muitos Parlamentos fazem um pouco dos dois, e algumas dessas tarefas variam bastante.
Esse é um resumo de algumas funções. Em países diferentes, os seus Parlamentos têm o escrutínio da qualidade da legislação que é produzida, se está adequada e de acordo com as leis e a Constituição.
É mais raro ter essa função entrando na parte de avaliação de impactos. Essas são funções que aparecem raramente.
12:08
RF
De forma geral, nós vemos que há poucos Parlamentos em que há requerimentos de consultas externas, seja para leis primárias... E alguns Parlamentos fazem isso.
Por que isso importa? Porque legislação sempre é um processo de risco. Há noção de que deveria ter havido mais pesquisas, mais volume na legislação e nível de complexidade técnica. Tudo isso é importante ser levado em consideração. Ao mesmo tempo, é mais possível, porque, na situação atual, nós desejamos que mais países façam suas avaliações.
Vou mencionar alguns exemplos concretos. Também temos o estudo do Parlamento europeu — que não vou ter que ler, pois já houve apresentação da colega — segundo o qual é possível trabalhar em regulação nos Parlamentos nacionais. No Reino Unido, há uma unidade de escrutínio; no Parlamento sueco... No Parlamento europeu, há o serviço de pesquisa ex ante e ex-post — essa é uma das práticas que nós avaliamos de forma mais próxima — e, também, o Comitê de Orçamento americano e o seu serviço de pesquisa no Congresso americano. Isso traz implicações para a economia, o controle financeiro e suas efetividades.
Quais são as conclusões a que podemos chegar, se é que podemos chegar a algumas? A primeira é de que é um desafio importante. Existe um problema real em muitos países. Não há nenhum país que esteja imune a isto: baixa qualidade legislativa. Existe uma inflação legislativa: tem legislação vinda do Executivo e, também, do Legislativo. Há leis vindas de todos os lados, há uma produção excessiva de leis.
O segundo ponto é a baixa qualidade da legislação, inclusive com a produção de efeitos indesejados e contrários ao que se desejava no início.
12:12
RF
Muita legislação surge a partir de problemas, e existe a necessidade de reforçar a capacidade, de aumentar a avaliação da legislação, de definir se o modelo deve ser delegado para um corpo externo ou se deve ser integrado ao próprio Parlamento. Mas é preciso aumentar essa capacidade.
Se somos um Parlamento, fomos escolhidos pelo povo, por que nós deveríamos delegar isso a outros? Essa é uma forma antiga de se enxergar também. Sim, é verdade. Mas sem entrar na filosofia legal, que é também interessante, para criar leis que produzam efeitos, é melhor fazer uma análise prévia para saber se esse resultado será produzido ou não.
E há múltiplos aspectos da avaliação de políticas: ex ante, com avaliação de impacto regulatório; durante a implementação, com o escrutínio da administração, e pode ser feita por parte de reguladores independentes, em alguns casos; e, finalmente, temos a avaliação ex post, para saber se uma legislação produziu seus efeitos. É importante pensar na articulação com outras instituições: o Governo, mas também agências regulatórias, instituições de controle e auditoria — são diferentes nomes, Tribunais de Contas e outros nomes ligados a auditorias —, e há instituições que são complementares e podem trabalhar juntas.
Isso é o final da minha apresentação. Muito obrigado por me ouvirem.
O SR. COORDENADOR (MARCUS PEIXOTO) - Muito obrigado por sua apresentação. Eu acho que ela complementou em muitos aspectos a primeira apresentação, feita pela Irmgard.
Nós teremos a oportunidade de ouvir mais uma apresentação, agora, a do Daniel Ortega, que falará pelo Banco Mundial. E, apesar do atraso, teremos ainda a oportunidade de um breve debate ao final das três apresentações.
Rapidamente, farei uma apresentação do Daniel Ortega Nieto.
Especialista Sênior em Setor Público do Banco Mundial. Nesta posição, apoiou projetos de investimento e trabalhos analíticos na Argentina, em Bangladesh, no Equador, em El Salvador, no México e em Moçambique, entre outros países. No Brasil, ele lidera a área de gestão pública das operações do Banco Mundial, assim como pesquisas e apoio técnico em governança e gestão de finanças públicas. Antes de ingressar no Banco Mundial, ele foi conselheiro do Vice-Ministro de Assuntos Exteriores do México, Consultor do Banco Interamericano, assim como do Ministério do Trabalho e da Agência para o Desenvolvimento Internacional dos Estados Unidos. Ele também conduziu pesquisas nas Universidades de Harvard e Sciences Po. Daniel fez sua graduação em El Colegio de México, é mestre em Gestão do Desenvolvimento pela London School of Economics, no Reino Unido, como bolsista Chevening, e tem doutorado em Politica Pública da Universidade de Georgetown, nos Estados Unidos, como bolsista Fulbright.
12:16
RF
Tem a palavra o Sr. Daniel Ortega, por 15 minutos. Seja bem-vindo.
O SR. DANIEL ORTEGA (Manifestação em língua estrangeira. Tradução simultânea.) - Muito obrigado, Marcus. Agradeço o convite feito pela Câmara.
Eu vou passar a falar em inglês a partir de agora.
Quero aproveitar esses 10 a 15 minutos para usar a minha posição de privilégio. Eu estive aqui há 3 anos e tenho trabalhado mais com o Executivo, na avaliação de políticas. Vou falar um pouco sobre o contexto desse debate. Há três pontos-chave que eu quero mencionar: as boas notícias que nós podemos ver no Brasil, os problemas centrais que nós identificamos e uma sugestão para o futuro.
Vamos tratar do contexto, primeiramente. Creio que estamos vivendo globalmente um tempo de polarização que afeta o debate, e o uso de evidências se torna cada vez mais importante. No entanto, também vivemos um paradoxo: nunca tivemos tanta informação e, agora, nós vemos o surgimento de "fatos alternativos" — entre aspas. É muito importante, como o professor mencionou no começo, o crescimento da desconfiança nos governos. O Brasil tem vivido isso nos últimos meses. É algo que tem um impacto na forma como o debate sobre políticas públicas avança e que é importante ser considerado.
Como papel dos Parlamentos eu posso citar: algumas formas de supervisão, líder do debate, fórum para o debate e parte do processo de legislação. No Brasil, temos também o exemplo das emendas parlamentares e o papel do Parlamento brasileiro no orçamento. Vou enumerar três pontos em cada um deles.
Primeiro, vou tratar das boas notícias e do que vejo no Brasil. Há pesquisas feitas com alguns experimentos em mais de 2 mil Municípios brasileiros que mostraram que os Prefeitos estão dispostos a pagar evidências de pesquisa de informação, e algumas vezes isso é usado na implementação de políticas. Acho isso fantástico e é uma coisa que poderá mudar as regras do jogo.
12:20
RF
Segundo, no Brasil, há algumas instituições que já estão consolidadas e têm um papel importante, o Congresso, o TCU, a IFI — Instituição Fiscal Independente, e há os consultores legislativos, como os senhores aqui presentes. Todo mundo que trabalha aqui no Brasil sabe que essas instituições têm os técnicos mais especializados e mais bem informados, e isso é muito bom para o País. Além disso, o Brasil tem uma sociedade civil ativa. O Brasil é um país continental e tem uma sociedade civil que demanda, que exige evidências. Há casos interessantíssimos com dados abertos no debate de avaliação de políticas
O que vejo nessas três questões mais importantes e que atrapalham o uso da avaliação de políticas. Primeiro, há uma falta de coordenação, a coordenação é muito pobre. E uma coisa para se ter em mente é que coordenação não é liderar, coordenação não é concordância. Isso é importante notar. Estávamos discutindo essa questão com alguns dos Ministros. Ambas as instituições estavam investindo recursos e fazendo avaliações a respeito das mesmas questões. Essa falta de coordenação é muito crítica, porque essas avaliações não são necessariamente baratas e há muitas restrições orçamentárias.
Há falta de priorização orçamentária. Evidência não parece ser uma parte crítica da discussão orçamentária. Pode ser que eu esteja errado, como um observador externo, mas tenho certeza, e todo mundo que está assistindo, que na avaliação anual do PPA, há material de qualidade sendo produzido. Mas, de novo, é difícil priorizar o que vai ser avaliado.
Em terceiro lugar, está o problema que todo mundo tem, que é o uso dessas evidências. Como os meus colegas que me antecederam mencionaram, há vários exemplos de organizações dentro e fora do Parlamento que estão fazendo avaliações de qualidade, mas, às vezes, têm o mesmo problema: como termos criadores de políticas para usarem essas evidências? Eu acho que essa é a pergunta de 1 milhão de dólares com a qual todo mundo pena. Por isso eu menciono o bom uso e a boa vontade de aprender e ler a respeito.
12:24
RF
Como podemos caminhar para frente, em todas essas questões que mencionei? Eu acho que podemos considerar pelo menos três formas. Eu gosto de dar mais tempo para discutir sobre isso. Primeiro, acredito que o Congresso e os consultores de qualidade precisam começar a formar mais parcerias com a sociedade civil e com o Executivo. A coordenação está em conflito. Nós precisamos procurar outras formas de coletar dados e identificar métodos. Com certeza, essas parcerias podem auxiliar o debate, que, urgentemente, precisa de mais dados.
O segundo ponto a considerar é que acho importante criar uma base de conhecimento acessível, em termos de avaliação e também de formato. Como os colegas mencionaram mais cedo, há vários tipos de avaliações, há diferentes formas de direcionar perguntas e questões. Mas é importante que haja, com tantos atores atuando em áreas semelhantes, uma base de conhecimento. Esses atores principais devem pensar coletivamente como é que a sociedade civil e como eles podem atuar nessas avaliações políticas, porque é muito difícil acessar esse conhecimento hoje em dia.
E, finalmente, precisamos de mais transparência nos dados. O Brasil tem uma transparência de fiscalização muito grande. Nesse sentido, o Brasil se sai muito bem. Mas eu já escutei, particularmente de alguns grupos da sociedade civil que lidam com esses dados, que há dificuldade de acessá-los.
Recebemos um requerimento de uma das organizações, dizendo: "Diga aos governos que eles tem que banir os PDFs, porque é quase impossível extrair os dados que estão ali dentro". Então, são nós simples que podem ser solucionados, que podem ajudar a melhorar o ecossistema das relações públicas. Eu mencionei "ecossistema" porque não vejo o Congresso como um jogador único.
Soube, recentemente, que a Casa Civil está tentando identificar quais avaliações estão tomando partido no contexto, partindo do Governo, juntamente com outros comitês, para agilizar essa agenda. Nas últimas décadas, tem-se investido nessas questões.
Estamos dispostos a continuar esse diálogo.
Muito obrigado.
O SR. COORDENADOR (MARCUS PEIXOTO) - Obrigado, Daniel, pela sua apresentação e por ter usado menos dos 15 minutos disponíveis, o que nos fornece mais tempo para o debate.
Nós ainda não temos perguntas encaminhadas aqui pelo chat, mas, com base nas três apresentações, eu gostaria de levantar algumas questões para os nossos palestrantes. Inclusive, o Irmgard e o Florentin podem acionar o vídeo, se quiserem. Agora não sei qual vai ser a forma de apresentação, mas já estamos no debate. A ideia é colocar os palestrantes na tela.
12:28
RF
Eu levantei aqui um questionamento importante que não foi tão enfatizado pelos palestrantes, inclusive pelo Prof. Evert Verdung, na primeira sessão. Eu senti um pouco falta dessa abordagem. Trata-se do monitoramento da implementação das políticas públicas. Fala-se muito na avaliação de políticas públicas e também no processo de monitoramento da implementação dessas políticas como uma parte importante desse processo de avaliação.
Então, eu queria que comentassem um pouquinho sobre as dificuldades e os desafios da implementação desse monitoramento. Enquanto as políticas estão sendo executadas, como deve ser implementado esse processo de monitoramento para que, ao fim, nós tenhamos políticas mais eficientes. A implementação pode ser corrigida nos seus erros, e o monitoramento permite esse trabalho de correção do rumo da implementação das políticas públicas. Eu acho que é uma etapa importante. Eu queria que comentassem um pouco sobre isso.
Outra questão relevante que deve ser trazida a este debate diz respeito à forma como o Parlamento Europeu, a OCDE e o Banco Mundial estão tratando desse tema. Refiro-me às informações, aos dados estatísticos e geográficos oficiais e à geoinformação que devem ser utilizados para fazer a avaliação das políticas públicas. A avaliação tem que ser baseada em ciência. Evidentemente, tem que ser um processo, metodologicamente, bem delineado e desenvolvido. Tem que se fazer essa escolha, mas ela tem que se pautar também pela disponibilidade de dados oficiais. Não pode cada órgão, cada instituição que vai fazer a avaliação escolher os dados à sua vontade — ou avaliação pela sociedade civil, pelas organizações da sociedade —, pautar-se pelos dados que não são aqueles oficiais do país no qual a política pública está sendo implementada.
Aqui no Brasil, eu estou conduzindo uma pesquisa em pós-doutorado, junto à Profa. Fabiana, que vai ser uma das palestrantes do nosso seminário na Universidade Federal de Minas Gerais. Trata-se de uma pesquisa que busca justamente avaliar os desafios da construção de um marco regulatório para a instituição de um novo Sistema Nacional de Informações Oficiais no Brasil. Nós temos um marco regulatório que data dos anos 60 e 70, que está defasado e não contempla a evolução de todas as tecnologias de informação e comunicação que hoje estão disponíveis. Então, esse novo Sistema Nacional de Informações Oficiais preveria a integração das informações de natureza estatística, da geoinformação, dos registros administrativos que estão hoje contidos em todos os sistemas de informação dos diversos órgãos públicos responsáveis pela implementação das diversas políticas públicas. Mas esses sistemas de informação não conversam entre si, não são integrados. Não há uma diretriz, um marco regulatório que preveja a integração desses sistemas. Esse processo de integração dos diversos sistemas de informação, a meu ver, fornece a base de dados necessária para se ter um processo de avaliação de políticas públicas mais eficiente, mais rápido e com menor custo. E o custo da avaliação de políticas públicas é um aspecto importante a ser considerado. O processo de avaliar gera custos, e você reduz custos quando torna a informação mais prontamente disponível, uma informação de qualidade e tempestiva. Nesse sentido, eu queria que vocês, se puderem, comentem um pouco essas questões que eu levantei e fiquem à vontade para levantar questionamentos uns para os outros durante o debate.
12:32
RF
Quem quiser abordar primeiro essas questões que eu levantei ou falar sobre a respectiva apresentação, por favor, fique à vontade para pedir a palavra. (Pausa.)
Talvez, pela ordem de apresentação, eu não sei se a Irmgard quer ser a primeira a falar.
A Irmgard deseja começar?
A SRA. IRMGARD ANGLMAYER - (Manifestação em língua estrangeira.)
O SR. COORDENADOR (MARCUS PEIXOTO) - (Manifestação em língua estrangeira.)
O SR. FLORENTIN BLANC (Manifestação em língua estrangeira. Tradução simultânea.) - Sim, eu ouvi a tradução. Eu vou fazer um resumo do que eu entendi e talvez isso possa ajudar.
O primeiro ponto se refere às questões de monitoração da implementação. Não devemos aguardar até o final dos processos para introduzir mudanças. A intervenção pode ocorrer durante o processo de monitoração. No meu ponto de vista, isso é muito importante. Eu tento realmente falar sobre isso. Eu acho que os Parlamentos precisam estar envolvidos nessa escolha, nessa avaliação, em relação ao que está acontecendo nos processos regulatórios. Isso pode ser feito com audiências nos diferentes níveis de governo.
O segundo ponto, de acordo com o que eu entendi, é uma questão um pouco longa. Devo dizer que, sim, dados e avaliações têm custos; sim, é muito melhor se você puder evitar sobreposições e ter uma troca, um acesso aos dados, uma interdependência de dados mais (falha na transmissão). Mas dado não é tudo na avaliação, porque muitas avaliações acontecem anteriormente — é a avaliação ex ante —, e isso muito tem a ver com evidências de outros países. Isso está disponível, assim como dados vindos de outras instituições e de outras áreas.
12:36
RF
E não acho que deva ser razão para alguém dizer que não pode fazer, mas é algo que definitivamente pode ser melhorado. Talvez eu não tenha captado toda a complexidade da sua questão, mas esse é o meu ponto.
O SR. COORDENADOR (MARCUS PEIXOTO) - (Manifestação em língua estrangeira.)
O SR. DANIEL ORTEGA (Manifestação em língua estrangeira. Tradução simultânea.) - A razão por que não falamos muito sobre monitoramento da forma como vejo é que, como o Florentin mencionou, é crítico que haja monitoramento. Mas eu não vejo o Parlamento como a parte mais importante nesse processo. Acredito que seja mais o Executivo, que é quem deveria colocar mais recursos no processo de monitoramento. E é importante que isso seja divulgado, para que o Parlamento e outras partes da sociedade civil tenham acesso a esse monitoramento.
Talvez exista um problema de restrição orçamentária. O monitoramento deve ser requerido no orçamento pelo Executivo. Eu não vejo o Legislativo no papel central do monitoramento, mas é preciso, sim, ter ciclos de retroalimentação de informação.
A segunda pergunta é sobre como a nossa organização vê o uso de dados e como nós fazemos isso. Para cada projeto, existe um processo de revisão de pares, para certificar que os dados são consistentes. Nós temos uma base de dados muito grande e tornamos isso acessível para todo mundo. Temos todo tipo de dados, e isso está disponível gratuitamente.
Finalmente, acho que há um interesse das ONGs do Brasil em usar os registros administrativos. Parece que o Brasil coleta muitos dados, e ele tem realmente um potencial muito grande.
Obrigado.
O SR. COORDENADOR (MARCUS PEIXOTO. Tradução simultânea.) - Obrigado, Daniel.
Irmgard, você entendeu a questão que eu levantei?
12:40
RF
A SRA. IRMGARD ANGLMAYER (Manifestação em língua estrangeira. Tradução simultânea.) - Muito obrigada. Eu não havia visto o botão da interpretação.
O monitoramento contínuo é um tópico bastante importante aqui, no âmbito da União Europeia. Sobre o quanto de monitoramento nós precisamos, o Parlamento tem a visão de que, se os dados são gerados dentro de uma estrutura prevista na legislação, não existe um custo adicional para criar um dado de avaliação.
Vocês podem me ouvir?
O SR. COORDENADOR (MARCUS PEIXOTO) - (Manifestação em língua estrangeira.)
A SRA. IRMGARD ANGLMAYER (Manifestação em língua estrangeira. Tradução simultânea.) - Vocês podem me ver agora? Eu consigo me ver, mas parece que não estou aparecendo na tela.
O SR. COORDENADOR (MARCUS PEIXOTO. Tradução simultânea.) - Talvez seja um problema de Internet. (Pausa.)
A SRA. IRMGARD ANGLMAYER (Manifestação em língua estrangeira. Tradução simultânea.) - Eu estou com o cabo aqui. Fiz o que pude.
Bom, há uma ênfase grande em ter estrutura de monitoramento já dentro do processo legislativo. A Comissão propõe a iniciativa legislativa, mas quem produz o dado não é o Parlamento. O Parlamento é o usuário dessa monitoração de dados. São os Estados-membros que relatam para a Comissão Europeia, e ela recebe esses dados e relatórios. E sempre tem um relatório dentro dos arquivos legislativos para que se possa ter acesso depois.
Normalmente, a Comissão se atrasa com esses relatórios porque alguns Estados-membros não entregam a tempo as suas contribuições. E, às vezes, não há dados suficientes. Isso pode explicar por que esse registro é feito. Mas o Legislativo não precisa de dados do Executivo para fazer as próprias avaliações. Nem tudo justifica uma avaliação completa. O Parlamento pode ter uma boa visão de como as políticas são implementadas. Os relatórios que vêm do Executivo são de boa qualidade e conseguem passar um entendimento amplo.
Quanto aos dados, não são os Parlamentos que os coletam. O Parlamento Europeu talvez tenha mais recursos do que os Parlamentos nacionais. Mas a nossa coleta de dados limita-se, em alguns casos, aos Parlamentos nacionais, no caso de audiências e outras iniciativas dos Governos locais ou dos Parlamentos nacionais.
12:44
RF
No Parlamento Europeu, nós fazemos investimentos de recursos para ter a nossa base de dados, o nosso banco de dados e os acessos a dados externos. Nós temos dados do Banco Mundial, temos uma assinatura para os dados da OCDE. Nós investimos nisso. O nosso Parlamento é bastante meticuloso no começo do processo avaliativo, para se certificar de que tem todos os dados disponíveis. E, nas avaliações, se não podemos produzir os dados de que não dispomos, podemos dizer que há dados faltando. Podemos relatar isso ao Executivo, que tem muito mais condição de importar esses dados. Não dá para comparar o staff do Parlamento com o das agências do Executivo. E nós podemos fazer uma supervisão da qualidade e da natureza dos dados. Isso é muito importante.
E, quando o Parlamento está realizando a avaliação da implementação de uma parte legislativa, também deveria prestar atenção aos dados, para saber se eles são apropriados, se a lei está atravessando uma revisão. E, se na primeira tentativa não resolver, deve existir uma revisão, talvez em 20 anos, para que esses dados possam estar ali juntos.
Há um ponto que gostaria de mencionar. Se um Parlamento começa com a função de avaliação, eu mencionei na minha apresentação que os sistemas mais poderosos que nós vimos foi nos locais onde essa função avaliativa está presente na Constituição do país. Mas eu acho que é importante ter uma lei nacional, se não puder estar na Constituição, para definir essa função de avaliação do Legislativo. Não é suficiente apenas ter isso como um procedimento, porque isso não vincula partes externas. Muitas vezes, resoluções vinculam apenas partes internas. Um instrumento legal é muito poderoso e fará toda a diferença.
No Parlamento, nós dependemos da boa vontade de outros para ter dados. Nós não temos os mesmos dados que os Tribunais de Contas, que têm mandato com mais poder. Nos últimos anos, houve dois casos em que os Estados-membros disseram: "Não, não tem nada a ver com vocês. Não é da sua conta". E, se nós não temos uma legislação para vinculá-los ou para forçá-los a fazer isso... O Relator da Comissão pode fazer um pedido oficial, mas isso não os vincula.
12:48
RF
Espero que isso tenha ajudado. Espero ter respondido.
Se tiverem mais perguntas, estou à disposição.
O SR. COORDENADOR (MARCUS PEIXOTO) - Muito obrigado, Irmgard, Daniel Ortega, Florentin Blanc.
Pelo adiantado da hora, eu gostaria apenas de disponibilizar um tempo para vocês passarem alguma mensagem final a respeito do tema do nosso debate, a avaliação de políticas públicas, para encerrarmos este primeiro dia de seminário, antes de passar a palavra para a nossa mestre de cerimônias, a Carolina.
Então, fiquem à vontade para fazerem suas considerações e dar uma mensagem final, por 1 minuto, por favor.
O SR. FLORENTIN BLANC (Manifestação em língua estrangeira. Tradução simultânea.) - De forma breve, eu quero dizer que tivemos uma chance de discutir as limitações e os desafios.
Crucialmente, é importante lembrar que é uma questão de certificar a melhoria da legislação e, por isso, produzir menos leis que produzam resultados adversos ou indesejados e também certificar que o Poder Executivo e as autoridades façam bem o seu trabalho. No final, o mais importante são os resultados para os cidadãos.
Se tivéssemos dados de uma forma mais estruturada, seria muito mais interessante e muito melhor.
O SR. COORDENADOR (MARCUS PEIXOTO) - Obrigado.
Agora passo a palavra ao Daniel, para suas palavras finais.
O SR. DANIEL ORTEGA (Manifestação em língua estrangeira. Tradução simultânea.) - Muito obrigado, Marcus.
É sempre importante avaliar as evidências, mas é mais importante quando há restrições fiscais. O Brasil está num cenário complicado, complexo. Essa agenda se torna cada vez mais importante, mas é sempre importante, e agora parece ter mais relevância.
Quero agradecer a iniciativa. Eu saio com bastante otimismo em relação à natureza desse evento, à qualidade técnica das pessoas no Brasil, as pessoas envolvidas na tomada de decisão. Isso me deixa algo muito positivo.
Obrigado mais uma vez. Estamos abertos a ter mais diálogos com os senhores.
O SR. COORDENADOR (MARCUS PEIXOTO) - Nós agradecemos a sua participação, Daniel.
Tem a palavra a Irmgard, mais uma vez, por 1 minuto, para suas considerações finais.
A SRA. IRMGARD ANGLMAYER (Manifestação em língua estrangeira. Tradução simultânea.) - Obrigada.
Eu gostaria de usar minha palavra final para uma reflexão sobre as evidências. Há muitos assuntos importantes sobre o valor, sobre as evidências.
Quero destacar que os legisladores, quando avaliam, estão concentrados na parte ex post, mas o nosso Parlamento também está muito interessado na avaliação prévia.
12:52
RF
Os Parlamentos não agem de forma isolada. É muito importante definir o papel do Parlamento, que, na nossa avaliação, não é duplicar o que o governo faz. O Parlamento faz um julgamento em primeira instância, faz o escrutínio do trabalho do Executivo, para ver se as promessas foram cumpridas, se as entregas foram realizadas. Faz também o escrutínio da função de implementação da legislação. Os Parlamentos não serão um grande produtor de avaliações.
Eu mencionei a Suíça como modelo e quero adicionar que, na Suíça, há avaliações anuais, de três a cinco vezes por ano. No Parlamento europeu, fazemos umas 15 avaliações. Nunca estaremos na mesma posição. Se olharmos a qualidade e o aprofundamento das avaliações, veremos que há muito mais recursos e mais tempo no lado do governo.
Não acho que seja errado que o Parlamento não faça a mesma coisa. Vou dar um exemplo prático. Quando o Parlamento faz uma avaliação de materiais alimentares, isso não é feito no nível da União Europeia. Há muitas avaliações feitas em outras esferas, mas muitos desses materiais não estão regulamentados. O Parlamento deveria avaliar para se certificar de que cada um desses produtos... Como o governo não fez essa avaliação, o Parlamento a assumiu.
A nossa conclusão é que há uma necessidade muito grande de ter mais evidências. A comissão deveria seguir adiante. Isso começou uma avaliação bem aprofundada, o que provavelmente levará à criação legislativa. É uma questão de escolha de agenda.
Nós não duplicamos avaliações. Nós procuramos melhores resultados, usando os recursos escassos da melhor forma possível.
Muito obrigada pela oportunidade de participar deste seminário. Foi muito interessante.
Desculpem-me, porque eu não conheço muito do sistema brasileiro, mas prometo estudá-lo.
O SR. COORDENADOR (MARCUS PEIXOTO) - Eu queria, mais uma vez, agradecer a todos os palestrantes, que hoje enriqueceram o nosso seminário, após a sessão com o Prof. Evert Vedung.
Eu acho que isso foi muito importante para conhecermos as suas organizações e sabermos como elas estão trabalhando a avaliação das políticas públicas.
12:56
RF
Eu gostaria de passar a palavra para a Carolina, que vai fazer o fechamento do nosso primeiro dia, não sem antes convidar todos os que estão nos acompanhando para, amanhã de manhã, no mesmo horário, às 9 horas, continuarmos participando dos debates que vão ocorrer no seminário.
Carolina, está com você a palavra.
Muito obrigado.
A SRA. APRESENTADORA (CAROLINA AUGUSTA) - Obrigada, Marcus. Você conduziu muito bem esta mesa-redonda.
Realmente, foram valiosíssimas as contribuições dos representantes internacionais: do Parlamento Europeu, do Banco Mundial e da OCDE.
Vamos continuar o evento amanhã, como o Marcus disse, no mesmo horário, a partir das 9 horas da manhã, no mesmo local. Teremos outras participações internacionais.
Então, esperamos vocês amanhã.
Um grande abraço e até lá!
Voltar ao topo