[Vitamin A Supplementation Program in Brazil: evaluability assessmentPrograma Nacional de Suplementación de Vitamina A en Brasil: un estudio de evaluación].

OBJECTIVE: To describe the steps of the Brazilian Vitamin A Supplementation Program (PNSVA) evaluability assessment.
METHOD: The present qualitative study employed the seven-element system proposed by Thurston and Ramaliu. The study involved document analysis, conceptual review of PNSVA, and meetings with technical experts to assemble a time line and the Program's theoretical and logical frameworks. The logical framework supported the elaboration of two questionnaires to be used for PNSVA evaluation. The questionnaires were validated using the Delphi method.
RESULTS: The analysis revealed the evolution of vitamin A control and prevention strategies in the country, and provided information on the functioning of PNSVA and on its external context. The logical framework was found to be an invaluable tool for detecting specific priority areas for future assessments. The validation of the questionnaires indicated that they did in fact cover topics that are necessary to evaluate the implementation of PNSVA in municipalities. The Delphi step was essential to guide adjustments regarding question content and format, which served to increase the analytic power of the instruments.
CONCLUSION: The evaluability assessment indicated that future PNSVA evaluations will be possible. It is expected that the present results may be useful in countries developing similar initiatives as the one described in Brazil.

A deficiência de vitamina A (DVA) é uma das carências nutricionais mais prevalentes em todo mundo, atingindo grande parte da população infantil em países em desenvolvimento, principalmente crianças menores de 5 anos de idade (1).

Observa-se tendência de declínio na prevalência mundial de DVA, tendo sido relatadas reduções significativas no período de 1991 a 2013 no leste e sudeste da Ásia e Oceania, de 42% para 6%, e na América Latina e Caribe, de 21% a 11%. Entretanto, em vários países latino-americanos, a DVA ainda é considerada um grave problema de saúde pública, como é o caso de México, Jamaica, Haiti e Colômbia (2). As taxas na África subsaariana e no sul da Ásia permaneceram altas e praticamente inalteradas, em 48% e 44%, respectivamente (3). Em regiões onde há redução da prevalência de DVA, essa redução é frequentemente atribuída a ações governamentais, em especial à administração em massa de altas doses de vitamina A às crianças nos últimos 20 anos (4).

No Brasil, estudos têm identificado prevalências de 10% a 20% de níveis de retinol sérico abaixo de 0,70 μmol/L, condição que caracteriza a hipovitaminose A como problema moderado a grave de saúde pública (5–7). Com o objetivo de prevenir e controlar a DVA, o Ministério da Saúde adota, desde 1983, a distribuição em massa de megadoses da vitamina A para crianças de 6 a 59 meses de vida. Ao longo dos anos, as ações de controle da DVA foram expandidas e fortalecidas. Essas ações são, atualmente, regulamentadas pelo Programa Nacional de Suplementação de Vitamina A (PNSVA) (8), organizado de forma semelhante em todas as unidades federativas do país.

As evidências de DVA no país e os esforços do governo para a prevenção dessa deficiência apontam para a necessidade e a importância de avaliar a implantação do PNSVA. A incorporação da avaliação à rotina dos serviços em todos os níveis do sistema de saúde, passando pela avaliação da situação de saúde da população, dos serviços e dos resultados das ações é uma das ferramentas de suporte para a consolidação do Sistema Único de Saúde (SUS) (9, 10).

O estudo de avaliabilidade, etapa anterior à avaliação propriamente dita, é uma importante estratégia, pois permite compreender a intervenção em profundidade e planejar, previamente, a forma e o foco das avaliações posteriores: um dos objetivos do estudo de avaliabilidade é identificar as áreas críticas a serem priorizadas na avaliação (11).

O presente estudo teve por objetivo descrever as etapas do estudo de avaliabilidade do PNSVA, tendo em vista que esse Programa ainda não teve uma avaliação anterior. O estudo de avaliabilidade abrangeu a exploração do processo histórico das ações de controle e prevenção da DVA no país, os contextos interno e externo do Programa, a modelagem até o planejamento e a verificação da possibilidade da avaliação de sua implantação em municípios do estado de Minas Gerais. Espera-se que os resultados deste estudo possam subsidiar investigações de ações que visem a prevenir e a controlar a DVA em regiões em que a DVA ainda representa um importante problema de saúde pública.

MATERIAIS E MÉTODOS

Realizou-se um estudo de avaliabilidade com abordagem qualitativa, baseado no sistema dos sete elementos proposto por Thurston e Ramaliu (11): a) descrição do programa, identificando as metas, os objetivos e as atividades que o constituem; b) identificação e revisão dos documentos disponíveis no programa; c) modelagem (modelo lógico do programa, dos recursos disponíveis, atividades pretendidas, impactos esperados e conexões causais presumidas); d) supervisão do programa, ou obtenção de um entendimento preliminar sobre como o programa opera; e) desenvolvimento de um modelo teórico da avaliação (MTA); f) identificação de usuários da avaliação e outros principais envolvidos; e g) obtenção de um acordo quanto ao procedimento da avaliação.

Para a descrição do PNSVA foram realizadas a análise de documentos técnicos e do arcabouço legal, disponíveis em sites governamentais na Internet, compreendendo o período de 1988 (ano de criação do SUS) a 2016, além de revisão de literatura científica. Concomitantemente, foram realizadas quatro visitas à Secretaria de Estado de Saúde de Minas Gerais (SES/MG) para verificar como é a operacionalização do Programa nos municípios e identificar os interessados (stakeholders) que poderiam contribuir e apoiar a avaliação. Esse conjunto de procedimentos subsidiou a sistematização do conhecimento disponível no período mencionado para a elaboração dos modelos teórico e lógico do PNSVA e para a obtenção de um acordo quanto ao procedimento do estudo de avaliabilidade.

A modelagem do PNSVA, desenvolvida a partir do modelo lógico (12), que sintetiza os principais componentes do Programa em uma imagem de como o sistema deve supostamente funcionar, garantiu a identificação dos componentes e das relações causais presumidas, permitindo a identificação de perguntas avaliativas para a investigação do Programa nos municípios de Minas Gerais. O modelo foi estruturado em: 1) componentes, identificados a partir dos objetivos específicos do PNSVA; 2) subcomponentes, ações necessárias dentro de cada componente para que se alcance o impacto desejado; 3) estrutura, ou seja, recursos físicos, organizacionais ou simbólicos necessários à operacionalização do PNSVA; 4) atividades, que são os meios utilizados em cada subcomponente para atingir resultados específicos; 5) resultados intermediários; e 6) impacto do PNSVA.

Com o objetivo de identificar indicadores de interesse para a avaliação do Programa, foram definidas perguntas avaliativas a partir do modelo lógico. Foram selecionadas perguntas referentes a estrutura, atividades e resultados de todos os subcomponentes identificados. As perguntas selecionadas foram classificadas de acordo com os critérios de relevância: prioridade, utilidade, capacidade de gerar informações importantes e viabilidade.

Considerando-se a necessidade da participação de diferentes atores envolvidos com o PNSVA em nível municipal para responder as perguntas, estas foram dispostas em dois questionários: um direcionado à gestão do Programa (a ser respondido por um profissional da saúde referência técnica do PNSVA no município), contemplando 43 questões, e outro à assistência (profissionais da atenção primária à saúde), com 49 questões.

Para a validação de conteúdo dos questionários utilizou-se a técnica de Delphi (13). Foram convidados a participar do painel de juízes 22 indivíduos, dentre eles: doutores e especialistas no campo da nutrição e representantes do Programa no Ministério da Saúde, na SES/MG, nas Gerências Regionais de Saúde e em municípios de Minas Gerais.

Utilizando-se o software LimeSurvey, foi solicitado a cada um dos juízes que avaliassem cada questão dos questionários quanto a pertinência, necessidade e clareza do enunciado, classificando a questão em uma escala de opinião: CP: concordo plenamente, C: concordo, NN: não discordo nem concordo, D: discordo, DP: discordo plenamente. Os membros do painel poderiam, ainda, sugerir novos critérios ou modificações àqueles apresentados.

O grau de concordância das respostas foi encontrado a partir do percentual de questões classificadas na escala CP e C. Foi considerado como ponto de corte para obtenção do consenso um valor acima de 70% (13).

O projeto de avaliação do PNSVA no Estado de Minas Gerais foi aprovado pelo Comitê de Ética em Pesquisa do Instituto René Rachou, Fiocruz Minas (CAAE: 57957316.6.0000.5091). Aos participantes foi apresentado o termo de consentimento livre e esclarecido, sendo o anonimato garantido por meio do uso de códigos para a identificação dos mesmos.

RESULTADOS

A partir da análise dos elementos a) descrição do Programa, identificando as metas, os objetivos e as atividades que o constituem e b) identificação e revisão dos documentos disponíveis, verificamos que a expansão das ações de controle da DVA se deu com a criação, em 1994, pelo Ministério da Saúde, do Programa Nacional de Controle da DVA (14). No ano de 2001 houve a ampliação da suplementação de vitamina A para as puérperas, e em 2005 foi instituído o PNSVA, sendo as ações de controle da DVA intensificadas, culminando em 2012 na expansão do Programa para todo território nacional. Destaca-se que em julho de 2016 a suplementação de puérperas foi suspensa em todo o país após extenso debate com especialistas que consideraram que, apesar de a suplementação aumentar a disponibilidade de vitamina A no leite materno, não havia evidências contundentes quanto aos benefícios em relação à saúde materna e infantil (15).

Na figura 1 está representada uma linha do tempo onde é possível observar alguns marcos do PNSVA e as estratégias adotadas para a prevenção da DVA no país. O PNSVA foi regulamentado em 2005, porém o Brasil iniciou as ações de suplementação de vitamina A para crianças de 6 a 59 meses já em 1983, durante os dias nacionais de vacinação em áreas consideradas de alto risco para a deficiência (16).

FIGURA 1

Linha do tempo das estratégias para prevenção e controle da deficiência de vitamina A no Brasila

ᵃ CGPAN: Coordenação Geral da Política de Alimentação e Nutrição; INAN: Instituto Nacional de Alimentação e Nutrição; PNSVA: Programa Nacional de Suplementação de Vitamina A. Farmanguinhos: Laboratório Farmacêutico Federal Farmanguinhos, Laboratório Oficial do Ministério da Saúde do Brasil.

No modelo teórico do PNSVA, esquematizado na figura 2, é possível obervar o contexto externo do Programa.

FIGURA 2

Modelo teórico do Programa Nacional de Suplementação de Vitamina A, Brasilᵃ

ᵃ CGAN: coordenação geral de alimentação e nutrição; DAB: Departamento de Atenção Básica; ESF: Estratégia Saúde da Família; NASF: Núcleo de Apoio à Saúde da Família; PNAISC: Política Nacional de Atenção Integral à Saúde da Criança; PSE: programa saúde na escola; Sisvan: Sistema de Vigilância Alimentar e Nutricional; UBSF: Unidade Básica de Saúde da Família.

O PNSVA é um dos programas inserido na estratégia de Prevenção e Controle de Agravos Nutricionais da Política Nacional de Alimentação e Nutrição (PNAN), responsabilidade da Coordenação Geral de Alimentação e Nutrição (CGAN), hierarquicamente subordinada ao Departamento de Atenção Básica (DAB) do Ministério da Saúde.

O DAB coordena no país outras ações, programas e estratégias que, apesar de fazerem parte do contexto externo ao PNSVA, têm em sua essência objetivos correlatos de apoio a educação alimentar e nutricional e melhora nas condições de saúde de crianças. São estas: a Estratégia Amamenta e Alimenta Brasil, Programa Bolsa Família, conjunto de estratégias da Promoção da Saúde e da Alimentação Adequada e Saudável, Política Nacional de Atenção Integral à Saúde da Criança (PNAISC), Programa Saúde na Escola (PSE), Vigilância Alimentar e Nutricional, Estratégia Saúde da Família (ESF), Núcleos de Apoio à Saúde da Família (NASF), Consultório na Rua e Unidade Básica de Saúde Fluvial (UBSF).

Modelo lógico, recursos, atividades, impactos e conexões causais e entendimento preliminar de como o PNSVA opera

Quanto aos elementos c) modelagem (modelo lógico do Programa) dos recursos disponíveis, atividades pretendidas, impactos esperados e conexões causais presumidas e d) supervisão do PNSVA, ou obtenção de entendimento preliminar de como o PNSVA opera, para alcançar o objetivo do Programa são planejadas atividades direcionadas a dois componentes distintos. O primeiro é a suplementação profilática medicamentosa de vitamina A, ação que deve ser adotada por curto prazo. O segundo é a promoção da alimentação saudável para prevenção da DVA, medida que deve ser utilizada a médio e longo prazo. O modelo lógico, apresentado na figura 3, subsidiou a elaboração dos questionários a serem utilizados para avaliar a implantação do PNSVA, contribuindo, assim, para o plano de avaliação.

FIGURA 3

Modelo lógico do Programa Nacional de Suplementação de Vitamina A no Brasil

Desenvolvimento de modelo teórico da avaliação, identificação de usuários da avaliação e procedimento da avaliação

Quanto aos elementos e) desenvolvimento de um MTA; f) identificação de usuários da avaliação e outros principais envolvidos; e g) obtenção de um acordo quanto ao procedimento de uma avaliação, este estudo foi proposto e conduzido por pesquisadores do Instituto René Rachou da Fundação Oswaldo Cruz (Fiocruz Minas) e teve adesão de 15 interessados, engajados em diferentes níveis de atuação no PNSVA. O grupo de 15 interessados incluiu pesquisadores e referências técnicas do Programa em nível estadual e regional. Ademais, houve reconhecimento de outros interessados na avaliação, como os profissionais da atenção primária à saúde (APS) (referência técnica municipal, enfermeiros e nutricionistas) e os usuários do Programa (crianças de 6 meses a 5 anos de idade).

Dos 22 convidados a participar da técnica Delphi, oito realizaram a avaliação dos questionários. O grau de concordância encontrado na validação de conteúdo foi de 92,7% quanto à pertinência e necessidade das questões e de 86,5% quanto à clareza para o questionário destinado à assistência do PNSVA. Para o questionário destinado à gestão do Programa, o grau de concordância foi de 97,84% para a pertinência e necessidade das questões e 92,97% para a clareza.

De forma geral, os juízes relataram que ambos os questionários são claros e de fácil compreensão. As principais observações foram referentes ao número de questões. Alguns avaliadores consideraram os questionários extensos e sugeriram a condensação de algumas perguntas, a melhoria de alguns enunciados quanto a clareza e a inserção de outras questões que julgavam pertinentes.

Após as modificações consideradas pertinentes, o questionário destinado à gestão, que tinha 43 questões, passou a ter 29. Dentre essas questões, uma abordou a estrutura do Programa, 11 abordaram o processo e 17 foram destinadas especificamente às atividades relacionadas à suplementação com megadoses de vitamina A. Já o questionário destinado à assistência, que tinha 49 questões, passou a ter 37, das quais cinco contemplaram a estrutura, 11 abordaram a promoção da alimentação saudável para a prevenção da DVA e 21 foram destinadas à suplementação com megadoses de vitamina A. Os questionários estão disponíveis aos interessados mediante contato com o autor correspondente do presente artigo.

DISCUSSÃO

A presente investigação apontou que o estudo de avaliabilidade foi um instrumento útil para explorar a teoria, propósitos e objetivos do PNSVA na elaboração de modelos capazes de esclarecer os contextos interno e externo e para verificar a plausibilidade das relações entre o problema, a estrutura do Programa, as suas atividades e os resultados esperados a curto, médio e longo prazo. O estudo de avaliabilidade do PNSVA possibilitou ainda o desenvolvimento de um plano para avaliações posteriores.

No campo das ações políticas, inclusive das políticas de saúde, a avaliação vem ganhando centralidade nas discussões. O reconhecimento da necessidade de sistemas e estratégias capazes de retroalimentar de forma ágil, eficiente e oportuna tanto os programas quanto os serviços de saúde vem favorecendo a crescente pressão social para o desenvolvimento da cultura de avaliação no Brasil (17). Isso explica, ao menos em parte, o crescimento relevante de publicações sobre avaliação em saúde no país, sobretudo a partir de meados dos anos 2000 (18).

Pesquisas avaliativas têm sido utilizadas para gerar informações que apoiem e orientem a tomada de decisão, favorecendo a compreensão da realidade no cotidiano do trabalho, transformando as ideias e práticas. Nesse contexto, o estudo de avaliabilidade é considerado uma importante estratégia para verificar em que medida uma intervenção pode ser avaliada, favorecendo a elaboração de um plano de avaliação mais consistente e com maior credibilidade (11). Com este objetivo, no contexto da APS, é crescente o interesse de pesquisadores em realizar essa abordagem avaliativa (19–21).

O modelo lógico foi essencial para compreender as premissas teóricas do PNSVA, permitindo a identificação das perguntas avaliativas, fundamentais para a condução da avaliação. Por meio dele foram identificados dois componentes distintos com o objetivo comum de reduzir a DVA em crianças menores de 5 anos: a suplementação profilática medicamentosa com vitamina A e a promoção da alimentação saudável.

Ressalta-se que a suplementação profilática medicamentosa é o foco central de ação na maior parte dos 80 países que têm programas de controle da DVA (22). A administração em massa de altas doses de vitamina A em crianças nos últimos 20 anos é frequentemente relacionada à redução mundial de sua deficiência ao longo do tempo, especialmente em regiões carentes (4). Porém, estudos apontam que a cobertura e a sustentabilidade desses programas são um desafio constante (23–25), reforçando a importância de sua avaliação. Apesar de os programas de suplementação de vitamina A terem contribuído para reduzir as taxas de mortalidade em menores de 5 anos, acredita-se que, enquanto ação isolada, não abordam o problema subjacente da ingestão alimentar inadequada da VA e de sua deficiência crônica em crianças em idade pré-escolar em países em desenvolvimento (26), justificando a necessidade de avaliação do segundo componente do Programa apresentado pelo modelo lógico, a promoção da alimentação saudável.

Ao investigar a trajetória da educação alimentar e nutricional nos programas oficiais de controle da DVA no país, Rodrigues e Roncada (27) revelaram que, ao longo dos últimos 40 anos, essas ações não se efetivaram ou sofreram interrupções, ocorrendo de forma temporária e sem avaliação. Os autores assumiram, porém, que o PNSVA apresenta importantes avanços ao considerar que a educação alimentar e nutricional deve acontecer paralelamente à suplementação, não devendo ser considerada como uma medida pontual.

Além da exploração do contexto da intervenção, outro item relevante na avaliação em saúde é identificar se os resultados serão utilizados e se há indicativo de sustentabilidade da intervenção (28). Para isso, a avaliação em saúde não pode ser realizada apenas pela gestão.

A cooperação efetiva dos envolvidos no processo de implantação de uma intervenção contribui, desde os primeiros achados do estudo, para a análise e interpretação dos dados do estudo de avaliabilidade, podendo gerar subsídios para a melhoria do Programa (11). Para tanto, desde sua idealização, a presente investigação contou com a parceria da gestão do PNSVA do estado de Minas Gerais. Houve ainda preocupação na identificação e inclusão de demais partes interessadas na avaliação, em especial por meio da técnica Delphi.

A negociação entre os atores interessados e envolvidos em processos avaliativos é uma importante característica do que Guba e Lincoln (29) denominam de avaliação de quarta geração, que se contrapõe às gerações anteriores à década de 1980. O engajamento de pessoas interessadas na avaliação constitui-se na abordagem mais desejável para identificar problemas e explicações do objeto avaliado, favorecendo a incorporação dos resultados na tomada de decisão para aperfeiçoar, ampliar ou alterar a intervenção (10).

Tanaka e Tamaki (10) relatam que, para estruturar um processo avaliativo que tenha a capacidade de apoiar a tomada de decisão da gestão em saúde e responda aos anseios das partes interessadas, é necessário que um conjunto de princípios seja levado em consideração: 1) utilidade: garantia da abordagem de questões relevantes; 2) factibilidade e viabilidade: a avaliação deve ter boa relação de custo-benefício; 3) propriedade: garantia da ética e 4) precisão: garantia de que os achados possam ser considerados corretos. A inclusão dos interessados é uma maneira de garantir uma avaliação de qualidade, atendendo os padrões da avaliação, em especial a utilidade e a propriedade.

O padrão de utilidade foi garantido, também, durante a validação das ferramentas de coleta de dados por meio da técnica Delphi. A seleção das perguntas avaliativas é um ponto crucial no processo de avaliação. Quando não há clareza nessas perguntas, o produto não é uma avaliação, e sim um diagnóstico. A ausência dessa clareza acarretará no acúmulo de dados e de informações que poderão não ser úteis na tomada de decisão para alterar determinada situação de saúde da população (10).

A avaliação do painel de juízes indicou que as questões elaboradas abordam aspectos necessários para a compreensão da implantação do PNSVA nos municípios. Esta etapa foi de grande importância para guiar ajustes pertinentes quanto ao conteúdo e à forma de apresentação de algumas questões, o que certamente aumentará o poder analítico da ferramenta.

Pode-se considerar que uma limitação do estudo foi a utilização de questionários on-line para realizar a técnica Delphi. Apesar de possibilitar maior alcance de potenciais respondentes, esse formato leva a perdas amostrais consideráveis.

O estudo de avaliabilidade confirmou a possibilidade de realizar uma avaliação sistemática de caráter mais extenso. A apropriação do processo histórico das ações de prevenção da DVA e dos modelos teórico e lógico do PNSVA poderão contribuir para verificar se a estrutura disponível, as atividades planejadas e os produtos gerados são suficientes para atender aos objetivos propostos. Ademais, a partir desse estudo, foram construídas, com a participação de atores interessados na avaliação, perguntas avaliativas oportunas para a avaliação da implantação do Programa, a ser realizada futuramente no estado de Minas Gerais. O plano de avaliação fortalece o poder da ferramenta de avaliação e a utilização de seus achados pela gestão, tanto em nível nacional, estadual, regional quanto municipal.

Pretende-se que o presente estudo enriqueça o debate sobre a necessidade de metodologias de avaliação que possibilitem investigar aspectos que vão além da cobertura e efetividade do Programa e que sejam capazes também de explorar a relação entre os componentes do Programa e desses com o contexto. Portanto, sugere-se que pesquisadores de outras regiões que se propõem a investigar ações de prevenção da DVA realizem estudos de avaliabilidade como este para garantir que sua avaliação seja capaz de desvelar a efetividade ou não das ações, elencando suas fragilidades e fortalezas.