Especialista em amostragem, Neale El-Dash explica como pesquisas transformam respostas de uma pequena parcela da população em estimativas sobre milhões de eleitores e por que incerteza, vieses e erros fazem parte desse processo

Por Suzana Amyuni

Em ano eleitoral, basta uma nova pesquisa de intenção de voto ser divulgada para os percentuais ocuparem manchetes, alimentarem discussões e despertarem expectativas sobre quem está à frente, quem cresceu ou quem pode vencer uma eleição. Mas os números estampados nos levantamentos estão longe de ser uma radiografia exata do eleitorado e, menos ainda, uma antecipação do resultado das urnas.

Por trás de cada porcentagem há uma série de escolhas, tais como quem será entrevistado, de que maneira essas pessoas serão selecionadas, como lidar com quem se recusa a responder, que peso atribuir a diferentes pesquisas e até que pressupostos adotar para estimar uma opinião pública que não pode ser diretamente observada. Erro amostral, não resposta, erro de mensuração e vieses metodológicos fazem parte desse quebra-cabeça.

É justamente nessa fronteira entre teoria estatística e as limitações do mundo real que trabalha o pesquisador Neale Ahmed El-Dash, doutor em estatística pela USP, com graduação e mestrado pela Unicamp, e mais de 20 anos de experiência em pesquisas eleitorais no Brasil e no exterior.

El-Dash também é fundador e diretor de pesquisa da PollingData, plataforma criada em 2014 para reunir, sistematizar e analisar pesquisas eleitorais. Além de manter um amplo acervo desses levantamentos, o projeto utiliza modelos estatísticos para combinar pesquisas realizadas por diferentes institutos e acompanhar a evolução da opinião pública.

Nesta entrevista ele explica por que uma pesquisa eleitoral nunca está livre de incertezas, como é possível inferir o comportamento de milhões de pessoas entrevistando apenas uma pequena parcela delas e por que um evento com 70% de probabilidade de ocorrer ainda pode, perfeitamente, não acontecer.

Como conciliar as necessidades práticas da pesquisa com as exigências da estatística teórica? 

Essa diferença aparece principalmente no desenho e na execução da amostra. Em teoria, queremos fazer uma amostragem probabilística, o que significa que todas as pessoas da população têm uma probabilidade conhecida e maior do que zero de participar da pesquisa. Quando quem desenha a pesquisa controla essa chance, reduzimos, por exemplo, problemas de autosseleção. Toda a teoria de amostragem se baseia, de maneira geral, nesse princípio.

Na prática, porém, mesmo que eu selecione uma pessoa, ligue para o telefone dela ou vá até o seu domicílio, é ela que decide se vai participar. Pode se recusar, não estar em casa ou não atender ao telefone. Existe, portanto, uma probabilidade de resposta que não está sob o controle do estatístico. Pesquisas eleitorais são pesquisas com populações humanas, não podemos obrigar as pessoas a responder.

Por isso, existem vários procedimentos para tentar reduzir esse problema. Podemos voltar diversas vezes ao mesmo domicílio, ligar várias vezes para o mesmo telefone e estabelecer critérios claros para substituição depois de determinado número de tentativas. Só que tudo isso envolve custo. Quanto mais vezes tento localizar aquela pessoa, maior pode ser a taxa de resposta, mas também maior será o custo da pesquisa. E há pessoas que, mesmo com inúmeras tentativas, talvez nunca sejam encontradas.

A não resposta também pode ocorrer em perguntas específicas. Renda é um exemplo. Se perguntamos abertamente “quanto você ganha?”, historicamente temos uma não resposta maior do que quando oferecemos faixas de renda. Mas mesmo assim surgem outros problemas: algumas pessoas podem declarar uma renda maior ou menor que a real, pode haver dúvida se estamos falando da renda do indivíduo ou da família e até sobre qual período deve ser considerado. São erros de mensuração.

Essa distância entre teoria e prática está em todas as etapas: amostragem, coleta, análise e diferentes tipos de erro. O melhor que podemos fazer é tentar reduzir esses problemas durante o planejamento e a coleta e, posteriormente, usar técnicas estatísticas para estimar e corrigir possíveis vieses. É um processo complexo, que exige várias suposições e no qual a experiência acumulada ajuda a estabelecer boas práticas.

Quando uma pesquisa aponta determinada porcentagem de intenção de voto, o que esse número realmente nos permite afirmar sobre o eleitorado?

Quando olhamos para o resultado de uma pesquisa, precisamos ter em mente que existem diferentes tipos de erro. O mais conhecido é o amostral, associado à margem de erro. Se uma estimativa tem margem de três ou quatro pontos percentuais, por exemplo, isso já mostra que aquele percentual não é um número exato, sobre o qual temos certeza.

Mas há outros. A não resposta é um deles, e seu impacto sobre a estimativa é muito difícil de prever. Existem também situações em que a pessoa diz que vai votar ou que não vai votar e, na prática, faz o contrário. Alguns desses erros são mensuráveis; outros, nem tanto.

Eu entendo a pesquisa como uma informação sobre determinado momento, uma fotografia. Ela não necessariamente diz o que vai acontecer. Muitas vezes estamos trabalhando com cenários que ainda podem mudar: há pré-candidatos que talvez nem participem da eleição ou simulações de segundo turno que ainda não aconteceram.

Hoje, como existe uma grande disponibilidade de pesquisas, considero ideal olhar para um conjunto delas. Cada pesquisa é mais um ponto tentando medir algo que, na verdade, não observamos diretamente: a intenção de voto da população. Um agregador ajuda justamente a enxergar essa dinâmica e compreender as várias informações ao mesmo tempo.

O PollingData reúne pesquisas feitas por diferentes institutos, com metodologias, amostras e modos de entrevista distintos. Como é possível combinar resultados tão diferentes em uma única estimativa? E como vocês identificam e tratam possíveis vieses metodológicos?

Há dois aspectos principais. O primeiro é utilizar um modelo para tentar retirar parte do ruído das pesquisas. Uma característica importante desse modelo é estimar o que chamamos de “efeito instituto” ou viés metodológico. Basicamente, verificamos quanto as pesquisas de determinado instituto divergem, em média, do conjunto das pesquisas para cada candidato.

Imagine, por exemplo, um instituto cujas pesquisas coloquem determinado candidato sistematicamente cinco pontos acima da média dos demais. Quando agregamos essas pesquisas, podemos estimar esse efeito e descontá-lo para chegar a uma estimativa mais plausível da intenção de voto.

O modelo utilizado pelo PollingData é hierárquico e trabalha com dois níveis. No primeiro, levamos em consideração as características das pesquisas: o instituto que realizou o levantamento, o tamanho da amostra e a data em que foi feito. Pesquisas mais recentes têm maior importância, enquanto amostras maiores tendem a apresentar menor erro.

No segundo nível, tentamos modelar a própria opinião pública, fazendo uma suposição sobre o quanto ela pode mudar de um dia para outro. Isso ajuda a suavizar os resultados e estimar aquela intenção de voto que está por trás dos dados, mas que não conseguimos observar diretamente.

E existe subjetividade nisso. Podemos construir um modelo supondo que a opinião pública muda mais rapidamente, o que produzirá uma estimativa que oscila mais, ou considerar que ela é mais estável. A subjetividade é inerente à modelagem. O objetivo principal é reduzir o ruído e produzir uma estimativa que consiga aproveitar conjuntamente as informações de diferentes pesquisas.

As pesquisas eleitorais tentam compreender o comportamento de milhões de pessoas a partir de uma pequena amostra. O que elas têm em comum, do ponto de vista científico, com pesquisas de outras áreas que também precisam fazer inferências sobre uma população a partir de dados incompletos?

As pesquisas eleitorais são, na verdade, um tipo de pesquisa de opinião pública. Estatisticamente, não há uma diferença essencial. O que muda são as perguntas que fazemos: intenção de voto, interesse pela eleição, probabilidade de comparecimento e assim por diante.

Talvez uma das maiores particularidades esteja no prazo. Uma pesquisa eleitoral dificilmente fica três ou quatro semanas em campo, porque mede algo dinâmico, que muda ao longo do tempo. Se uma pesquisa levasse um mês para ser realizada, poderia acabar misturando opiniões de momentos políticos bastante diferentes, por isso, ela precisa ser rápida. E essa combinação de pouco tempo e recursos limitados pode obrigar a abrir mão de alguns controles de qualidade que seriam possíveis em outros tipos de levantamento.

Em outras pesquisas, podemos ter mais informações prévias sobre a população estudada ou maior controle sobre quem responde. Isso pode ajudar tanto na coleta quanto posteriormente, na análise, porque permite compreender e corrigir melhor eventuais problemas de seleção. Nas pesquisas eleitorais, a principal dificuldade está justamente nessa combinação entre tempo, recursos e uma população sobre a qual não temos controle completo.

Quando um modelo afirma que existe, por exemplo, 70% ou 80% de probabilidade de determinado resultado ocorrer, como o público deve interpretar esse número? E por que uma previsão probabilística pode estar correta mesmo quando acontece o resultado considerado menos provável?

Essa é uma pergunta difícil porque existem diferentes maneiras de definir probabilidade. Uma das mais conhecidas é a interpretação frequentista. Se dizemos que determinado evento tem 70% de probabilidade de ocorrer, a ideia é que, se pudéssemos repetir aquela situação muitas vezes nas mesmas condições, o resultado ocorreria em aproximadamente 70% delas.

O problema é que as pessoas muitas vezes ouvem “70%” e interpretam como se fosse uma certeza. Não é. Se algo tem 70% de chance de acontecer, existe também uma chance importante de que não aconteça. Falar em probabilidade significa justamente admitir que existem resultados favoráveis e desfavoráveis possíveis.

Temos muita dificuldade de lidar intuitivamente com isso. Se lançamos uma moeda, sabemos que a probabilidade de sair cara ou coroa é de 50%. Mas, se começarmos a lançá-la e aparecer cara várias vezes seguidas, começamos a desconfiar, embora sequências assim possam acontecer em um processo perfeitamente aleatório. A probabilidade, muitas vezes, parece oferecer mais precisão do que realmente oferece.

Lembro de um exemplo que aprendi em uma das primeiras aulas de estatística. Havia cerca de 70 alunos na sala e o professor perguntou se queríamos apostar que pelo menos duas pessoas faziam aniversário no mesmo dia. Intuitivamente, pensamos: existem 365 dias no ano e apenas 70 pessoas aqui; parece difícil haver aniversários coincidentes.

Quando ele fez a contagem, havia vários aniversários compartilhados. O ponto é que estávamos pensando na probabilidade da maneira errada. A pergunta mais útil era: qual é a chance de que ninguém naquela sala faça aniversário no mesmo dia? Essa probabilidade diminui muito rapidamente conforme aumentamos o número de pessoas.

Esse é um exemplo interessante porque mostra que algumas probabilidades podem ser altas e, ainda assim, parecer completamente contraintuitivas. Essa também é parte da graça da probabilidade.