20.1.06
Sondagens e erros
Numa sondagem de opinião acontece um facto curioso, que creio não ser do conhecimento público habitual:
Quando se quer reduzir o "erro" da sondagem para metade tem de se multiplicar o número de elementos da amostra por quatro. Por isso é que em Portugal existem geralmente dois tipos de sondagens:
As com cerca de 4000 elementos na amostra (Católica por exemplo).
As sondagens tipo Marktest que chegou a apresentar amostras de 600 e que hoje termina com 1400, geralmente andam pelos 1000 elementos. O erro da sondagem de hoje anda pelos 2.6%.
É notável que sondagens com amostras pequenas sirvam para tirar tantas conclusões e tão peremptórias, escamoteando muitas vezes a distribuição dos indecisos.
O que significa este "erro"? Centremos a nossa análise na sondagem da Marktest, que é a que me parece mais esclarecedora, mais falível e pouco credível. O erro é apenas uma medida estatística centrada no indicador, quer dizer que Cavaco, por exemplo, tendo 53% de respostas afirmativas, intenções, terá a sua votação entre 50.4% e 55.6%. Isto com 95% de confiança (não escrito na edição online do DN) o que significa que só em 95% das previsões com estes resultados amostrais o intervalo acima se confirmará, se quisermos aumentar a confiança para 99% o intervalo, o tal "erro" aumenta muito como qualquer estudante sabe e pode consultar numa tabela. Ou seja, uma sondagem com uma amostra pequena é algo muito falível. Dizer por exemplo que Garcia Pereira desceu de ontem de 0.6 para 0.5 continua a ser uma calinada grossa, significa que em 1400 indivíduos 7 pessoas responderam sim a Garcia Pereira, ontem foram os mesmo 7 sins numa amostra mais pequena ou eventualmente a amostra terá apanhado menos um sim a Garcia hoje, este indicador não vale nada.
Outro dado curioso é que esta sondagem do DN não nos dá indecisos, nos 1400 existem indecisos? Quantos foram redistribuidos? Não sei, nesta redistribuição reside outra forma de manipulação de sondagens, permite nomeadamente "acertar" a sondagem com as outras, de empresas mais credíveis, que sairam ontem e vão sair hoje e evitar passar vergonhas no dia das eleições. É muito estranho do ponto de vista matemático que uma sondagem tenha posto Cavaco a descer dia a dia muito menos do que a margem de erro, com uma excepção marginal de 0.1% num dos dias e irrelevante estatisticamente, a distribuição subjacente é normal e a probabilidade de, com uma amostra tão pequena, haver subidas e descidas (superiores a um ponto) é enorme. O que aconteceu nas sondagens do DN é quase impossível estatisticamente. Até os dados ou roletas viciados dão todos os valores possíveis. Mais estranho ainda é precisamente no último dia se ter invertido essa tendência.
A votação de Louçã e de Jerónimo: estão dentro do mesmo intervalo, é impossível dizer com esta amostra qual dos dois está à frente, ao contrário do que diz o jornal, 7 e 6.5 são a mesma coisa com um intervalo que anda entre os 4 e os 9 pontos com uma certeza de 95%. É absolutamente irrelevante, em termos estatísticos uma diferença de 0.5%. São (a acreditar que não há indecisos, o que é outra aberração) uma diferença de 7 pessoas em 1400, já mencionada, que preferem Jerónimo a Louça. É também uma aberração vender décimas quando apenas há dois algarismos significativos, um erro que a Marktest faz e que valeria negativa num exame da faculdade a qualquer aluno. Repare-se nos dados da Católica: são apresentados apenas com as unidades, e tem uma amostra muito maior e com um erro mais pequeno.
Não se podem tirar mais conclusões do que os números permitem. Sondagens com 1000 indivíduos são altamente falíveis, sobretudo para as indicações pequenas e muito pequenas. Este trabalho da Marktest vem vendido como se fosse a última revelação de Sócrates antes da cicuta mas é a última manipulação de Sócrates antes ... da cicuta!
E como se diz no Editorial do mesmo jornal "por mais perversos que sejam os seus efeitos", digo eu agora: não é uma sondagem deste tipo que influenciará a consciência dos votantes.
Quando se quer reduzir o "erro" da sondagem para metade tem de se multiplicar o número de elementos da amostra por quatro. Por isso é que em Portugal existem geralmente dois tipos de sondagens:
As com cerca de 4000 elementos na amostra (Católica por exemplo).
As sondagens tipo Marktest que chegou a apresentar amostras de 600 e que hoje termina com 1400, geralmente andam pelos 1000 elementos. O erro da sondagem de hoje anda pelos 2.6%.
É notável que sondagens com amostras pequenas sirvam para tirar tantas conclusões e tão peremptórias, escamoteando muitas vezes a distribuição dos indecisos.
O que significa este "erro"? Centremos a nossa análise na sondagem da Marktest, que é a que me parece mais esclarecedora, mais falível e pouco credível. O erro é apenas uma medida estatística centrada no indicador, quer dizer que Cavaco, por exemplo, tendo 53% de respostas afirmativas, intenções, terá a sua votação entre 50.4% e 55.6%. Isto com 95% de confiança (não escrito na edição online do DN) o que significa que só em 95% das previsões com estes resultados amostrais o intervalo acima se confirmará, se quisermos aumentar a confiança para 99% o intervalo, o tal "erro" aumenta muito como qualquer estudante sabe e pode consultar numa tabela. Ou seja, uma sondagem com uma amostra pequena é algo muito falível. Dizer por exemplo que Garcia Pereira desceu de ontem de 0.6 para 0.5 continua a ser uma calinada grossa, significa que em 1400 indivíduos 7 pessoas responderam sim a Garcia Pereira, ontem foram os mesmo 7 sins numa amostra mais pequena ou eventualmente a amostra terá apanhado menos um sim a Garcia hoje, este indicador não vale nada.
Outro dado curioso é que esta sondagem do DN não nos dá indecisos, nos 1400 existem indecisos? Quantos foram redistribuidos? Não sei, nesta redistribuição reside outra forma de manipulação de sondagens, permite nomeadamente "acertar" a sondagem com as outras, de empresas mais credíveis, que sairam ontem e vão sair hoje e evitar passar vergonhas no dia das eleições. É muito estranho do ponto de vista matemático que uma sondagem tenha posto Cavaco a descer dia a dia muito menos do que a margem de erro, com uma excepção marginal de 0.1% num dos dias e irrelevante estatisticamente, a distribuição subjacente é normal e a probabilidade de, com uma amostra tão pequena, haver subidas e descidas (superiores a um ponto) é enorme. O que aconteceu nas sondagens do DN é quase impossível estatisticamente. Até os dados ou roletas viciados dão todos os valores possíveis. Mais estranho ainda é precisamente no último dia se ter invertido essa tendência.
A votação de Louçã e de Jerónimo: estão dentro do mesmo intervalo, é impossível dizer com esta amostra qual dos dois está à frente, ao contrário do que diz o jornal, 7 e 6.5 são a mesma coisa com um intervalo que anda entre os 4 e os 9 pontos com uma certeza de 95%. É absolutamente irrelevante, em termos estatísticos uma diferença de 0.5%. São (a acreditar que não há indecisos, o que é outra aberração) uma diferença de 7 pessoas em 1400, já mencionada, que preferem Jerónimo a Louça. É também uma aberração vender décimas quando apenas há dois algarismos significativos, um erro que a Marktest faz e que valeria negativa num exame da faculdade a qualquer aluno. Repare-se nos dados da Católica: são apresentados apenas com as unidades, e tem uma amostra muito maior e com um erro mais pequeno.
Não se podem tirar mais conclusões do que os números permitem. Sondagens com 1000 indivíduos são altamente falíveis, sobretudo para as indicações pequenas e muito pequenas. Este trabalho da Marktest vem vendido como se fosse a última revelação de Sócrates antes da cicuta mas é a última manipulação de Sócrates antes ... da cicuta!
E como se diz no Editorial do mesmo jornal "por mais perversos que sejam os seus efeitos", digo eu agora: não é uma sondagem deste tipo que influenciará a consciência dos votantes.
Arquivos
- 11/03
- 03/04
- 04/04
- 05/04
- 06/04
- 07/04
- 08/04
- 09/04
- 10/04
- 11/04
- 12/04
- 01/05
- 02/05
- 03/05
- 04/05
- 05/05
- 06/05
- 07/05
- 08/05
- 09/05
- 10/05
- 11/05
- 12/05
- 01/06
- 02/06
- 03/06
- 04/06
- 05/06
- 06/06
- 07/06
- 08/06
- 09/06
- 10/06
- 11/06
- 12/06
- 01/07
- 02/07
- 03/07
- 04/07
- 05/07
- 06/07
- 07/07
- 09/07
- 10/07
- 11/07
- 12/07
- 01/08
- 02/08
- 03/08
- 04/08
- 05/08
- 06/08
- 07/08
- 09/08
- 10/08
- 12/08
- 01/09
- 02/09
- 03/09
- 04/09
- 07/09
- 11/09
- 02/10
- 03/10
- 03/11
- 04/11
- 05/11
- 06/11
- 09/12
- 05/13
- 06/13
- 07/13
- 08/13
- 09/13
- 10/13
- 11/13
- 12/13
- 01/14
- 02/14
- 03/14
- 04/14
- 05/14
- 06/14
- 07/14
- 09/14
- 01/15
- 05/15
- 09/15
- 10/15
- 03/16