Meta-análises

A meta-análise é um tipo de análise de dados em que os resultados de vários estudos – sem que necessariamente algum deles tenha encontrado algo de significância estatística – são agrupados e analisados como se fossem o resultado de um único grande estudo.

Os resultados de experiências ganzfeld, por exemplo, têm variado enormemente, indicando que os resultados dependem muito de quem conduz o experimento. Entre 1974 e 1981, cerca de 42 experimentos ganzfeld tiveram seus resultados relatados ou publicados. Charles Honorton alegou que 55% desses estudos reportados encontraram evidências positivas da existência de algo interessante, senão paranormal. Isto é, pouco mais da metade dos estudos produziu resultados estatísticos que não se deviam provavelmente ao acaso. Os dados poderiam dever-se a psi, mas poderiam também dever-se a vazamento sensorial ou a alguma outra deficiência metodológica.

Em 1981 ou 1982, Honorton enviou todos os estudos relatados ao cético Ray Hyman, que em seguida fez uma meta-análise deles. Concluiu que os dados não ensejavam a crença em psi, principalmente pelas muitas falhas que encontrou nos próprios experimentos. Hyman refinou os dados reduzindo-os a 22 estudos de 8 investigadores (746 testes, que compunham 48% da base de dados). Encontrou uma taxa de acertos de 38% para esses estudos. Mas após fazer ajustes levando em conta o viés de seleção e a qualidade do estudo, calculou a taxa de sucesso na replicação como 31%, e não 55%.

Na opinião de Hyman, 58% dos estudos usaram procedimentos inadequados de casualização. Também encontrou problemas de vazamento sensorial, (por exemplo, as salas não eram à prova de som e os vídeos podiam ser ouvidos pelos experimentadores) e com alguns dos procedimentos estatísticos utilizados. Escreveu:

Até onde sei, fui a primeira pessoa a fazer uma meta-análise de dados parapsicológicos. Fiz uma meta-análise dos experimentos ganzfeld originais como parte da minha crítica a esses experimentos. Minha análise demonstrou que certas falhas, especialmente de qualidade de casualização, realmente tinham correlação com o resultado. Sucessos tinham correlação com metodologia inadequada. Em resposta às minhas críticas, Charles Honorton fez sua própria meta-análise dos mesmos dados. Também usou as falhas como critério para classificar os dados, mas concebeu esquemas de classificação diferentes dos meus. Em sua análise, os índices de qualidade não tinham correlação com o resultado. Isso aconteceu, em parte, porque Honorton encontrou mais falhas em experimentos mal sucedidos que eu, ao passo que eu encontrei mais falhas em experimentos bem sucedidos que ele. Presumivelmente, tanto eu como Honorton acreditamos ter classificado a qualidade de uma forma objetiva e imparcial. Ainda assim, ambos chegamos a resultados compatíveis com nossas idéias pré-concebidas. (Hyman 1996)

Quinze dos estudos apareciam em periódicos revisados, vinte eram resumos de artigos apresentados em encontros da Parapsychological Association, cinco eram monografias publicadas e dois eram teses de graduação em biologia. Quando Honorton fez sua meta-análise, selecionou 28 desses estudos. Carl Sargent havia feito 9 deles, Honorton havia feito 4, John Palmer 4, Scott Rogo 4, William Braud 3 e Rex Stanford 3. Sargent representava cerca de 1/3 da base de dados.

Honorton, em sua meta-análise dos 28 estudos, concluiu que em vez de um resultado esperado pelo acaso de 25% de identificação correta pelos receptores, o resultado real era de 34% de acertos — resultado este que não poderia ser razoavelmente explicado como ocorrência aleatória ou casual, ou seja, que era estatisticamente significativo.

No entanto, Hyman levanta uma questão crucial a respeito das meta-análises: crédulos e céticos classificam os estudos de forma bem diferente, embora ambos pensem estar sendo justos e imparciais. Honorton concordava com Hyman de que havia problemas com alguns dos estudos e que não poderia ser tirada nenhuma grande conclusão até que fossem feitos estudos posteriores, estudos esses que deveriam ser bem rigorosamente desenhados e controlados.

Hyman não achava que os dados pudessem ser explicados pelo efeito gaveta, mas poderia estar errado. Não há nenhum método padrão para se determinar quantos estudos teriam que existir na gaveta para que uma meta-análise fosse anulada. Diferentes estatísticos empregam diferentes fórmulas, com resultados significativamente diferentes. A questão da gaveta de arquivo poderia ser evitada simplesmente com a execução de experimentos individuais maiores, sob condições rigorosas.

O parapsicólogo Dean Radin é grande apreciador de meta-análises. No livro, The Conscious Universe [O Universo Consciente], ele emprega os resultados meta-análises para demonstrar a existência de psi. Com relação aos estudos ganzfeld, alega que os resultados de Honorton não se deveram ao efeito gaveta. De fato, calcula ele – embora não diga como – seriam necessários 17.974 estudos engavetados para cada estudo publicado para que os dados fossem anulados. Honorton havia feito sua própria análise de efeito gaveta e “concluiu que seriam necessários 423 estudos não-reportados com resultados em média nulos para que se pudesse atribuir o efeito geral encontrado nos 28 experimentos desta amostra como devidos a seleção de dados… cerca de mais de 15 estudos não publicados para cada estudo publicado” (Radin 1997). No entanto, outra forma de analisar os dados indica que seriam necessários apenas 62 estudos engavetados, o que corresponde a apenas pouco mais de dois estudos não publicados para cada um que foi publicado. (Stokes 2001). O fato é que qualquer fórmula estatística usada para se especular sobre quantos estudos seriam necessários para se obter resultados nulos antes que uma meta-análise seja anulada é arbitrária. É útil observar que em 1975 a American Parapsychological Association estabeleceu uma política oficial contra a prática de relatarem-se seletivamente apenas os resultados positivos.

Susan Blackmore visitou o laboratório de Carl Sargent e disse o seguinte:

Aqueles experimentos, que no papel pareciam tão lindamente projetados, eram na verdade abertos à fraude ou erro de diversas maneiras, e de fato detectei vários erros e falhas no cumprimento dos protocolos enquanto estive lá. Concluí que os artigos publicados davam uma impressão injustificada dos experimentos e que não se poderia confiar nos resultados como evidência de psi. Finalmente, os experimentadores e eu publicamos nossas diferentes visões sobre o caso (Blackmore 1987; Harley e Matthews 1987; Sargent 1987). O principal experimentador abandonou inteiramente a área.

Eu não me referiria a esse triste incidente novamente, se não fosse por uma única razão. Os dados de Cambridge estão todos na revisão de Bem e Honorton, mas sem os créditos. Dos vinte e oito estudos incluídos, nove vieram do laboratório de Cambridge, mais que de qualquer outro laboratório, e tiveram o segundo maior efeito depois dos do próprio Honorton. Bem e Honorton realmente argumentam que um dos laboratórios contribuiu com nove dos estudos, mas não dizem qual. Não se expressa sequer uma palavra de dúvida, não se faz nenhuma referência à minha investigação e nenhum leitor casual poderia imaginar que houve tal controvérsia a respeito de um terço dos estudos na base de dados. (“O que o paranormal pode ensinar-nos sobre a Consciência?” 2001)

O Físico Victor Stenger chama a meta-análise na parapsicologia de “um procedimento dúbio… no qual os resultados estatisticamente insignificantes de vários experimentos são combinados como se fossem um experimento controlado e único” (“Meta-Análise e o Efeito Gaveta”).  Teoricamente, seria possível fazer cem experimentos com amostras pequenas e todos com resultados negativos, ao passo que uma meta análise dos mesmos dados produziria resultados estatisticamente significativos. Isso deveria nos lembrar que estatisticamente significante não quer dizer cientificamente importante.

leitura adicional

Bem, Daryl J. e Charles Honorton (1994). “Does Psi Exist?” Psychological Bulletin, Vol. 115, No. 1, 4-18.

Blackmore, S.J. 1987. “A report of a visit to Carl Sargent’s laboratory.” Journal of the Society for Psychical Research 54: 186P198.

Harley, T., e G. Matthews. 1987. “Cheating, psi, and the appliance of science: A reply to Blackmore.” Journal of the Society for Psychical Research 54: 199P207.

Hyman, Ray. 1996. “The Evidence for Psychic Functioning: Claims vs. Reality.” Skeptical Inquirer.

Radin, Dean (1997). The Conscious Universe – The Scientific Truth of Psychic Phenomena. HarperCollins.

Sargent, C. 1987. “Sceptical fairytales from Bristol.” Journal of the Society for Psychical Research 54: 208P218.

Stenger, Victor J. (2002). “Meta-Analysis and the File-Drawer Effect.” Skeptical Brief.

Stokes, Douglas. 2001. “The Shrinking Filedrawer.” Skeptical Inquire.

Estudos de metanálise

Estrutura

Nos estudos de metanálise são analisados um conjunto de estudos ou trabalhos de investigação e são apresentadas medidas que combinam os resultados desses mesmos estudos. Numa metanálise pretende-se sumariar os pontos em comum e apontar as fontes de discordância entre estudos que visem responder a uma questão comum. Assim, as unidades de análise são os estudos ou trabalhos de investigação.

Para levar a cabo um estudo de metanálise começa-se pela definição da questão a abordar, por exemplo, “qual a relação entre o consumo de café e a doença coronária?”, e do tipo de estudos que serão usados.

O passo seguinte será a definição das variáveis do estudo: o resultado esperado (no caso em questão seria uma das várias formas de manifestação da doença coronária, por exemplo, o enfarte agudo do miocardio, a angina de peito, a insuficiência coronária, etc), a exposição (neste caso deveria definir-se uma escala de exposição em relação ao consumo de café), os factores de confusão (neste caso seria importante ter informação, por exemplo, sobre os hábitos tabágicos, etc).

É feita, então, uma pesquisa exaustiva com o intuito de encontrar, idealmente, todos os estudos realizados sobre a questão, na prática, os estudos disponíveis. Esta pesquisa é feita, geralmente, utilizando as bases de dados bibliográficas mais conhecidas (ex: Medline, Embase, etc), mas deve, na medida do possível, ser complementada com outros métodos de pesquisa (ex: consultar especialistas, procurar em bases de dados de resumos apresentados em congressos científicos, etc) que permitam abranger a maior quantidade possível de estudos sobre a questão a abordar.

Os dados referentes às medidas de associação utilizadas, à precisão dessas mesmas medidas, ao número de indivíduos estudados, à forma de classificação da exposição, ao resultado esperado que foi considerado e aos factores de confusão que foram tidos em conta são analisados para cada estudo e é feita uma selecção daqueles que permitem obter a informação mínima, ou estimativas da mesma, para entrar no estudo de metanálise. Devido à grande diversidade de informação existente, métodos de análise e formas de apresentação de resultados, será, muitas vezes, necessário fazer correcções dos dados brutos provenientes de cada estudo (ex: corrigir para as diferenças em relação ao ajustamento para os hábitos tabágicos). Existem vários métodos que permitem fazer estas correcções, mas a sua apresentação está fora do âmbito desta aula.

Existem vários métodos estatísticos que são usados em estudos de metanálise, no entanto, o mais usado é a chamada regressão ponderada (weighted regression). Através de um método estatístico algo complexo são analisadas as medidas de associação e precisão dessas mesmas medidas, para cada estudo, e é-lhes atribuído um factor de ponderação. Usando as medidas de associação e os factores de ponderação é, então, calculada uma medida de associação, normalmente o risco relativo ou equivalentes, que sumaria os resultados de todos os estudos analisados. São, também, usados gráficos e figuras que permitem apresentar o conjunto dos resultados encontrados, permitindo a observação de padrões, semelhanças e diferenças entre os estudos analisados.

Vantagens

A grande vantagem dos estudos de metanálise é a sua capacidade de síntese de informação. Num só estudo é possível fazer convergir os resultados de muitos trabalhos de investigação. Num tempo em que a investigação avança a um ritmo incessante e se torna, cada vez mais, impossível estar a par de todos os novos avanços da ciência biomédica esta é, de facto, uma grande vantagem.

Os estudos de metanálise são vantajosos, não só, por permitirem estabelecer medidas de síntese, mas também, por permitirem analisar as diferenças metodológicas e de resultados dos estudos, permitindo propor padrões que justifiquem as diferenças encontradas e, desse modo, as expliquem, dando, assim, uma ideia mais abrangente sobre qual será a verdadeira resposta à questão levantada.

Outras vantagens importantes deste tipo de estudos são a sua facilidade de execução (apesar de exigirem amplos conhecimentos estatísticos e da metodologia que lhes é específica), a rapidez com que se podem obter resultados e o facto de serem financeiramente pouco exigentes.

Desvantagens

Apesar de haver uma certa concordância em relação às vantagens dos estudos de metanálise há grandes controvérsias em relação a algumas questões em torno deste tipo de estudos, por exemplo, em relação a qual deve ser o objectivo primário destes estudos. Há quem defenda que o objectivo primário destes estudos deve ser o cálculo de medidas de associação que sumariem os resultados dos vários estudos analisados – um objectivo sintético – e quem defenda que deve ser a identificação e análise das diferenças entre estes – um objectivo analítico. Não podemos esquecer que um estudo de metanálise com intuito meramente sintético pode dar uma falsa impressão de consistência entre os vários estudos. É importante ter em atenção que nenhuma metanálise pode compensar as limitações inerentes aos estudos em que se baseia, uma vez que, eles próprios, têm erros, sistemáticos e aleatórios, que não são corrigidos pela sua análise conjunta, sendo, pelo contrário, aditivos. Daí, a grande importância do objectivo analítico num estudo de metanálise.

Uma das grandes desvantagens deste tipo de estudos prende-se com os chamados viéses de publicação. Existe, no meio científico, uma tendência para publicar, mais facilmente, estudos com resultados positivos e não publicar estudos com resultados negativos (não existência de efeito). Existe, assim, um erro sistemático no sentido de resultados positivos, ainda que estes não existam de facto. É por esta razão que se reveste da maior importância fazer uma pesquisa o mais abrangente possível de modo a encontrar não só os estudos com resultados positivos mas também os que encontraram resultados negativos.

Mesmo encontrando todos os estudos sobre a questão a analisar, normalmente, não se tem acesso aos dados completos de cada estudo. Geralmente, não é possível ir além dos artigos de revista em que foram divulgados os resultados dos estudos. A não existência de dados suficientes que permitam a análise de cada estudo é, deste modo, um dos maiores problemas encontrados na realização de uma metanálise, tanto por não ter acesso aos estudos, como por eles próprios poderem ter limitações e deficiências.

Uma outra questão importante, e que muitas vezes dificulta grandemente o trabalho de metanálise, é a divergência encontrada entre os vários estudos que pretendem responder a uma questão comum, em relação à definição da exposição, à definição do resultado esperado, à definição das variáveis de confusão, etc.

Por último, deve-se referir que as medidas de síntese encontradas num estudo de metanálise são produto de uma análise ecológica, isto é, de grupo, contribuindo cada estudo com uma medida que representa todos os indivíduos analisados. Deste modo estes estudos têm algumas das desvantagens inerentes a uma análise ecológica (vide supra).

 

Anúncios

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s