Lo que demuestran los estudios

Resulta muy habitual desayunarse con titulares del tipo “Un estudio demuestra…”, que encabezan artículos en los que se nos informa de un supuesto avance de la ciencia, avalado por los resultados de algún tipo de estudio estadístico. Lo más curioso de estos artículos no es tanto lo que demuestran como el hecho de que podamos encontrar otros estudios, también supuestamente científicos, que demuestran justo lo contrario.

Esto se puede comprobar especialmente cuando se trata de cuestiones polémicas, tales como el cambio climático, el sufrimiento de los toros en las corridas o la consideración médica de la homosexualidad.

En realidad, lo único que suelen demostrar estos artículos es la ignorancia, tanto de los periodistas que los escriben como de gran parte del público que los consume, en relación a la interpretación de los resultados de la investigación científica y del funcionamiento del método científico en general. Veamos por qué.

En primer lugar, la ciencia, a diferencia de la religión o las ideologías políticas en general, no funciona a base de creencias y preferencias personales, sino en base a conocimiento objetivo de hechos comprobados sobre la naturaleza del mundo real. El papel de las creencias en el mundo de la ciencia está limitado a la generación de hipótesis, las cuales se intenta corroborar, que es un término más débil que demostrar, por medio de la repetición de experimentos y la aplicación de algún tipo de procedimiento estadístico para intentar cuantificar el grado de verosimilitud de la hipótesis en base a los resultados obtenidos.

Para los legos en la materia, la estadística es una especie de caja negra en la que se introducen unos datos y al final arroja un resultado en forma de porcentaje o promedio, que muchas veces suele tomarse como una especie de valor exacto. Lo cierto es que existen otras medidas fundamentales, que también son determinantes para interpretar los resultados, como el tamaño y la composición de la muestra, o la variabilidad de las medidas sobre cada individuo o experimento real con respecto a la media, que se suele expresar con la desviación típica. Una muestra demasiado pequeña o una desviación típica muy grande son indicadores de una baja precisión en los porcentajes y los promedios y, por lo tanto, de las conclusiones que pueden extraerse de ellos.

Un ejemplo muy sencillo de entender sobre la importancia del tamaño de la muestra lo tenemos en el lanzamiento de una moneda. La probabilidad de que salga cara o cruz es del 50%, pero si solo realizamos unos pocos lanzamientos es muy normal que no obtengamos este porcentaje. En realidad, esta probabilidad del 50% se refiere al caso en el que tiramos infinitas veces la moneda. A medida que vamos aumentando el número de tiradas, el porcentaje se va acercando más y más al 50%, pero siempre encontraremos pequeñas diferencias. Incluso es posible obtener un porcentaje excepcionalmente alto de caras o de cruces aunque tiremos muchas veces la moneda, simplemente por casualidad.

Otro ejemplo sobre lo que nos dice la desviación típica sobre la media es el siguiente. Supongamos que, en alguna medida, hemos obtenido una media de 100 y una desviación típica de 5. Esto quiere decir que aproximadamente el 68% de las medidas realizadas tienen valores entre 95 y 105 (distancia a la media de una desviación típica de más o de menos) y que la casi totalidad de los valores medidos estarán entre 85 y 115 (distancia de tres desviaciones típicas). Ahora, si la desviación típica es de 20, el 68% de los valores medidos estará entre 80 y 120, y la casi totalidad entre 40 y 160. Por lo tanto, si solo conocemos la media, tenemos una información muy incompleta de cara a interpretar su importancia.

El método utilizado para seleccionar la muestra también resulta determinante. Es fundamental evitar los datos sesgados, como el preguntar en una encuesta sobre política solo a gente de derechas, pero incluso la selección puramente aleatoria no es garantía suficiente de idoneidad de la muestra, y dos muestras diferentes seleccionadas con el mismo método pueden arrojar resultados contradictorios. En realidad, para obtener un resultado exacto, deberíamos contabilizar todos los casos existentes, pero esto en la práctica es sencillamente imposible, por lo que con el estudio lo que intentamos obtener es un resultado aproximado.

Para valorar la credibilidad de los resultados, calculamos la significación estadística, una medida que indica el grado de confianza que podemos tener en que un resultado no depende exclusivamente de la muestra concreta que hemos seleccionado y se debe puramente al azar. Pero la significación estadística no basta para dar por bueno un resultado, y es también una cuestión de grado. Un resultado puede ser estadísticamente significativo y a la vez irrelevante. Es muy común expresar la significación en función de la desviación típica, o sigma, por la letra griega utilizada para representarla. En los estudios científicos rigurosos, se empiezan a tomar en serio los resultados a partir de las tres sigmas de significación, esto es, que la probabilidad de que el resultado se deba a una fluctuación estadística sea del 0,25%, algo no demasiado fácil de conseguir en la práctica. Para hacernos una idea, para determinar que se había detectado el famoso bosón de Higgs, hicieron falta miles de experimentos durante varios años hasta poder determinar la masa de la partícula detectada con un nivel de confianza de 5 sigmas, Una probabilidad de que el resultado sea debido a fluctuaciones estadísticas ¡del 0,00005%!

La estadística no consiste en un único método de análisis. La validez de un estudio puede depender también del método empleado y del modelo planteado (algo así como el esquema teórico simplificado de la realidad que estamos estudiando). Todos estos datos deben ser conocidos para juzgar si un estudio está correctamente realizado y es lícito obtener sus conclusiones en base a los datos, los resultados y la metodología empleada.

Como es evidente que la mayoría de la gente no está cualificada para valorar todos estos detalles, en el mundo de la ciencia se realiza lo que se denomina “revisión por pares”, es decir, la revisión de los estudios por otros científicos expertos en la materia. Para ello, es fundamental que los experimentos se puedan reproducir y que los datos originales y la metodología utilizada estén disponibles y se proporcionen junto con los resultados, algo que en muchas ocasiones no ocurre y que siempre nos debería hacer sospechar. Las revistas más prestigiosas, como Nature o Science, realizan esta revisión de manera sistemática antes de publicar un estudio.

Cuando se dispone de un conjunto de estudios sobre una misma cuestión, se realiza muchas veces con todos ellos un metaanálisis, es decir, un estudio de estudios, para intentar aumentar la precisión de nuestro grado de conocimiento sobre la materia.

Pero la ciencia no consiste simplemente en encontrar correlaciones significativas y valores de determinados parámetros. El objetivo de la ciencia es explicar y comprender los mecanismos por los que se producen los procesos de la naturaleza. Para saber que un cocimiento de una planta ayuda a cicatrizar las heridas no necesitamos la estadística, nos basta con seguir procedimientos de prueba y error. Lo que la ciencia descubre es qué sustancias están implicadas y cómo responde el organismo a las mismas, de manera que se puedan desarrollar o encontrar nuevas sustancias que sean todavía más efectivas o que carezcan de efectos secundarios perjudiciales. La estadística sólo es una herramienta para ayudar a seguir el camino correcto en una investigación, pero no nos dice gran cosa sobre el funcionamiento del mundo.

Por todo ello, es evidente que los resultados de los estudios deben ser considerados con sumo cuidado y, en realidad, solo pueden decirles realmente algo a las personas con capacidad para entenderlos y valorarlos. Permitir su uso como una herramienta más en las luchas ideológicas de la política le hace un flaco favor a la ciencia y, por extensión, a la sociedad en general, que tanto se beneficia de los buenos resultados de la misma, reduciendo a la ciencia a un simple medio de manipulación. Aquí os dejo como recomendación dos libros sobre la materia: Mala ciencia, de Ben Goldacre y Equivocados, de David H. Freedman.