Es lógico, pensando en la entrada de ayer (1), preguntarse acerca de los expertos y para qué sirven. Decenas de expertos están prediciendo qué pasará en Cataluña. Vamos a ampliar un poco algunas cosas que sabemos gracias a la psicología.
Phil Tetlock, psicólogo y profesor de la Universidad de Pensilvania, recibió en 1984 una invitación a participar en una iniciativa del Consejo Nacional de Investigación: se trataba de evaluar qué podían aportar las ciencias sociales para evitar lo que parecía una inevitable guerra nuclear, ya que Reagan acababa de calificar a la URSS como «un imperio del mal.»
Si estudiamos algo de historia, sabemos lo que pasó: al año siguiente Gorbashev ascendió al poder en la URSS, iniciando la perestroika, y poniendo fin a la Guerra Fría. Nadie había podido predecir eso.
Lo que llamó la atención a Tetlock es que ninguno de los expertos admitieron su error. Ninguno de los que habían sostenido que la guerra nuclear era inminente aceptaron su fallo, sino que aducían que América había tenido suerte o que sus predicciones seguían siendo válidos porque «casi» había habido una guerra. Fijaros: aunque me he equivocado, casi podría haber pasado lo que predije, por tanto tengo razón.
Exasperado, Tetlock buscó 284 expertos a los que pidió que hicieran predicciones sobre política o economía. Gente que se ganaba la vida opinando. Las predicciones eran del tipo:
¿Cree usted que el crecimiento del PIB se acelerará, ralentizará o se quedará como está?
En 2003 había recopilado más de 82.000 predicciones, y dos años después el análisis de las mismas, en un libro llamado Expert Political Judgment: How Good is it? How can we know? (2) Las conclusiones son demoledoras.
Hasta los mejores expertos rindieron peor que lo que Tetlock llamaba un burdo argumento de extrapolación, que consiste simplemente en coger las ratios base de un suceso (por ejemplo, el porcentaje de restaurantes que fracasan en una zona), y presuponer que las cosas continuarán igual que la tendencia de los últimos años. Esto es, si estás pensando abrir un restaurante de cocina tailandesa en un el barrio de Sant Andreu, y te enteras de que el 60% de los restaurantes en ese barrio duran menos de 3 años, la ratio base está en tu contra. No puedes saber con certeza si tú tendrás éxito o no, pero a priori parece arriesgado.
La formación adicional no mejoraba el rendimiento. Los doctores no rendían mejor que los no doctores. Es más, si a un adolescente le dabas una calculadora y las ratios base de los sucesos, sus predicciones eran al menos tan buenas como las de los expertos. La experiencia tampoco mejoraba el rendimiento. Los expertos con dos décadas no rendían mejor que los novatos.
Sólo una característica tenía valor predictivo: cuanto más aparecía un experto en los medios, peor tendía a ser su rendimiento. Valorad entonces si merece la pena prestar vuestra atención y vuestro tiempo a los Marhuendas, Indas, Lacalles, Rallos, Ferreras, Escolares y demás tertulianos de la vida. Eso era lo único consistente en las predicciones de los expertos, aparte de que tienes más probabilidades de acertar si, simplemente, supones que la tendencia del año pasado continuará.
Ojo, esto no le pasa sólo a periodistas, politólogos y economistas. Psicólogos (sí, claro, también somos gente), médicos, abogados (estos rendían peor que ningún grupo) y hasta mecánicos de coches eran nulos haciendo predicciones en su propio campo.
¿Significa esto que tener conocimientos carece de valor? No, por suerte no. La investigación de Tetlock muestra que, aunque los expertos lo hacen mal (en torno al 45% de acierto, peor que el azar), los novatos lo hacen aún peor (23% de acierto). La investigación nos demuestra que lo mejor es aplicar las ratio base correctamente, seguido pro las predicciones de los expertos (poco fiables) y por último las predicciones que haces en Facebook (ridículamente poco fiables). Pero ojo, hay que entender bien lo que es el ratio base: la probabilidad de ocurrencia de un suceso, no la probabilidad, por ejemplo, de detectar dicho suceso. Veamos un ejemplo del texto de Tetlock, que aparece también en el blog de Economía Fácil de ING, que así mismo lo cita (4):
Supongamos que vamos al médico a hacernos unas pruebas y que, tras recibir los resultados, nos comunica que hemos dado positivo en determinada enfermedad. Al preguntarle al doctor por la fiabilidad del test, nos confirma que tiene una precisión del 95%.
En ese momento, parece lógico pensar que lo más seguro es que tengamos esa enfermedad y debamos empezar a tratarnos pero, por increíble que parezca, es muy probable que no la tengamos, debido a lo que se conoce como negación del ratio base.
La negación del ratio base
La negación del ratio base, en inglés Base Rate Fallacy (3), se debe a que al valorar la eficacia del test estamos ignorando la probabilidad a priori de que ese suceso ocurra. Consiste en que si se nos presenta información de la frecuencia de base (i.e. información genérica, general como la prevalencia) e información específica (información de un caso particular como la validez de la prueba), tendemos a ignorar la información general y enfocarnos en la particular. En el caso de nuestra prueba médica, si la prevalencia de la enfermedad (la probabilidad de que cualquier persona la tenga) es, por ejemplo, de uno entre mil (1/1000 o 0,1%), solo el 2% de los positivos serán ciertos. Lo explico.
Supongamos que hacemos la prueba de la enfermedad a 100.000 personas. Según la prevalencia de la enfermedad, de esas 100.000 personas, solo 100 tendrán la enfermedad, pero aun así el test dará como positivo a otras 4.995 personas que no han contraído la enfermedad (el 5% de esas 99.900 personas que no tienen la enfermedad). Eso nos deja que de la 5090 personas que han dado positivo, solo 95 están realmente enfermas, lo que arroja un porcentaje cercano al 2% (95/5090).
Por otro lado, el test también fallará al no detectar la enfermedad cuando está presente, ofreciendo falsos negativos en el 5% de los caso. Es decir, que de las 100 personas enfermas, 5 recibirán un resultado negativo. En este caso, las posibilidades de estar enfermo recibiendo un resultado negativo de la prueba son muchísimo menores, aproximadamente del 0,005%.
Obviamente estos datos variarán en función de la prevalencia de la enfermedad, con porcentajes menores según sea la prevalencia menor, y también si la elección de los sujetos no es aleatoria, siendo necesario estudiar la prevalencia no en toda la población, sino por ejemplo entre todos los sujetos que presenten síntomas que encajen con la enfermedad.
O sea, que sí te puedes fiar de las pruebas médicas, pero debes ser consciente de la realidad del margen de error.
En conclusión: No merece la pena hacer predicciones si podemos tantear, hacer pruebas o buscar de alguna manera confirmar nuestras teorías. Es mejor saber que predecir, y si no sabemos es más prudente ver qué pasa en vez de anunciar nuestras predicciones, o llenarnos de ansiedad. Pero claro, el mundo necesita conocer nuestras opiniones. Para eso tenemos los blogs y, sobre todo, las redes sociales. Os dejo una canción que me parece muy pertinente en estos días llenos de ruido y furia vacíos en Internet (o sea, cualquier día en Internet).
[youtube=»https://www.youtube.com/watch?v=N5FNZoT-DMc»]
