Hace un año hicimos sesenta predicciones para 2023. ¿Acertamos?

En enero pasado hice un ejercicio nuevo: publiqué sesenta predicciones para 2023 con el propósito de volver a ellas ahora, un año después y juzgarlas. También recogí las respuestas de 435 lectores de mi newsletter que se animaron a compartir sus pronósticos. En seguida veremos en qué fallamos y en qué acertamos.

Además, usaré las predicciones de los lectores para otro experimento: ¿Son un caso de sabiduría de la multitud? Lo veremos.

Pero antes de mostrar resultados, os pongo algunas predicciones de ejemplo, para recordar qué pinta tenían. Eran todo sucesos binarios que ahora podemos juzgar como ‘cierto’ o ‘falso’. Y mis predicciones se expresaban con una probabilidad entre 0% (seguro que no ocurrirá) y 100% (seguro que sí ocurrirá).

Por ejemplo:

1. El PP será el partido más votado en las generales

Cierto. Predicción: 80% 🟩 (Lectores: 62%)

Aquí acerté bien, porque un 80% es bastante confianza. Los lectores también acertaron, aunque menos, porque habían rebajado la probabilidad de una victoria en votos del PP al 62%, dejándola cerca del cara o cruz.

2. El Gobierno lo encabezará el PP

Falso. Yo: 60% 🟧 (Lectores: 48%)

Esta la fallé, pero penaliza poco porque un 60/40 es decir que ves las elecciones abiertas.

3. Las generales serán en noviembre

Falso. Yo: 45% 🟩 (Lectores: 62%)

13. Las bitcoin acabarán en positivo

Cierto. Yo: 72% 🟩 (Lectores: 40%)

… Y así hasta sesenta. Al final del texto tenéis la lista completa de predicciones, comentada, para el que quiera verla. Ahora os cuento tres cosas: cuánto acertamos, si hubo sabiduría de multitud entre los lectores, y por qué hacer este ejercicio.

Cuánto acertamos (versión tosca)

Una forma tosca de medir el acierto es hacerlo en binario: aciertas si ocurre un evento al que dabas más del 50% de opciones (o si no ocurre uno al que dabas menos del 50%).

Pues bien, acerté el 77% de las predicciones.

Los lectores solo acertaron el 52% de las veces, de media. Aunque 15 pasaron del 67% y el mejor logró un 73%. Pero no es justo comparar sus pronósticos con los míos. Primero, porque elegí predecir sobre temas que conozco; y segundo, porque seguramente me tomé más trabajo al responder.

Los aciertos de los que estoy más orgulloso son los que iban contra la opinión popular: anticipar que las bitcoin subirían (un 150%), que las elecciones no serían en noviembre, o que la renta de los ricos globales bajaría. En cambio, me equivoqué diciendo que el PP no tendría mayoría absoluta en Madrid y que la Starship de SpaceX lograría el vuelo orbital. Además, ese fue un error de novato: ¿por qué predije con un rotundo 90% sobre un asunto que conozco muy poco?

La sabiduría de la multitud

Lo bueno de tener cientos de predicciones de lectores es que he podido usarlas para el experimento que os decía: comprobar si hay un efecto sabiduría de la multitud. ¡Y la respuesta es sí!

El acierto medio y mediano de los lectores fue un 52%. Es decir, aunque los hubo que acertaron más (73%) y menos (30%), si cojo las predicciones de un lector al azar, el acierto que debo esperar rondará el 52%.

Pero ¿y si trato de combinar las respuestas de todos? Si para cada pregunta tomo las 435 predicciones individuales y hago una media, puedo obtener unas predicciones grupales. Y son mucho mejores: su acierto se eleva al 67%.

Es bastante espectacular. El consenso de los lectores ofrece una predicción que bate al 98% de los lectores. Solo 12 de los 435 lo hicieron mejor que el grupo.

La teoría es clara: cuando reunimos el conocimiento de un grupo de personas en una predicción agregada, el resultado es mejor que las predicciones individuales de la mayoría de las personas que forman el grupo. Es un fenómeno que se ha observado empíricamente, por ejemplo en Metaculus, y que resulta intuitivo: como cada persona tiene información distinta, y también sesgos distintos, los primeros se combinan y los segundos se balancean.

Cuánto acertamos (versión buena)

El acierto binario que acabo de usar es una métrica intuitiva, pero poco fina. En realidad, para evaluar predicciones probabilísticas se usan otras estadísticas, como hice para juzgar nuestro modelo del Mundial de 2022, y se juzgan dos cuestiones: su exactitud y su confiabilidad.

La exactitud es la capacidad de un pronosticador para decir lo qué va a ocurrir con la máxima certeza. La lógica es sencilla: no es lo mismo “fallar” con un pronóstico del 51% que con uno del 99%. Lo primero es casi tan exacto como haber “acertado” con un 49%, un resultado mediocre, pero lo segundo es un fallo mucho peor, quizás catastrófico. La forma de capturar estas gradaciones es usar una puntuación Brier. Decimos que un pronosticador es totalmente exacto si predice con 100% de firmeza y acierta siempre (Brier = 0); y que es totalmente inexacto si hace predicciones al 100% de firmeza y falla siempre (Brier = 1). En medio hay un abanico de grises, según tu cautela y tu acierto.

En la tabla de arriba ya incluí estos resultados. Logré un Brier de 0,17, que no es espectacular, pero sí bastante mejor que predecir al azar (0,31) o diciendo siempre 50% (0,25). El consenso de lectores logró un 0,21, que no está mal.

Además, hubo 45 personas que predijeron mejor que el grupo. Algunos quizá tuvieron suerte, pero también puede haber entre ellos algún superpronosticador. El primer candidato es Juan Ramón Sánchez, que logró un 0,16 en Brier y es el único que me batió. Me dijo por correo que “respondió simplemente por intuición”, pero lo cierto es que cumple con el perfil de los buenos pronosticadores: es un ingeniero aficionado a la estadística y le gusta “pensar en probabilidades”.

Por último, decimos que un predictor es confiable si los sucesos que predice ocurren con la probabilidad prometida. El gráfico siguiente muestra que mis predicciones fueron bastante confiables. Los diez eventos que predije con una probabilidad entre 0% y 25% ocurrieron el 20% de las veces; y los tres que coloqué con 95% o más probabilidad, ocurrieron siempre.

¿Por qué este ejercicio?

No lo hice pensándome experto en nada. El juego de predecir en público se lo he copiado a algunos columnistas anglosajones. En parte porque me interesa la predicción, pero también como experimento de transparencia.

Quienes nos dedicamos a hablar en público tendemos a hacer pronósticos no falsables. Es humano, pero tramposo. Pensad, por ejemplo, en alguien diciendo que “no descarta” una victoria de Trump en 2024 o que China invada Taiwán. Son afirmaciones vacías, porque es evidente que ambos sucesos tienen alguna posibilidad, lo difícil es acertar cuántas: ¿creen que tienen un 1% de opciones? ¿Un 50%? ¿Un 80%? Decir “podría”, “quizá” o “posible”, sin precisar, es un truco retórico para hablar del futuro sin correr riesgo. Por eso son tan valiosas las predicciones probabilísticas, que hacen justo lo opuesto: ponerle números a tus augurios servirá para que luego rindas cuentas.

Además, ha sido interesante.

Me alegro de haber acertado muchas cosas. Y también de haber sabido distinguir lo que sabía con firmeza y lo que no. Pero ha sido más útil fijarme en mis ocho grandes fallos. Pequé de exceso de confianza algunas veces (con la no mayoría absoluta del PP; con el exceso de muertes en España; con el patrimonio de los ricos). Y luego hice dos predicciones que eran malas de partida: el fracaso de la Starship y el de Trump.

Esa última me sorprendió. Hace un año no veía a Donald Trump como favorito para ser el candidato Republicano en las elecciones de 2024… ¡pero no lo recuerdo! En mi cabeza Trump es favorito ahora y lo ha sido siempre. Pero no es cierto.

Ha sido fascinante viajar a mi cerebro de hace 12 meses y encontrarme con juicios que no reconozco. He olvidado alguna de mis ideas equivocadas, en una demostración de manual de sesgo retrospectivo. Es otra ventaja de dejar tus predicciones escritas: te hacen transparente incluso ante tus propios ojos.

Apéndice: todas las predicciones

1. El PP será el partido más votado en las generales

Cierto. Predicción: 80% 🟩 (Lectores: 62%)

Aquí acerté bien, porque un 80% es bastante confianza. Los lectores también acertaron, aunque menos, porque habían rebajado la probabilidad de una victoria en votos del PP al 62%, dejándola cerca del cara o cruz.

2. El Gobierno lo encabezará el PP

Falso. Yo: 60% 🟧 (Lectores: 48%)

Esta la fallé, pero penaliza poco porque un 60/40 es decir que ves las elecciones abiertas. Es casi una ‘no predicción’, que es lo que debes hacer cuando no sabes lo que ocurrirá.

3. Las generales serán en noviembre

Falso. Yo: 45% ⬜ (Lectores: 62%)

Acerté por la mínima. Este es un ejemplo donde me ayudó tener experiencia con probabilidades. En enero de 2023 había un gran consenso que señalaba al mes de noviembre como el mes “más probable” para las elecciones generales, como bien sabían los lectores. Pero “más probable” no significa “muy probable”. Hay muchos meses que no son noviembre, con sus opciones, y por eso rebajé mi predicción.

4. El CIS dará más votos a la suma de las izquierdas de los que luego obtendrán (preelectoral)

Cierto. Yo: 88% 🟩 (Lectores: 75%)

Lo mejor de esta pregunta es confirmar que mis lectores saben que el CIS tiene un sesgo sistemático.

5. Ciudadanos logrará representación en el Congreso

Falso. Yo: 20% 🟩 (Lectores: 21%)

6. Yolanda Díaz será la líder más votada

Falso. Yo: 2% 🟩 (Lectores: 17%)

7. El PSOE gobernará Asturias

Falso. Yo: 70% 🟩 (Lectores: 65%)

8. El PSOE gobernará Extremadura

Falso. Yo: 60% 🟧 (Lectores: 63%)

9. El PSOE gobernará la Comunidad Valenciana

Falso. Yo: 50% ⬜ (Lectores: 58%)

10. El PP gobernará la Comunidad de Madrid

Cierto. Yo: 95% 🟩 (Lectores: 78%)

11. Pero no tendrá mayoría sin Vox

Falso. Yo: 78% 🟥 (Lectores: 54%)

Uno de mis peores fallos: aunque lo juzgaba bastante improbable, el PP tuvo absoluta en Madrid. En 2021 habían logrado 65 escaños de los 68 necesarios, en mitad de la polarización pandémica, y debí pensar que era difícil que batiesen ese resultado.

12. El IBEX acabará en positivo

Cierto. Yo: 63% 🟩 (Lectores: 64%)

13. Las bitcoin acabarán en positivo

Cierto. Yo: 72% 🟩 (Lectores: 40%)

Este fue un buen acierto: han subido un 150% en 2023. Por desgracia, no recuerdo mi proceso mental al hacer esta predicción. Las bitcoins se habían descalabrado en 2021 y 2022, cuando perdieron el 75% de su valor. Y cabía la posibilidad de que se fuese a cero, pero supongo qué pensé que era más probable una regresión a la media y cierta recuperación.

14. El interanual del IPC superará el 4% en 2023

Falso. Yo: 40% ⬜ (Lectores: 56%)

15. El número de parados descenderá en España

Cierto. Yo: 80% 🟩 (Lectores: 61%)

17. El Barcelona ganará LaLiga

Cierto. Yo: 65% 🟩 (Lectores: 59%)

18. El Arsenal ganará la Premier League

Falso. Yo: 55% 🟧 (Lectores: 55%)

19. El Manchester City ganará la Champions

Cierto. Yo: 25% 🟥 (Lectores: 43%)

Este es un fallo curioso. Elegí al Manchester City para la pregunta porque era mi favorito al título. Al mismo tiempo, solo le di un 25% de opciones de ganar, más o menos lo que decían las apuestas, porque quedaban cuatro cruces y en torneos al KO hay muchas sorpresas. Pensad que solo en la final, el favorito de Champions ya tiene un 25%-45% de opciones de perder.

20. El Real Madrid ganará alguno de estos tres trofeos: LaLiga, la Copa del Rey o la Champions

Cierto. Yo: 62% 🟩 (Lectores: 66%)

21. Messi ganará el Balón de Oro

Cierto. Yo: 75% 🟩 (Lectores: 61%)

22. Mbappé fichará por el Real Madrid

Falso. Yo: 15% 🟩 (Lectores: 29%)

23. Carlos Alcaraz será número 1

Falso. Yo: 40% ⬜ (Lectores: 42%)

24. El Barcelona ganará la Liga F

Cierto. Yo: 98% 🟩 (Lectores: 76%)

25. Paula Badosa estará en el top 10 del tenis

Falso. Yo: 40% ⬜ (Lectores: 53%)

26. OpenAI presentará GPT-4 y saldrá en el telediario

Cierto. Yo: 95% 🟩 (Lectores: 72%)

27. Microsoft integrará en su buscador Bing una IA de tipo large language model (como GPT-3, Dall-e, etc)

Cierto. Yo: 70% 🟩 (Lectores: 67%)

28. Google integrará en sus búsquedas una IA similar

Falso. Yo: 15% 🟩 (Lectores: 68%)

Mi lógica aquí era que, siendo el absoluto dominador del mercado de buscadores, Google no tiene incentivos a cambiar deprisa. Además, con su volumen de búsquedas, integrar un LLM sería muy caro, porque cada petición a estos modelos cuesta dinero en forma de tiempo de cómputo. Google sí ofrece IAs de este tipo (Bard, Gemini) como servicios separados, pero no los ha integrado en su buscador.

31. Elon Musk seguirá siendo el dueño de Twitter

Cierto. Yo: 85% 🟩 (Lectores: 65%)

32. El paper de AlphaFold pasará de 15.000 citas académicas

Cierto. Yo: 85% 🟩 (Lectores: 60%)

Un buen acierto: van casi por 18.000. A las 7.000 citaciones que tenía en 2022 sumaron el año pasado más de 10.000.

33. Las acciones de Microsoft subirán

Cierto. Yo: 68% 🟩 (Lectores: 61%)

34. Las acciones de Nvidia subirán

Cierto. Yo: 55% ⬜ (Lectores: 58%)

35. Las acciones de Meta subirán

Cierto. Yo: 40% 🟧 (Lectores: 44%)

En el caso de Microsoft, aposté por un ‘efecto ChatGPT’ (son el socio prioritario de OpenAI, la empresa detrás de la IA más celebrada del año). Con Nvidia, aposté por un ‘efecto auge de la IA’ (ellos hacen los chips que ejecutan el 90% de los grandes modelos de lenguaje). ¿Con Meta? Aposté ligeramente en su contra, por su mala tendencia de 2022, pero me equivoqué. Subieron todas: Microsoft (60%), Nvidia (200%) y también Meta (+170%).

36. No habrá un momento wow con el Metaverso

Cierto. Yo: 90% 🟩 (Lectores: 67%)

Esta es subjetiva, pero creo que no se produjo. ¿Quizá la presentación de las gafas Vision Pro de Apple? No me parece ni suficientemente wow ni suficientemente metaverso.

37. Se batirá el récord de más lanzamientos espaciales en un año (Nature; OWID)

Cierto. Yo: 75% 🟩 (Lectores: 61%)

Se batió. Hubo 222 lanzamientos, más que nunca.

38. SpaceX lanzará con éxito la Starship para su primer vuelo orbital

Falso. Yo: 90% 🟥 (Lectores: 58%)

Mi peor fallo. La Starship se lanzó en dos pruebas de vuelo. En la segunda alcanzó el espacio exterior y una velocidad cercana a la necesaria para orbitar, pero no suficiente. Por tanto, la respuesta es ‘falso’. A posteriori, me pregunto porque estaba tan seguro del éxito, si no sé apenas del asunto.

39. Joe Biden será el favorito para ser el candidato demócrata (en Metaculus)

Cierto. Yo: 62% 🟩 (Lectores: 51%)

Biden era el firme favorito en enero de 2023 y ahora lo es todavía más: 94% de opciones para ser el próximo candidato demócrata.

40. Donald Trump será el favorito para ser el candidato republicano (en Metaculus)

Cierto. Yo: 35% 🟥 (Lectores: 43%)

Otro fallo considerable. Trump iba un poco por detrás de Ron DeSantis cuando hice la predicción, pero en abril DeSantis se fue hacia abajo muy deprisa. Ahora mismo, en Metaculus le dan a Trump un 90% de opciones para ser el candidato republicano en las elecciones de noviembre.

41. Habrá elecciones en Reino Unido

Falso. Yo: 13% 🟩 (Lectores: 49%)

42. Rishi Sunak será el primer ministro en Reino Unido

Cierto. Yo: 83% 🟩 (Lectores: 61%)

43. Sanna Marin seguirá siendo primera ministra en Finlandia

Falso. Yo: 27% 🟩 (Lectores: 65%)

44. Putin será el presidente de Rusia

Cierto. Yo: 90% 🟩 (Lectores: 77%)

45. Rusia controlará territorio ucranio más allá del ocupado antes de la invasión de 2022

Cierto. Yo: 70% 🟩 (Lectores: 56%)

46. Habrá un alto el fuego duradero en Ucrania

Falso. Yo: 17% 🟩 (Lectores: 38%)

Me fijé en Metaculus, pero fui más pesimista. Lo hice también con varias de las siguientes, ajustándolas en una dirección u otra.

47. China invadirá Taiwán

Falso. Yo: 7% 🟩 (Lectores: 21%)

48. Un nuevo país se incorporará a la OTAN (incluyendo a Finlandia y Suecia)

Cierto. Yo: 80% 🟩 (Lectores: 66%)

49. La película más taquillera de 2023 será una franquicia

Falso. Yo: 75% 🟥 (Lectores: 64%)

Fallé: la más taquillera fue Barbie. Fue por poco, porque ‘Super Mario Bros’ se quedó apenas un 5% por debajo en recaudación. Hice la apuesta mirando la historia reciente: una franquicia había sido la película más taquillera en cinco de los últimos seis años, en 2022 (Avatar), 2021 (Spider-Man), 2019 (Los vengadores), 2018 (Los vengadores) y 2017 (Star Wars).

50. The Last of Us será la mejor serie de 2023 (en Imdb)

Cierto. Yo: 80% 🟩 (Sin datos)

Me la doy como acierto: The Last of Us fue la serie con mejor puntuación, entre las lanzadas en 2023, con al menos 10.000 votos y estrenadas en España. En realidad, está empatada con Samurái de ojos azules, y le superan dos producciones indias, Chamak y Sandeep Bhaiya.

51. La final de la Kings League la verán dos millones de personas (audiencia media, TVTOP)

Cierto. Yo: 80% 🟩 (Lectores: 61)

Está se cumplió por los pelos. Siguieron la final 2,02 millones de espectadores de media, según TVTOP España, sumando Twitch, TikTok y las cuentas oficiales de los presidentes.

52. EL PAÍS superará los 300.000 suscriptores

Cierto. Yo: 90% 🟩 (Lectores: 64%)

54. Piensa claro habrá vendido el equivalente a 3/4 de su primera edición (lo que estaría bien)

Cierto. Yo: 70% 🟩 (Lectores: 55%)

¡Se cumplió! Y con holgura: la semana pasada se distribuyó por las librerías la cuarta edición de mi libro ‘Piensa claro’.

55. En España se observará un exceso de 20.000 muertes en 2023 sobre la media 2015-19 (Mortality.org)

Falso. Yo: 75% 🟥 (Lectores: 49%)

Otro error sensible. No tenemos el dato de 2023 completo, pero los primeros meses del año son suficientes, me parece, para decir que me equivoqué con este mal augurio. Hice la estimación mirando la serie desde la llegada de la covid: los excesos habían sido de 70.000 fallecidos en 2020, 27.000 en 2021, y 41.000 en 2022, donde coincidió además una durísima ola de calor. Sin embargo, entre enero y octubre de 2023 el exceso rondó los 9.000 fallecidos, lejos de la cifra predicha.

57. Las renovables representarían el 45% de la producción eléctrica (REE)

Cierto. Yo: 75% 🟩 (Lectores: 61%)

Un buen acierto este: superamos el 50%.

59. La esperanza de vida mundial bajará en la siguiente medición (Our World in Data, 2022)

Falso. Yo: 80% 🟥 (Lectores: 50%)

60. El 70% de la población mundial estará vacunada contra la covid

Falso. Yo: 5% 🟩 (Lectores: 36%)

En 2023, la gente vacunada (con dos dosis) subió ya solamente del 63% al 65% de la población mundial.

61. La renta que suma el 1% de gente con más renta del mundo bajará del 19,4% actual en la próxima medición (WID, 2022)

Cierto. Yo: 80% 🟩 (Lectores: 32%)

Aquí solo seguí la tendencia, que venía siendo positiva: el porcentaje de renta del 1% con más renta bajó al 19,2%.

62. El patrimonio del 1% seguirá subiendo

Falso. Yo: 90% 🟥 (Lectores: 70%)

En cambio, con el patrimonio hice lo mismo y fallé: la riqueza de los ricos, que había subido en 2020 y 2021, bajó ligeramente en 2022. Ahora los 1% tienen un 38,4% de toda la riqueza, en lugar del 38,7% que sumaron el año anterior.

¿Me ayudas? Reenvía este boletín a quién quieras, y apúntate aquí a la ‘newsletter’ de Kiko LLaneras. Es un boletín exclusivo para suscriptores de EL PAÍS, pero cualquiera puede recibirlo durante un mes de prueba. También puedes seguirme en Twitter y en Threads, o escribirme con pistas o comentarios, a kllaneras@elpais.es.