Se rompe la fe ciega en el Big Data

Harry Enten es de los que piensan, como Marcelo Bielsa, que en la vida el fracaso es la norma y el éxito es la excepción. “También pronosticamos que la selección de fútbol de Brasil ganaría el Mundial de 2014 o que los Golden State Warriors serían campeones de la NBA en 2016, y nos equivocamos”, reconoce Esten, analista de FiveThirtyEight, la web del célebre experto en estadística Nate Silver, cuando se le recuerda que su página daba a Hillary Clinton un 71 % de posibilidades de ganar las elecciones presidenciales de Estados Unidos muy pocas horas antes de que la candidata demócrata fuese derrotada por Donald Trump. ¿Epic fail?

Tal vez. Sin embargo, que nadie espere de Enten (o de Silver) algo parecido a un acto de contricción en toda regla. Su confianza en las cifras que los condujeron a conclusiones erróneas permanece incólume: “Nos basamos en todo momento en lo que nos decía nuestro modelo estadístico”, zanja el analista. Una versión bastante más compleja y refinada, por cierto, del mismo modelo que les llevó a predecir con exactitud el ganador de cada uno de los 50 estados en las presidenciales de 2012, logro insólito que supuso una de las cumbres del periodismo político basado en el análisis estadístico y cimentó el prestigio internacional de Nate Silver, considerado desde entonces gran gurú del Big Data.

“Tal vez podríamos haber pronosticado una victoria de Donald Trump basándonos en la intuición, la experiencia y el sentido común”, concede Esten, “pero nuestro modelo, el análisis ponderado y minucioso de la información disponible, contaba una historia muy distinta, y nos aferramos a él hasta el final”.

En realidad, muy pocos medios de comunicación relevantes apostaban por una victoria de Trump horas antes de que se cerrasen las urnas. Entre los que lo hicieron, predominaban los medios con un sesgo ideológico claramente conservador, por lo que, en cierta medida, podía argumentarse que estaban confundiendo la realidad con sus deseos. Al final, esa minoría aferrada a prejuicios voluntaristas o “a la intuición, la experiencia y el sentido común” resultó tener razón. “Los analistas de la vieja escuela celebran los fracasos del análisis basado en Big Data como si fuesen éxitos propios”, argumenta Enten, “les parece una especie de castigo bíblico por nuestra presunta ceguera y arrogancia, cuando lo cierto es que ellos también se equivocan y, lo que es peor, lo hacen con frecuencia sin haberse basado en nada sólido, por lo que ni siquiera pueden sacarse conclusiones fértiles de sus errores”.

Si creyésemos en las previsiones basadas en los fríos análisis estadísticos, en EE UU gobernaría Hillary Clinton y Lego estaría en quiebra

Enten y Silver asumen sus fracasos, pero insisten en que incluso la más errónea de sus predicciones ha tenido un fundamento sólido. No pretenden ser el equivalente moderno al oráculo de Delfos, pero sí reivindican la superioridad del análisis estadístico sobre las alternativas basadas en razonamientos intuitivos, que para ellos vienen a ser una forma de pensamiento mágico. Sin embargo, en su influyente ensayo La señal y el ruido (Península, 2014), Silver parte de la propia experiencia para señalar también el riesgo contrario: la fe acrítica y supersticiosa en el Big Data.

No es casualidad que el gran éxito predictivo de Silver se produjese en 2012. Por entonces, gracias sobre todo a la gran cantidad de datos sobre comportamientos individuales que aportaba la ya llamada huella digital, el Big Data estaba en pleno apogeo. Era “la innovación tecnológica con mayor potencial”, según Gartner, prestigiosa firma de análisis tecnológico.

Will Oremus, experto en tendencias tecnológicas y económicas, acaba de publicar un provocador artículo en Slate en el que describe el entusiasmo acrítico con que era acogido el Big Data en 2012 y anuncia que, cinco años después, “la burbuja ha reventado”. Para Oremus, es hora de volver a ópticas de análisis más cualitativas. No intuiciones sin fundamento como las que critican los analistas de FiveThirtyEight, pero sí una versión aún más refinada del Big Data que atienda más a la complejidad y la imprevisibilidad del comportamiento humano.

“La vieja escuela celebra los fracasos del Big Data como si fuesen un castigo bíblico por nuestra arrogancia”, explica Harry Enten, analista de ‘Fivethirtyeight’

Oremus recuerda que en esa fase de fervor por el análisis cuantitativo se incurrieron en excesos que hoy resultan cómicos. Por ejemplo, los de un célebre estudio en el que, basándose en una correlación estadística “insospechada” de esas que solo el Big Data consigue detectar, se aseguraba que los coches usados de color naranja duran más que el resto. U otro que afirmaba que los solicitantes de hipotecas que escriben su solicitud utilizando solo mayúsculas son más proclives a dejar de pagar las cuotas.

“Por supuesto, nadie se tomaba las conclusiones de estos estudios verdaderamente en serio”, afirma Oremus, “a la hora de conceder hipotecas, se seguía teniendo en cuenta la solvencia teórica del cliente, pero el hecho de que la gente dedicase tiempo y esfuerzos a buscar correlaciones estadísticas como estas demuestra hasta qué punto se había consolidado una fe irracional en el Big Data”. También se basaba en el Big Data (aunque, en este caso, en un modelo de procesamiento de datos bastante rudimentario) la inteligencia artificial utilizada por Google a la hora de etiquetar sus imágenes y que tendía a confundir a personas negras con gorilas, un error “bochornoso” por el que la compañía se vio obligada a pedir perdón.

Para la redactora de Slate Julia Rose West, ninguno de estos ejemplos es realmente culpa del Big Data, sino más bien consecuencia de su “fetichización”. “Hemos caído en un culto irracional a los modelos estadísticos”, opina, “basado en parte en lo mucho que han evolucionado en los últimos años y lo eficaces que han resultado en ocasiones sus predicciones en campos tan diversos como el deporte, la política, la meteorología o los negocios”. Sin embargo, “ninguna predicción es infalible” y la realidad sigue siendo, “más por suerte que por desgracia, bastante más compleja” que los modelos estadísticos que intentan interpretarla.

El debate es antiguo. Una vieja anécdota lo ilustra a la perfección. La reproduce el analista tecnológico Alexis Madrigal en un artículo reciente en The Atlantic. En 1967, el secretario de defensa estadounidense Robert McNamara pidió al Pentágono que introdujese en sus computadoras (sí, esos enormes armatostes de la prehistoria de la informática que ocupaban habitaciones enteras) todos los datos disponibles sobre la guerra de Vietnam. Desde el número de tanques hasta el de helicópteros, pasando por la munición, la artillería o las tropas disponibles por ambos bandos, y les diese una predicción lo más ajustada posible de cuánto más iba a durar el conflicto. La respuesta de las computadores fue: “Ganamos la guerra en 1965”. Madrigal remata la anécdota con una frase brillante: “Al parecer, en Vietnam había más guerra de la que las computadoras del Pentágono podían procesar”.

“Los modelos estadísticos son una aproximación al mundo, pero no el mundo en sí”, afirma Oremus, en línea con la reflexión de Madrigal. Para acercarse un poco más al mundo y tener más eficacia predictiva, el Big Data debe encontrar un modo eficaz de integrar en su análisis esas herramientas “obsoletas” que son, una vez más, la intuición, la experiencia y el sentido común.

La clave puede estar en ensayos como Small Data: Las pequeñas pistas que nos advierten de las grandes tendencias (Deusto), del teórico danés Martin Lindstrom. Experto en un campo de estudio incipiente conocido como “comportamiento neurológico del consumidor”, Lindstrom narra varios ejemplos de estudios cualitativos que han resultado bastante más eficaces a la hora de prever resultados y marcar líneas estratégicas que la simple acumulación de datos.

Uno de los más elocuentes es el caso de Lego. La marca de juguetes danesa cambió de estrategia a principios de siglo basándose en modelos estadísticos que sugerían que las nuevas generaciones de niños sufrían déficit de atención debido a la sobreabundancia de estímulos de todo tipo y les resultaban frustrantes los juegos difíciles. Por eso, optaron por sacar al mercado juegos de construcción más simples, con menos piezas, más grandes y fáciles de encajar.

Sus ventas se desplomaron. Años después, prefirieron realizar una serie de encuestas cualitativas a un número muy limitado de niños y llegaron a conclusiones sorprendentes: en realidad, los niños tendían a cogerle más cariño a los juguetes y objetos que les exigían una mayor inversión intelectual y emocional. Sus posesiones más valiosas eran aquellas con las que podían jugar durante horas sin aburrirse. Algunos, por supuesto, no superaban la barrera de la frustración ni las dificultades de la curva de aprendizaje, pero eran los menos. Lego volvió a los juegos de construcción complejos y salió del bache en el que le había puesto su fe en el Big Data.

“Hemos caído en un culto irracional a los modelos estadísticos basado en lo mucho que han evolucionado y lo eficaces que han sido”, dice Julia Rose West, de ‘Slate’

Según Oremus, los grandes pioneros del Small Data, los modelos que equilibran con eficacia criterios cualitativos y cuantitativos y que van a complementar y refinar el Big Data son las redes sociales. En especial, Facebook. La compañía de Mark Zuckerberg basaba su estrategia de suministro de contenidos y recomendaciones de página sobre todo en los likes del usuario (Big Data).

Hasta que un análisis cualitativo de las encuestas de satisfacción de algunos usuarios (Small Data) les hizo darse cuenta de que, de algún modo, el incremento global del número de likes no equivalía necesariamente a que a la gente le gustasen más que antes los contenidos que le ofrecía Facebook. Más bien todo lo contrario: a partir de 2013, se había extendido peligrosamente entre los mismos usuarios de la red la idea de que Facebook había dejado de ser cool.

Así pues, la compañía empezó a experimentar con su feed (los contenidos que muestra de manera preferente a cada usuario concreto) y con diferentes tipos de reacciones, más intensas o matizadas que un simple me gusta o no me gusta (me apasiona, lo odio, me enoja…) o con nuevas métricas, como el porcentaje de rebote o el tiempo dedicado a leer cada uno de los enlaces. El reto es, por supuesto, procesar toda esta información heterogénea mediante un algoritmo eficaz que permita hacer compatibles Big y Small Data.

Pero, de momento, está sirviendo para que Facebook vuelva a ser, si no la más cool, sí la red social más influyente del momento. Así ha quedado confirmado en las últimas elecciones austríacas, y eso que, y aquí se cierra el ciclo, ni siquiera un titán de la estadística como Nate Silver podía preverlo. Hasta las elecciones estadounidenses se creía que la gran arma de manipulación masiva de los electores era Twitter.