Los peligros del algoritmo en tiempos del coronavirus

En el imaginario colectivo, hablar de inteligencia artificial inevitablemente nos retrotrae a esas películas de ciencia ficción que nos muestran seres hiperracionales, exentos de emociones que oscurecen sus capacidades de análisis, libres de sesgos y preferencias, 100% objetivos. Este imaginario puede hacer que veamos con buenos ojos usar algoritmos para tomar decisiones difíciles. Está extendido dar por sentado que un algoritmo no solo tomará las mejores decisiones y nunca se equivocará, sino que además será incapaz de tener favoritismos.

Desgraciadamente, las cosas no son tan sencillas. Grosso modo, podemos hablar de dos tipos de algoritmos: los de aprendizaje automático, que usan modelos matemáticos para encontrar patrones y regularidades en un gran conjunto de datos, y los diseñados por un equipo de expertos que especifican ellos mismos los criterios para tomar una decisión. El aspecto común a ambos casos es que se trata de una creación humana, donde se definen una serie de reglas a seguir, unos objetivos y unos resultados que se consideran mínimamente aceptables. Ningún algoritmo es neutral.

Cuando esos algoritmos se usan para tomar decisiones críticas sobre el bienestar de los seres humanos, hemos de asegurarnos de que más allá de su funcionalidad a nivel técnico, esos algoritmos también sean justos. El uso de sistemas automáticos en un hospital para decidir, ante una situación de escasez de recursos, qué personas son las más indicadas para recibir un tratamiento contra el Covid-19 y cuáles no, es un ejemplo bien claro de esta situación.

Si a la hora de desarrollar el algoritmo se ha usado una base de datos para “entrenarlo” (algo inevitable si se trata de aprendizaje automático), y más aún si estos datos se han recopilado con prisas y en una situación acuciante como la actual, nuestro algoritmo estará probablemente sesgado.

Una base de datos no es nunca un espejo de la realidad. Es siempre, y necesariamente, una selección parcial, realizada con unos objetivos y a partir de una serie de ideas preconcebidas y estructuradas con unos fines determinados.

Así, la base de datos puede estar sesgada porque una parte relevante de la población no fue incluida en ella o porque otra fue sobrerrepresentada. Este tipo de sesgo es el resultado de un error de muestreo y si bien es un problema frecuente y muy serio, es conceptualmente menos complejo y bien conocido por los expertos en estadística.

A nosotros nos preocupa más el sesgo que resulta de las actitudes y creencias (implícitas o explícitas) de las personas que deciden sobre cómo un algoritmo “aprende”, y sobre qué es un “buen” resultado. Un ejemplo muy claro de este problema es COMPAS, un programa actualmente en uso por los jueces estadounidenses que calcula la probabilidad de reincidencia para decidir si una persona puede salir bajo fianza mientras aguarda a ser juzgada. COMPAS actualmente está bajo sospecha por tomar decisiones sesgadas resultado de que muchas de las decisiones presentes en la serie histórica habían sido tomadas por jueces que, de forma contraria a la evidencia, tienden a considerar que las personas de etnia afroamericana tienen una tendencia mayor que los de origen caucásico a volver a delinquir si salen bajo fianza.

Métodos

¿Cómo podemos establecer si un algoritmo está sesgado o no? Afortunadamente hay diversas técnicas para establecerlo. Pero para tener seguridad de que nos encontramos ante un algoritmo justo, es necesario que los expertos tengan acceso tanto al código fuente del algoritmo como a la base de datos y el modelo matemático que se ha usado para entrenar al programa. Esta petición a menudo choca con el derecho a propiedad intelectual de los desarrolladores del algoritmo. Naturalmente, consideramos que cuando evaluamos programas que deciden sobre la vida de las personas, el garantizar la justicia o el respeto por los derechos es más importante que la protección de la propiedad intelectual.

Hace unos días Fernando Simón, director del Centro de Alertas y Emergencias Sanitarias, reconociendo la presión a la que son y probablemente serán sometidas las UCI de los hospitales, comentó que se estaba trabajando para establecer algoritmos y criterios de acceso a ellas.

No nos queda claro a qué clase de algoritmos se refería. Si Simón se refería a los algoritmos clásicos que no son resultado de aprendizaje automático, como los árboles de decisión que sirven para estructurar protocolos médicos de actuación, poco tenemos que añadir a la vasta discusión que se lleva a cabo en el campo de la bioética.

Por el contrario, nos preocupa la posibilidad de que se estuviera refiriendo a algoritmos que utilicen aprendizaje automático con bases de datos. Es decir, nos preocupa que se introduzcan herramientas poco transparentes que, por ejemplo, resulten en la asignación de un indicador o score a un paciente determinado en base a una multitud de datos estadísticos. Este indicador reflejaría, por ejemplo, una estimación probabilística del beneficio que un paciente podría obtener de un tratamiento en base a una serie de criterios estadísticos. Estos sistemas ya existen y son ampliamente utilizados cada vez que pedimos un crédito o una hipoteca. Mediante sistemas de scoring, los bancos determinan si un cliente tendrá buenas probabilidades de devolver el dinero o si, por el contrario, es más probable que se convierta en un moroso. A menudo, el indicador no es meramente informativo, sino que adquiere un carácter prescriptivo que resulta en la denegación (o concesión) automática del préstamo solicitado: Lo sentimos, pero el sistema no nos deja otorgarle el préstamo.

En base a este breve análisis, considerando que no hay ninguna garantía de que este tipo de algoritmos inteligentes sea realmente objetivo, neutral y justo, proponemos las siguientes medidas ante el hipotético caso de que se busque aplicar algoritmos en situaciones de crisis como las actuales, por ejemplo, para el triaje de pacientes infectados o para la prescripción de tratamiento ante una escasez de recursos clave:

1. Establecer dos tipos de auditorías: primero una técnica, que confirme que, dentro de lo posible, la base de datos representa a la población en general y que los resultados no discriminan en base a un error de muestreo. Y en segundo lugar, una ética, que confirme que además de estadísticamente correcta, la decisión tomada también es justa.
2. Implementar un resultado final del algoritmo que no sea simplemente una puntuación. Una puntuación puede ser tramposa y suele ir dotada de un halo de supuesta neutralidad y objetividad y por ello adquiere un carácter prescriptivo que es difícil de ignorar, incluso para los propios expertos, tal como se observó durante las pruebas con Watson, la inteligencia artificial de IBM pensada para asistir a médicos. Proponemos, en cambio, la especificación de una serie de criterios o dimensiones informativas que ayuden al personal sanitario a tomar mejores decisiones. Esta información podría visualizarse mediante infografías, por ejemplo, en una especie de panel de control, para facilitar la decisión, pero sin preconcebirla y condicionarla mediante una puntuación.
3. Para conseguir el punto anterior es clave comprobar que la manera en que el algoritmo toma decisiones o efectúa una recomendación es explicable. Es decir, se pueden hacer explícitos los criterios y normas utilizados por el algoritmo. Si el algoritmo “decide” o “recomienda” que a una persona se le debe atender y a otra no, es imperativo que se pueda explicar el porqué de esa decisión o recomendación. Dicho de otro modo: ¿en base a qué criterios el algoritmo realiza una recomendación? ¿De qué manera se ponderan y ordenan el bien común, los costes, la justicia, los derechos individuales, o la equidad? Por un lado, el personal sanitario ha de conocer las razones por las que se considera que un paciente, por ejemplo, tiene posibilidades o no de supervivencia. Esto permitiría a los profesionales cuestionar la idoneidad de la recomendación. Por otro lado, la humanidad de estos pacientes y la de sus seres queridos, pero también la de la sociedad en su conjunto, exige un requerimiento mínimo e inalienable: el de obtener una justificación del motivo por el cual se priva a un paciente de tratamiento y, eventualmente, se le deja morir. La incapacidad de ofrecer una explicación sobre estas cuestiones sería del todo incompatible con el principio de la dignidad humana como aspecto ético fundamental.

Dadas las prisas con las que se desarrollarían e implementarían estos algoritmos, resulta difícil esperar que estos sean capaces de explicar sus decisiones de una manera mínimamente aceptable. Nuestra recomendación es modesta: en caso de utilizarse, estos algoritmos no deben ser vinculantes. Deben ser siempre los profesionales sanitarios, y en ningún caso los algoritmos, quienes decidan quiénes deben o pueden ser tratados y quiénes no. Cuando se trata de decisiones cruciales para el bienestar humano, y especialmente en casos de vida o muerte, no podemos dejar que “el sistema” sea el que decida.

Ariel Guersenzvaig es profesor en ELISAVA Escuela Universitaria de Diseño e Ingeniería de Barcelona.

David Casacuberta es profesor en el Departamento de Filosofia en la Universidad Autónoma de Barcelona.