Un algoritmo opaco al que han detectado errores decide quién recibe ayudas públicas del bono social

El Gobierno de España concede desde 2017 a las familias más vulnerables un descuento en la factura de la luz, el llamado bono social. Para poder acceder a ese beneficio hace falta reunir una serie de condiciones: acreditar un nivel de renta bajo, cobrar la pensión mínima, estar en situación de desempleo o ERTE o tener familia numerosa. Las solicitudes no las evalúa un grupo de funcionarios, sino un algoritmo, BOSCO. Y ese algoritmo se equivoca. La organización Civio demostró en 2019 que la aplicación automática había negado ayudas a personas que tenían derecho a ellas. El Gobierno corrigió el error, pero no accedió a abrir su código fuente para poder buscar otros posibles desajustes. Civio acudió a los tribunales y el pasado mes de febrero, tres años después, la justicia le dio la razón al Ejecutivo argumentando motivos de seguridad nacional.

El caso de BOSCO es ilustrativo de un debate no resuelto y cada vez más relevante: cómo deben articular las sociedades la gobernanza algorítmica. ¿Tenemos derecho los ciudadanos a saber cómo funcionan los sistemas automáticos que toman decisiones sobre la asignación de recursos públicos? La motivación principal del equipo de Civio al seguir el caso es, de hecho, preparar el terreno de cara a posibles complicaciones que surjan en el futuro con otros algoritmos. “Queremos allanar el terreno por si luego pedimos información sobre otro sistema más complicado. Hay que sentar las bases para que la próxima vez la Administración no tarde cuatro años en abrir el código fuente de sus algoritmos”, explica David Cabo, cofundador de Civio.

El error que detectaron fue grueso. Hasta 2020, cuando se incorporó estar en situación de desempleo, había tres vías de entrada para acceder al descuento del bono social: tener rentas bajas (un máximo de 24.000 euros si se dan otras condiciones especiales), ser familia numerosa o beneficiarse de una pensión mínima de incapacidad o jubilación sin ingresos adicionales. “Esta última vía deja fuera a otro tipo de pensionistas, como las viudas, y a los pensionistas que reciban algún ingreso o, tras la última reforma, ingresos que superen los 500 euros mensuales. Eso sí, en muchos casos, esos pensionistas pueden acceder por la otra puerta de entrada, la de renta, ya que no superan los ingresos máximos”, cuenta en el blog de Civio Eva Belmonte, compañera de Cabo y responsable de la investigación de BOSCO. “Pero si esas personas marcan la casilla de pensionista, que lo son, la aplicación rechaza su solicitud. Lo hace pese a comprobar su renta y a sabiendas de que sí tienen derecho por renta”.

También comprobaron que cuando alguno de los miembros de la unidad familiar no daba su consentimiento para que se examinaran sus datos de renta se les denegaba. Aunque pertenecieran a una familia numerosa y por tanto tuvieran derecho a la ayuda independientemente de sus ingresos.

Rastreando un problema

“Nos dimos cuenta de que algo fallaba cuando vimos que solicitaba el bono social mucha menos gente de la que tenía derecho a ella”, dice Cabo. Según cálculos del propio Gobierno, en 2019 tenían derecho a la ayuda unos 5,5 millones de hogares, pero el Ejecutivo estimaba que solo 2,5 la solicitarían. Al final lo hicieron 1,1 millones de familias, una cifra baja. Civio elaboró junto con la CNMC una guía para que los interesados supieran cómo rellenar la solicitud, una tarea compleja. Porque hay muchos papeles que presentar y no precisamente ante la Administración. Los consumidores tienen que pedirle el bono social a las eléctricas; estas transfieren los datos de sus clientes al Gobierno, que a su vez los inserta en BOSCO. Es el sistema informático quien le dice luego a las operadores cuáles de sus clientes pueden disfrutar de los descuentos.

Al cabo de un tiempo, algunos de los que usaron la guía y que sabían que reunían las condiciones se quejaron de que no se les había concedido la ayuda. El equipo de Civio revisó su aplicación y vio que estaba todo en orden. Entonces pidió acceso al Ministerio de Transición Ecológica la documentación técnica con la que se había elaborado BOSCO. “Vimos que había habido problemas en la forma en que habían traducido el Decreto Ley en especificaciones técnicas para la aplicación automática. Lo que no sabemos es si hay más errores en la traducción de esas especificaciones en el código fuente”, señala Cabo.

Por eso pidieron que se les mostraran las tripas del algoritmo. El Juzgado Central de lo Contencioso Administrativo número 8 resolvió en febrero que liberar el código violaría el derecho a la propiedad intelectual que ostenta el Gobierno y afectaría tanto a la seguridad pública como a la defensa nacional. Fuentes del Ministerio recalcan ese aspecto: facilitar el acceso al código fuente, sostienen, podría dar pie al hackeo del sistema. Desde Civio contraargumentan que no piden las contraseñas de nada, sino poder estudiar la arquitectura del sistema para comprobar que no perjudique a nadie. La organización ya ha anunciado que recurrirá la sentencia y que llegará hasta el Tribunal Supremo.

Gobernanza algorítmica y seguridad

Gemma Galdon, directora de la consultora Eticas, cree que la sentencia era previsible. “Cuando se solicita acceso al código de los algoritmos, el dueño siempre se escuda en la propiedad intelectual. No conozco ningún caso legal en el que el derecho de la empresa a protegerla haya quedado superado por el derecho al acceso”, subraya.

Galdon y su equipo, que también siguen la pista de BOSCO desde hace tiempo, plantean una estrategia de acción diferente. “Vamos a hacer una reclamación formal para saber si se han cumplido las condiciones legales que rodean la aplicación de un algoritmo en asuntos públicos. La ley nacional y comunitaria dice que cuando se somete un asunto público a decisiones automatizadas ese algoritmo debe ser auditado y ser sometido a una valoración de impacto”, añade.

Para Ana Valdivia, investigadora en el King’s College London especializada en el impacto social de los algoritmos, este caso expone la llamada paradoja de la eficiencia, en referencia a la fe que tienen los gobiernos en la infalibilidad de estos programas informáticos para gestionar asuntos públicos. “Hay quien piensa que los sistemas algorítmicos toman decisiones de manera más eficiente porque procesan información de forma más rápida que los humanos y son más baratos que la mano de obra. Pero implementar un algoritmo en la vida real es lo contrario a eficiente”, escribe en un artículo publicado a principios de mes junto con el jurista Javier de la Cueva. “Hay que digitalizar el proceso, reunir los datos, limpiarlos, entrenar el algoritmo, evaluarlo, implementarlo en el sistema y probar que funciona en la vida real, entre otras tareas. Además, los errores como los de BOSCO pueden perjudicar seriamente la eficiencia”.

Estos dos expertos creen que el caso del bono social ilustra las fricciones entre la ley y los algoritmos. “Mientras los ciudadanos deberían tener el derecho a saber si una decisión ha sido tomada por un algoritmo, los tribunales dictan sentencias a favor de la opacidad algorítmica”, sostienen.

La imposibilidad de acceder al código fuente de un algoritmo que toma decisiones sobre la cosa pública tiene, a su parecer, varias implicaciones relevantes. Principalmente impide saber “si se ha llegado al resultado final mediante un razonamiento que no contempla la ley”. En en el código fuente donde se puede ver las categorías y delimitaciones conceptuales aplicadas por los ingenieros, que en el caso de BOSCO llevaron a error. “Un sistema de caja negra, en el que las normas que determinan por qué un caso es preferible a otro son desconocidas, afecta a la capacidad de las partes de apelar contra la decisión”, concluyen los académicos.

Puedes seguir a EL PAÍS TECNOLOGÍA en Facebook y Twitter o apuntarte aquí para recibir nuestra newsletter semanal.