“Biases”, discriminación y análisis de riesgos: controles aplicables (II)
En la primera entrada de esta serie explicamos la importancia que tiene el análisis de riesgos en la gestión del cumplimiento de la normativa de protección de datos y expusimos algunos de los motivos que pueden dar lugar a sesgos discriminatorios de algoritmos y modelos de Inteligencia Artificial. ¿Pero exactamente qué consecuencias tiene desde el punto de vista del Reglamento General de Protección de Datos provocar una situación discriminatoria en un afectado? Lo vemos a continuación…
¿Qué tipos de discriminación pueden producirse en un afectado por el uso de algoritmos de Inteligencia Artificial (“IA”)?
La Constitución Española (“CE”) establece, en su artículo 14, que “los españoles son iguales ante la ley, sin que pueda prevalecer discriminación alguna por razón de nacimiento, raza, sexo, religión, opinión o cualquier otra condición o circunstancia personal o social”. Se consagra, de esta manera, la igualdad formal o igualdad ante la ley de todos los españoles. Además, el artículo 1.1 de la CE configura la igualdad como uno de los valores superiores del ordenamiento jurídico español. Por último, el artículo 9.2 de la CE recoge la igualdad material ordenando a los poderes públicos la eliminación de cualquier obstáculo que impida de forma efectiva dicha igualdad.
A diferencia de lo que ocurre con el derecho fundamental a la protección de datos, la igualdad forma parte de la primera generación de derechos (los derechos más básicos y, quizás, también, los más importantes para que el vasallo deje de serlo y se convierta en ciudadano). Por eso, todos tenemos una idea aproximada de lo que significa no ser discriminado.
En líneas generales, podemos decir que existen tres tipos de discriminación:
- Discriminación directa: la que tiene lugar cuando una persona recibe un trato desfavorable en relación con otra persona que se encuentra en una situación comparable a la suya.
- Discriminación indirecta: la que se produce cuando una norma, criterio o práctica, aparentemente neutral tiene efectos negativos a una persona o grupo de personas con características especiales en relación con otros.
Para entender este tipo de discriminación, recogemos a continuación dos ejemplos que figuran en el Handbook on European non-discrimination law de la European Union Agency for Fundamental Rights (FRA), en su edición de 2018.
1º. En el caso Isabel Elbal Moreno vs. Instituto Nacional de la Seguridad Social / Tesorería General de la Seguridad Social, la demandante había trabajado a tiempo parcial cuatro horas a la semana durante 18 años. Según la normativa aplicable, para obtener una pensión, un trabajador a tiempo parcial debía pagar cotizaciones por un período más largo que un trabajador a tiempo completo. Además, la pensión obtenida en todo caso era más baja, proporcionalmente, que la del trabajador a tiempo completo.
Como quedó demostrado, con un contrato a tiempo parcial de cuatro horas semanales, la demandante habría tenido que trabajar 100 años para completar el período mínimo de 15 años que le permitiría tener acceso a una pensión de 112,93 € al mes.
El Tribunal de Justicia de la Unión Europea (“TJUE”) sostuvo que las disposiciones pertinentes ponen en desventaja a los trabajadores a tiempo parcial que han trabajado a así durante un largo tiempo. En la práctica, dicha legislación excluye a esos trabajadores de cualquier posibilidad de obtener una pensión de jubilación.
Dado que al menos el 80 % de los trabajadores a tiempo parcial en España son mujeres, el efecto de esta norma afectaba desproporcionadamente a las mujeres en comparación con los hombres. Por tanto, constituía una discriminación indirecta.
2º. En D.H. y otros vs. República Checa, se cuestiona la utilización de una serie de pruebas para establecer la capacidad intelectual de los alumnos a fin de determinar si debían ser ubicados en escuelas para niños con necesidades educativas especiales.
Se aplicó la misma prueba a todos los alumnos. El Tribunal europeo de derechos Humanos (“TEDH”) consideró que existía el peligro de que las pruebas estuvieran sesgadas y que los resultados no fueran analizados a la luz de las particularidades y características especiales de los niños romaníes que las realizaban. De esta forma, los estudiantes romaníes tenían más probabilidades de obtener malos resultados en las pruebas, lo cual se produjo, con la consecuencia de que entre el 50 % y el 90 % de los niños romaníes fueron educados fuera del sistema educativo convencional.
- Discriminación por asociación: se produce cuando una persona recibe un trato menos favorable porque se le asocia a un grupo concreto. La víctima no tiene que ser miembro del grupo al que se dirige la hostilidad o el prejuicio (en realidad, se protegen características de grupos minoritarios).
Los supuestos de discriminación indirecta y por asociación no son tan evidentes y fáciles de detectar, aunque producen, de la misma forma que el primer caso, efectos negativos en el afectado.
Para ampliar conocimientos sobre la situación en España del derecho a la igualdad y su desarrollo constitucional, recomendamos a lectura de otro documento, accesible de forma gratuita: Los principios de igualdad y no discriminación, una perspectiva de Derecho Comparado, de Pedro GONZÁLEZ-TREVIJANO SÁNCHEZ.
¿Qué infracciones de la normativa de protección de datos podrían cometerse en caso de que se produzca un supuesto de discriminación como resultado de la aplicación de un sistema o modelo de IA?
Como sabemos, la discriminación en sí misma no es objeto de sanción por parte del Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016 (“RGPD” o “Reglamento general de protección de datos”). No obstante, podría entenderse que dicha situación es resultado de un tratamiento incorrecto de datos si se ha realizado una evaluación de impacto que no haya valorado correctamente los daños que podrían sufrir los afectados en sus derechos y libertades. En estos casos, las consecuencias negativas en los titulares de los datos podrían interpretarse como un incumplimiento del artículo 35 del RGPD (Evaluación de impacto relativa a la protección de datos) o, incluso, del artículo 25 del RGPD (Protección de datos desde el diseño y por defecto).
Más claro que lo anterior podrían resultar el incumplimiento del artículo 22 del RGPD, que regula el derecho de los afectados a no ser objeto de una decisión basada únicamente en el tratamiento automatizado que produzca efectos jurídicos en él o le afecte significativamente de modo similar. Este derecho general tiene tres excepciones donde dichas decisiones se encuentran permitidas, según se establece en el apartado segundo del citado precepto:
“2. El apartado 1 no se aplicará si la decisión:
a) es necesaria para la celebración o la ejecución de un contrato entre el interesado y un responsable del tratamiento;
b) está autorizada por el Derecho de la Unión o de los Estados miembros que se aplique al responsable del tratamiento y que establezca asimismo medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, o
c) se basa en el consentimiento explícito del interesado”.
Conviene advertir que en caso de que no se pudiese acreditar el cumplimiento de estas excepciones, se podría imputar, además, una falta de base de legitimación para el tratamiento (y, por tanto, un incumplimiento del artículo 6 del RGPD).
Además, debemos tener en cuenta que los artículos 13 y 14 determinan que se debe informar a los afectados sobre la existencia de decisiones automatizas y la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado.
Por tanto, los efectos discriminatorios con consecuencias negativas para el afectado pueden ser objeto de sanción en base a distintos artículos del RGPD, sin olvidar tampoco que el artículo 82 de esta norma, sobre el que ya empieza a haber jurisprudencia europea, prevé la posibilidad de obtener una indemnización del responsable o del encargado del tratamiento cuando como resultado de una infracción de la normativa de protección de datos se causen daños o perjuicios a los afectados.
¿Qué controles podrían aplacarse para evitar discriminación en la utilización de algoritmos de IA y en su desarrollo?
Sin ánimo de elaborar una lista exhaustiva de medidas que pueden acreditar la diligencia del responsable del tratamiento, podemos proponer las siguientes:
1. Cumplir estrictamente con todas las obligaciones establecidas en el RGPD, que incluyen información transparente y clara a los afectados y realización de una evaluación de impacto seria. Las evaluaciones de impacto no son documentos para justificar un tratamiento que el responsable desea llevar a cabo, sino análisis reales de la proporcionalidad, necesidad e idoneidad de las operaciones que se quieren efectuar. No resulta una buena práctica condicionar el resultado de la evaluación de impacto para que sea posible llevar a cabo tratamientos que ya se ha decidido con carácter previo que se van a realizar.
2. Aumentar la intervención humana en la toma de decisiones, estableciendo puntos de revisión y valoración de los resultados de los algoritmos por parte de personas físicas.
3. Auditar periódicamente los resultados obtenidos para una detección temprana de cualquier posible desviación. Por supuesto, las auditorías y certificaciones externas siempre tendrán mayor valor que las internas, pero pueden combinarse ambas.
4. Establecer canales de reclamación específicos para los afectados que garanticen una respuesta rápida y especializada. En muchas empresas no será suficiente con los canales de atención de ejercicio de derechos con los que se contaba hasta la fecha. Se pueden adoptar medidas como formar al defensor del cliente, dotarle de recursos o crear una oficina especializada en la resolución de reclamaciones derivadas del uso de IA.
5. Constituir comités éticos, que ya son frecuentes en otros ámbitos como el sanitario.
6. Generar diversidad de los equipos desarrolladores y de trabajo para evitar sesgos producidos por el propio personal evaluador o desarrollador.