¿Qué es un sistema de computador tendencioso?

En el sentido más general, el término inclinación significa simplemente “desviación”. Considerando este uso indiferenciado, a veces este término es aplicado con un contenido relativamente neutral. Por ejemplo un cliente en el abasto puede inclinarse a no comprar fruta podrida. Otras veces, dicho término se emplea con un significado moral importante. Por ejemplo, el patrón de una empresa podría tener la tendencia de rehusarse a contratar minorías. En este artículo nos enfocamos en ejemplos de este último caso, pues si alguien quiere desarrollar criterios para juzgar la calidad de los sistemas en uso, lo cual hacemos, entonces estos criterios deben estar definidos de formas que expresen clara y precisamente los asuntos sociales relevantes. Concentrarse en la desviación de significado moral logra justamente eso.
Por consiguiente, utilizamos el término “inclinación” para referirnos a los sistemas de computadoras que regular e injustamente discriminan a ciertos individuos o grupos de individuos para favorecer a otros. Un sistema discrimina injustamente si niega una oportunidad o un beneficio, o si da un resultado indeseable con fundamentos que son irrazonables o inapropiados a un individuo o grupo de individuos. Consideremos, por ejemplo, un asesor automatizado de crédito que ayuda en la decisión de ampliar o no el crédito a un solicitante en particular. Si el asesor niega el crédito a individuos que sucesivamente tienen un historial de pagos malo, no juzgaremos al sistema como tendencioso porque es razonable y pertinente que una compañía de crédito quiera evitar ampliar los beneficios de crédito a gente que no paga sus cuentas con regularidad. En contraste, un asesor de crédito que sistemáticamente asigna una calificación crediticia baja a individuos con apellidos étnicos discrimina con bases que no son relevantes a las evaluaciones de crédito y por consiguiente, discrimina injustamente.
Dos puntos siguen a esto: primero, la discriminación injusta sola no intensifica la “desviación” a menos que ocurra sistemáticamente. Consideremos otra vez al asesor automatizado de crédito; imaginemos una falla aleatoria en el sistema que cambia la información de la copia del historial de crédito de un solicitante y por casualidad, dicho solicitante tiene un apellido étnico. El cambio en la información provoca una baja en su calificación. Aunque este solicitante experimenta discriminación injusta resultado de un fallo aleatorio, debido a dicho fallo este incidente pudo haberle sucedido a cualquiera. Si el incidente se repite, el mismo solicitante u otros de origen étnico similar no serían casos especiales a destacar por el sistema. Por esto, aunque el sistema es propenso a cometer errores aleatorios, no es tendencioso.
Segundo, la discriminación sistemática no establece una tendencia a menos que esté acompañada de un resultado injusto. Un caso a resaltar es la guerra del Golfo Pérsico, en la que misiles Patriot pertenecientes a Estados Unidos, se utilizaron para detectar e interceptar misiles Scud iraquís. Por lo menos un error en el software identificado durante la guerra contribuyó a un continuo rendimiento deficiente por parte de los Patriot [Gao 1992]. Los cálculos utilizados para predecir la ubicación de un Scud dependieron complejamente del reloj interno de los Patriot. Mientras más corría el tiempo, mayor era la imprecisión en el cálculo. Las muertes de por lo menos 28 estadounidenses en Dhahran se pueden rastrear hasta llevarnos a este error de software, el cual sistemáticamente degradó la precisión de los misiles Patriot. Si bien no estamos minimizando la gravedad de las consecuencias de este sistemático error en el computador, cae fuera de nuestro análisis porque no supone injusticia.