Responsabilidad algorítmica - Enciclopedia

La responsabilidad algorítmica se refiere a la asignación de responsabilidades por las consecuencias de las acciones del mundo real influenciadas por los algoritmos utilizados en los procesos de toma de decisiones. Idealmente, los algoritmos deben diseñarse para eliminar el sesgo de sus resultados de toma de decisiones. Esto significa que deben evaluar solo las características relevantes de los datos de entrada, evitando distinciones basadas en atributos que generalmente son inapropiados en contextos sociales, como la etnia de una persona en juicios legales. Sin embargo, el cumplimiento de este principio no está garantizado siempre y hay casos en los que las personas pueden verse afectadas negativamente por decisiones algorítmicas. La responsabilidad de cualquier daño resultante de una decisión de una máquina puede reside en el algoritmo en sí o en las personas que lo diseñaron, especialmente si la decisión resultó de un sesgo o un análisis de datos defectuoso inherente en el diseño del algoritmo.

Uso de algoritmos
Los algoritmos se utilizan ampliamente en varios sectores de la sociedad que incorporan técnicas computacionales en sus sistemas de control. Estas aplicaciones abarcan numerousas industrias, incluyendo pero no limitándose a la medicina, el transporte y los servicios de pago. En estos contextos, los algoritmos realizan funciones como:

Aprobar o denegar solicitudes de tarjetas de crédito;
Contar votos en elecciones;
Aprobar o denegar visas de inmigrante;
Determinar qué contribuyentes serán auditados en sus impuestos sobre la renta;
Gestionar sistemas que controlan autos autónomos en autopistas;
Calificar a individuos como posibles criminales para su uso en procedimientos judiciales.
Sin embargo, la implementación de estos algoritmos puede ser compleja y opaca. Generalmente, los algoritmos funcionan como "cajas negras", lo que significa que los procesos específicos que un input undergoes durante su ejecución suelen no ser transparentes, y los usuarios suelen ver solo el resultado final. Esta falta de transparencia suscita preocupaciones sobre posibles sesgos dentro de los algoritmos, ya que los parámetros que influyen en la toma de decisiones pueden no ser bien comprendidos. Las salidas generadas pueden llevar a percepciones de sesgo, especialmente si personas en circunstancias similares reciben resultados diferentes. Según Nicholas Diakopoulos:

Pero estos algoritmos pueden cometer errores. Tienen sesgos. Sin embargo, se encuentran en cajas negras opacas, sus operaciones internas, sus "pensamientos" internos, ocultos detrás de capas de complejidad. Necesitamos entrar en esa caja negra, entender cómo pueden estar ejerciendo poder sobre nosotros y entender dónde podrían estar cometiendo errores injustos.

Caso del Tribunal Supremo de Wisconsin
Los algoritmos son comunes en varios campos y tienen una influencia significativa en las decisiones que afectan a la población en general. Sus estructuras subyacentes y parámetros a menudo permanecen desconocidos para las personas afectadas por sus resultados. Un caso notable que ilustra este problema es una reciente resolución del Tribunal Supremo de Wisconsin sobre "algoritmos de evaluación de riesgo" utilizados en la justicia penal. El tribunal determinó que las puntuaciones generadas por tales algoritmos, que analizan múltiples parámetros de las personas, no deben utilizarse como factor determinante para arrestar a un acusado. Además, el tribunal ordenó que todos los informes presentados a los jueces incluyan información sobre la precisión del algoritmo utilizado para calcular estas puntuaciones.

Esta resolución se considera un desarrollo notable en cómo la sociedad debe manejar el software que toma decisiones significativas, subrayando la importancia de la fiabilidad, especialmente en entornos complejos como el sistema judicial. El uso de algoritmos en estos contextos requiere un alto grado de imparcialidad en el procesamiento de datos de entrada. Sin embargo, los expertos señalan que aún queda mucho trabajo por hacer para asegurar la precisión de los resultados algorítmicos. Continúan surgiendo preguntas sobre la transparencia del procesamiento de datos, lo que suscita problemas sobre la idoneidad de los algoritmos y las intenciones de sus diseñadores.

Controversias
Un caso notable de posible sesgo algorítmico se destaca en un artículo del Washington Post sobre el servicio de viaje con conductor Uber. Un análisis de los datos recopilados reveló que los tiempos estimados de espera para los usuarios variaban según los barrios en los que residían. Factores clave que influían en estas discrepancias incluían la etnia predominante y el ingreso promedio del área.

Específicamente, los barrios con mayoría de población blanca y mayor estatus económico tendían a tener tiempos de espera más cortos, mientras que aquellos con una composición étnica más diversa y un ingreso promedio más bajo experimentaban esperas más largas. Es importante aclarar que esta observación refleja una correlación identificada en los datos, no una relación causal definitiva. No se hacen juicios de valor sobre el comportamiento de la aplicación Uber en estos casos.

En un análisis separado publicado en la columna "Direito Digit@l" en el sitio web Migalhas, los autores Coriolano Almeida Camargo y Marcelo Crespo examinan el uso de algoritmos en contextos de toma de decisiones tradicionalmente manejados por humanos. Discuten los desafíos para evaluar si las decisiones generadas por máquinas son justas y los posibles defectos que pueden surgir en este proceso de validación.

El problema trasciende y continuará trascendiendo la preocupación por la recopilación de datos de los consumidores a la cuestión de cómo los algoritmos utilizan estos datos. A pesar de la existencia de algunas regulaciones de protección al consumidor, no hay mecanismo efectivo disponible para los consumidores que les diga, por ejemplo, si han sido discriminados automáticamente al ser denegados préstamos o trabajos.

El rápido avance de la tecnología ha introducido numerosas innovaciones en la sociedad, incluyendo el desarrollo de vehículos autónomos. Estos vehículos dependen de algoritmos integrados en sus sistemas para gestionar la navegación y responder a diversas condiciones de conducción. Los sistemas autónomos están diseñados para recopilar datos y evaluar su entorno en tiempo real, permitiéndoles tomar decisiones que simulan las acciones de un conductor humano.

En su análisis, Camargo y Crespo abordan los problemas potenciales asociados con los algoritmos utilizados en vehículos autónomos. Subrayan especialmente los desafíos relacionados con la toma de decisiones en momentos críticos, destacando la complejidad y las consideraciones éticas involucradas en la programación de estos sistemas para asegurar la seguridad y la equidad.

El paisaje tecnológico está cambiando rápidamente con el advenimiento de computadoras muy potentes y algoritmos que están avanzando hacia el impresionante desarrollo de la inteligencia artificial. No tenemos duda de que la inteligencia artificial revolucionará la provisión de servicios y también la industria. El problema es que las cuestiones éticas necesitan ser pensadas y debatidas de manera urgente. ¿O simplemente vamos a permitir que las máquinas nos juzguen en casos judiciales? ¿O que decidan quién debe vivir o morir en situaciones de accidentes que podrían ser intervenidas por algún equipo tecnológico, como autos autónomos?

En el sitio web de TechCrunch, Hemant Taneja escribió:

La preocupación por los algoritmos "cajas negras" que gobiernan nuestras vidas ha estado creciendo. El Instituto de Derecho de la Información de la Universidad de Nueva York organizó una conferencia sobre la responsabilidad algorítmica, señalando: "Los académicos, los interesados y los legisladores cuestionan la adecuación de los mecanismos existentes que regulan la toma de decisiones algorítmica y se enfrentan a nuevos desafíos presentados por el aumento del poder algorítmico en términos de transparencia, equidad y tratamiento igualitario". El Proyecto de la Sociedad de la Información de la Escuela de Derecho de Yale también está estudiando esto. "La modelización algorítmica puede estar sesgada o limitada, y el uso de algoritmos sigue siendo opaco en muchos sectores críticos", concluyó el grupo.

Soluciones posibles
Las discusiones entre los expertos han buscado soluciones viables para entender las operaciones de los algoritmos, a menudo denominados "cajas negras". Generalmente, se propone que las empresas responsables del desarrollo e implementación de estos algoritmos aseguren su fiabilidad mediante la divulgación de los procesos internos de sus sistemas.

Hemant Taneja, escribiendo para TechCrunch, subraya que las grandes empresas tecnológicas, como Google, Amazon y Uber, deben incorporar activamente la responsabilidad algorítmica en sus operaciones. Sugiere que estas empresas deben monitorear transparentemente sus propios sistemas para evitar medidas regulatorias estrictas.

Una posible aproximación es la introducción de regulaciones en el sector tecnológico para imponer la supervisión de los procesos algorítmicos. Sin embargo, tales regulaciones podrían tener un impacto significativo en los desarrolladores de software y en la industria en su conjunto. Puede ser más beneficioso para las empresas que voluntariamente divulguen los detalles de sus algoritmos y parámetros de toma de decisiones, lo que podría mejorar la credibilidad de sus soluciones.

Otra vía discutida es la posibilidad de la auto regulación por parte de las empresas que crean estos algoritmos, permitiéndoles tomar medidas proactivas para asegurar la responsabilidad y la transparencia en sus operaciones.

En el sitio web de TechCrunch, Hemant Taneja escribió:

Hay otro beneficio, tal vez un gran beneficio, de la regulación definida por software. También nos mostrará un camino hacia un gobierno más eficiente. La lógica legal y las regulaciones del mundo pueden ser codificadas en software y los sensores inteligentes pueden ofrecer monitoreo en tiempo real de todo, desde la calidad del aire y del agua, el flujo del tráfico y las colas en el DMV. Los reguladores definen las reglas, los tecnólogos crean el software para implementarlas y luego la IA y el ML ayudan a refinar las iteraciones de políticas en el futuro. Esto debería llevar a gobiernos mucho más eficientes y efectivos a nivel local, nacional y global.

Ver también
Transparencia algorítmica
Inteligencia artificial y elecciones – Uso e impacto de la IA en las elecciones políticas
Ética de los grandes datos
Regulación de algoritmos

Referencias

Bibliografía
Kroll, Joshua A.; Huey, Joanna; Barocas, Solon; Barocas, Solon; Felten, Edward W.; Reidenberg, Joel R.; Robinson, David G.; Robinson, David G.; Yu, Harlan (2016) Accountable Algorithms. University of Pennsylvania Law Review, Vol. 165. Fordham Law Legal Studies Research Paper No. 2765268.