{"id":63617,"date":"2023-03-05T13:16:16","date_gmt":"2023-03-05T19:16:16","guid":{"rendered":"https:\/\/redsemlac.com\/semmexico\/?p=63617"},"modified":"2023-03-06T08:54:50","modified_gmt":"2023-03-06T14:54:50","slug":"cuando-los-buenos-algoritmos-se-vuelven-sexistas-por-que-y-como-avanzar-en-la-equidad-de-genero-de-la-inteligencia-artificial","status":"publish","type":"post","link":"https:\/\/redsemlac.com\/semmexico\/cuando-los-buenos-algoritmos-se-vuelven-sexistas-por-que-y-como-avanzar-en-la-equidad-de-genero-de-la-inteligencia-artificial\/","title":{"rendered":"Cuando los buenos algoritmos se vuelven sexistas: por qu\u00e9 y c\u00f3mo avanzar en la equidad de g\u00e9nero de la Inteligencia Artificial"},"content":{"rendered":"\n<ul class=\"wp-block-list\">\n<li><strong>Siete acciones que los l\u00edderes del cambio social y los desarrolladores de aprendizaje autom\u00e1tico pueden tomar para construir inteligencia artificial inteligente en g\u00e9nero para un mundo m\u00e1s justo.<\/strong><\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>An\u00e1lisis sobre el tema central para celebrar el 8 de Marzo, propuesto por la ONU<\/li>\n<\/ul>\n\n\n\n<p class=\"has-small-font-size wp-block-paragraph\"><em>Traducci\u00f3n Ganett G\u00f3ngora*<\/em><\/p>\n\n\n\n<p class=\"has-small-font-size wp-block-paragraph\"><strong><em>Documento difundido por ONU mujeres en el mundo<\/em><\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&nbsp;En 2019, Genevieve (coautora de este art\u00edculo) y su esposo solicitaron la misma tarjeta de cr\u00e9dito. A pesar de tener un puntaje crediticio ligeramente mejor y los mismos ingresos, gastos y deudas que su esposo, la compa\u00f1\u00eda de tarjetas de cr\u00e9dito fij\u00f3 su l\u00edmite de cr\u00e9dito en casi la mitad del monto.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Esta experiencia se hace eco de una que apareci\u00f3 en los titulares m\u00e1s tarde ese a\u00f1o: un esposo y una esposa compararon los l\u00edmites de gasto de su Apple Card y descubrieron que la l\u00ednea de cr\u00e9dito del esposo era 20 veces mayor. Los empleados de servicio al cliente no pudieron explicar por qu\u00e9 el algoritmo consider\u00f3 a la esposa significativamente menos solvente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Muchas instituciones toman decisiones basadas en sistemas de inteligencia artificial (IA) que utilizan aprendizaje autom\u00e1tico (ML), mediante el cual una serie de algoritmos toma y aprende de cantidades masivas de datos para encontrar patrones y hacer predicciones. Estos sistemas informan cu\u00e1nto cr\u00e9dito ofrecen las instituciones financieras a los diferentes clientes, a qui\u00e9n prioriza el sistema de salud para las vacunas contra el COVID-19 y qu\u00e9 candidatos llaman las empresas para entrevistas de trabajo. Sin embargo, el sesgo de g\u00e9nero en estos sistemas es generalizado y tiene un impacto profundo en la seguridad psicol\u00f3gica, econ\u00f3mica y de salud de las mujeres a corto y largo plazo. Tambi\u00e9n puede reforzar y amplificar los estereotipos y prejuicios de g\u00e9nero da\u00f1inos existentes.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&nbsp;Al concluir el Mes de la Historia de la Mujer, los l\u00edderes del cambio social, incluidos investigadores y profesionales con experiencia en g\u00e9nero, y los desarrolladores de sistemas de ML deben preguntarse: \u00bfC\u00f3mo podemos construir una IA inteligente en cuanto al g\u00e9nero para promover la equidad de g\u00e9nero, en lugar de incorporar y escalar el sesgo de g\u00e9nero?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Los sistemas de IA est\u00e1n sesgados porque son creaciones humanas. Qui\u00e9n toma las decisiones informando a los sistemas de IA y qui\u00e9n est\u00e1 en el equipo que desarrolla los sistemas de IA da forma a su desarrollo. Y, como era de esperar, existe una gran brecha de g\u00e9nero: solo el 22 % de los profesionales en los campos de la IA y la ciencia de datos son mujeres, y es m\u00e1s probable que ocupen trabajos asociados con un estatus inferior.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En un nivel m\u00e1s granular, los humanos generan, recopilan y etiquetan los datos que se incluyen en los conjuntos de datos. Los humanos determinan de qu\u00e9 conjuntos de datos, variables y reglas aprenden los algoritmos para hacer predicciones. Ambas etapas pueden introducir sesgos que se incrustan en los sistemas de IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En t\u00e9rminos de sesgo de g\u00e9nero de los datos, los puntos de datos son instant\u00e1neas del mundo en el que vivimos, y las grandes brechas de datos de g\u00e9nero que vemos se deben en parte a la brecha digital de g\u00e9nero. Por ejemplo, unos 300 millones menos de mujeres que de hombres acceden a Internet a trav\u00e9s de un tel\u00e9fono m\u00f3vil, y las mujeres de los pa\u00edses de ingresos bajos y medianos tienen un 20 % menos de probabilidades que los hombres de poseer un tel\u00e9fono inteligente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&nbsp;Estas tecnolog\u00edas generan datos sobre sus usuarios, por lo que el hecho de que las mujeres tengan menos acceso a ellos sesga inherentemente los conjuntos de datos. Incluso cuando se generan datos, los humanos que recopilan datos deciden qu\u00e9 recopilar y c\u00f3mo. Ninguna industria ilustra mejor esto que la atenci\u00f3n m\u00e9dica (otra industria con desequilibrio de g\u00e9nero entre los l\u00edderes.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&nbsp;Los hombres y los cuerpos masculinos han sido durante mucho tiempo el est\u00e1ndar para las pruebas m\u00e9dicas. Las mujeres son desaparecidas de los ensayos m\u00e9dicos, con cuerpos femeninos considerados demasiado complejos y variables. Las hembras ni siquiera est\u00e1n incluidas en los estudios con animales sobre enfermedades predominantes en las hembras. Esta brecha se refleja en los datos m\u00e9dicos.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Los datos que no est\u00e1n desagregados por sexo y g\u00e9nero (as\u00ed como otras identidades) presentan otro problema. Pinta una imagen inexacta, ocultando diferencias importantes entre personas de diferentes identidades de g\u00e9nero, y oculta una representaci\u00f3n excesiva o insuficiente potencial. Por ejemplo, pocos conjuntos de datos urbanos rastrean y analizan datos sobre g\u00e9nero, por lo que los programas de infraestructura no suelen tener en cuenta las necesidades de las mujeres.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Incluso cuando existen puntos de datos representativos, pueden tener prejuicios incorporados y reflejar desigualdades en la sociedad. Volviendo a la industria del cr\u00e9dito al consumo, los primeros procesos usaban el estado civil y el g\u00e9nero para determinar la solvencia. Eventualmente, estas pr\u00e1cticas discriminatorias fueron reemplazadas por otras consideradas m\u00e1s neutrales. Pero para entonces, las mujeres ten\u00edan un historial financiero menos formal y sufr\u00edan discriminaci\u00f3n, lo que afectaba su capacidad para obtener cr\u00e9dito. Los puntos de datos que rastrean los l\u00edmites de cr\u00e9dito de las personas capturan estas tendencias discriminatorias.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El etiquetado de datos puede ser subjetivo e incorporar sesgos y perspectivas perjudiciales tambi\u00e9n. Por ejemplo, la mayor\u00eda de los datos demogr\u00e1ficos terminan etiquetados sobre la base de categor\u00edas simplistas binarias de mujeres y hombres. Cuando la clasificaci\u00f3n de g\u00e9nero colapsa el g\u00e9nero de esta manera, reduce el potencial de la IA para reflejar la fluidez de g\u00e9nero y la identidad de g\u00e9nero autosuficiente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En t\u00e9rminos de sesgo de g\u00e9nero de los algoritmos, uno de los primeros pasos en el desarrollo de un algoritmo es la selecci\u00f3n de conjuntos de datos de entrenamiento. Una vez m\u00e1s, volviendo a la industria del cr\u00e9dito al consumo, cuando los sistemas de inteligencia artificial que determinan la solvencia aprenden de los datos hist\u00f3ricos, detectan los patrones de las mujeres que reciben l\u00edmites de cr\u00e9dito m\u00e1s bajos que los hombres. Reproducen el mismo acceso desigual al cr\u00e9dito seg\u00fan el g\u00e9nero (y la raza), como se ve en el caso de Genevieve y la historia de Apple Card.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>De manera relacionada, los tonos de g\u00e9nero<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">El proyecto de investigaci\u00f3n descubri\u00f3 que los sistemas comerciales de reconocimiento facial utilizaban conjuntos de datos de im\u00e1genes que carec\u00edan de muestras diversas y representativas. Estos sistemas clasificaron err\u00f3neamente a las mujeres con mucha m\u00e1s frecuencia que a los hombres. En particular, las mujeres de piel m\u00e1s oscura se clasificaron err\u00f3neamente con una tasa de error del 35 por ciento, en comparaci\u00f3n con una tasa de error del 0,8 por ciento para los hombres de piel m\u00e1s clara.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Los desarrolladores les dicen a los algoritmos qu\u00e9 variables considerar al tomar decisiones, pero esas variables y proxies pueden penalizar ciertas identidades o comunidades. Por ejemplo, una plataforma de contrataci\u00f3n de tecnolog\u00eda en l\u00ednea, Gild (adquirida desde entonces por Citadel), desarroll\u00f3 un sistema de inteligencia artificial para ayudar a los empleadores a clasificar a los candidatos para trabajos de programaci\u00f3n.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Gild no solo evalu\u00f3 la informaci\u00f3n obtenida de fuentes tradicionales como los curr\u00edculos, sino que tambi\u00e9n utiliz\u00f3 un proxy llamado \u00abdatos sociales\u00bb (datos generados por acciones en el \u00e1mbito digital) para medir qu\u00e9 tan integral era el candidato para la comunidad digital.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En este caso, los datos sociales se extrajeron del tiempo dedicado a compartir y desarrollar c\u00f3digo en plataformas como GitHub. Pero factores como las expectativas sociales en torno al cuidado no remunerado, que las mujeres tienden a soportar, se traducen en que las mujeres tienen menos tiempo para chatear en l\u00ednea.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Por lo tanto, las mujeres producen menos de estos datos sociales las mujeres pueden asumir identidades masculinas en plataformas como GitHub para eludir preocupaciones de seguridad sexistas y espec\u00edficas de g\u00e9nero (como el acoso dirigido y el troleo) y otras formas de sesgo. En lugar de eliminar los prejuicios humanos, Gild cre\u00f3 un algoritmo predispuesto a penalizar a las mujeres y clasificar sistem\u00e1ticamente a las candidatas por debajo de sus hom\u00f3logos masculinos.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Impactos de la IA con sesgo de g\u00e9nero<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">La IA con sesgo de g\u00e9nero no solo tiene un impacto inmenso en las personas, sino que tambi\u00e9n puede contribuir a los retrocesos en la igualdad de g\u00e9nero y el empoderamiento de las mujeres. Como parte de nuestro trabajo en el Centro Berkeley Haas para la Equidad, el G\u00e9nero y el Liderazgo sobre la mitigaci\u00f3n del sesgo en la inteligencia artificial, hacemos un seguimiento de los casos de sesgo disponibles p\u00fablicamente en los sistemas de IA que usan ML. En nuestro an\u00e1lisis de alrededor de 133 sistemas sesgados en todas las industrias desde 1988 hasta la actualidad, encontramos que el 44,2 % (59 sistemas) demuestra sesgo de g\u00e9nero, y el 25,7 % (34 sistemas) muestra sesgo tanto de g\u00e9nero como racial.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Los sistemas de inteligencia artificial con sesgo de g\u00e9nero tienen seis impactos principales: de los 59 sistemas que muestran sesgo de g\u00e9nero, el 70 % result\u00f3 en una calidad de servicio m\u00e1s baja para las mujeres y las personas no binarias. Los sistemas de reconocimiento de voz, cada vez m\u00e1s utilizados en las industrias automotriz y de atenci\u00f3n m\u00e9dica, por ejemplo, a menudo funcionan peor para las mujeres. En segundo lugar, la asignaci\u00f3n injusta de recursos, informaci\u00f3n y oportunidades para las mujeres se manifest\u00f3 en el 61,5 % de los sistemas que identificamos como sesgados por el g\u00e9nero, incluida la contrataci\u00f3n de software y sistemas publicitarios que restaban prioridad a las solicitudes de las mujeres.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El refuerzo de los estereotipos y prejuicios perjudiciales existentes (en el 28,2 % de los sistemas con sesgo de g\u00e9nero) se ve exacerbado por los bucles de retroalimentaci\u00f3n entre las entradas y salidas de datos. Por ejemplo, el software de traducci\u00f3n, que aprende de una gran cantidad de texto en l\u00ednea, hist\u00f3ricamente ha tomado t\u00e9rminos neutros en cuanto al g\u00e9nero (como \u00abel doctor\u00bb o \u00abla enfermera\u00bb en ingl\u00e9s) y devuelto traducciones de g\u00e9nero (como \u00abel doctor\u00bb y \u00bb la enfermera\u201d, respectivamente), reforzando los estereotipos de m\u00e9dicos y enfermeras. De manera relacionada, encontramos que los sistemas de IA, m\u00e1s com\u00fanmente en servicios relacionados con Internet, dan como resultado un tratamiento despectivo y ofensivo o la eliminaci\u00f3n de identidades de g\u00e9nero ya marginadas. (6,84 por ciento). Por ejemplo, el uso del g\u00e9nero binario en la clasificaci\u00f3n de g\u00e9nero genera una visi\u00f3n inexacta y simplista del g\u00e9nero en herramientas como los sistemas de an\u00e1lisis facial.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Adem\u00e1s, ciertos sistemas afectan el bienestar f\u00edsico y mental de las mujeres y las personas no binarias. Los sistemas con sesgo de g\u00e9nero utilizados en la atenci\u00f3n de la salud, el bienestar y la industria automotriz, en particular, presentan perjuicios para la seguridad f\u00edsica (18,8 por ciento de los sistemas con sesgo de g\u00e9nero) y riesgos para la salud (3,42 por ciento). Los sistemas de inteligencia artificial que respaldan la detecci\u00f3n del c\u00e1ncer de piel, por ejemplo, tienen dificultades para detectar el melanoma en las personas negras, lo que pone en riesgo a las mujeres negras que ya est\u00e1n desatendidas por la industria del cuidado de la salud.<\/p>\n\n\n\n<p class=\"has-small-font-size wp-block-paragraph\"><em><strong>Profesora investigadora de la UAM, colaboradora espor\u00e1dica en SemM\u00e9xico<\/strong><\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Siete acciones que los l\u00edderes del cambio social y los desarrolladores de aprendizaje autom\u00e1tico pueden tomar para construir inteligencia artificial inteligente en g\u00e9nero para un mundo m\u00e1s justo.<\/p>\n","protected":false},"author":3,"featured_media":63618,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[192],"tags":[],"class_list":["post-63617","post","type-post","status-publish","format-standard","has-post-thumbnail","category-a-fondo"],"_links":{"self":[{"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/posts\/63617","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/comments?post=63617"}],"version-history":[{"count":0,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/posts\/63617\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/media\/63618"}],"wp:attachment":[{"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/media?parent=63617"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/categories?post=63617"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/tags?post=63617"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}