En los últimos años, académicos y profesionales han pedido una mayor transparencia en el funcionamiento interno de los modelos de inteligencia artificial (IA), y por muchas buenas razones.
En un post de Harvard Business Review, Andrew Burt, director legal de Immuta, señala que la transparencia puede ayudar a mitigar ciertos problemas, tales como equidad, discriminación y confianza, en un escenario en el cual, por ejemplo, el nuevo negocio de tarjetas de crédito de Apple ha sido acusado de modelos de préstamos sexistas, mientras que Amazon desechó una herramienta de IA para contratar después de descubrir que discriminaba a las mujeres.
Al mismo tiempo, está quedando claro que la divulgación de información sobre IA plantea sus propios riesgos: una mayor divulgación de información puede hacer que la IA sea más vulnerable a ataques, mientras que, entre más se informa al respecto, las empresas pueden ser más susceptibles a demandas o acciones regulatorias.
“Llamémoslo paradoja de la transparencia de la IA: si bien generar más información sobre la IA podría generar beneficios reales, también podría generar nuevos riesgos. Para navegar esta paradoja, las organizaciones necesitarán pensar cuidadosamente sobre cómo manejan los riesgos de la IA, la información que generan sobre estos riesgos y cómo se comparte y protege esa información”, asegura Burt.
Algunos estudios recientes ilustran estas tendencias. Un trabajo de investigación realizado por académicos de Harvard y la Universidad de California, Irvine, explica cómo las variantes de LIME y SHAP, dos técnicas populares utilizadas para explicar los llamados algoritmos de caja negra, podrían ser pirateadas.
Para ilustrar el poder de LIME, un artículo de 2016 que anunciaba la herramienta explicaba cómo un clasificador de imágenes que de otro modo sería incomprensible reconocía diferentes objetos en una imagen: se identificaba una guitarra acústica por el puente y partes del diapasón, mientras que un labrador retriever se identificaba por un facial específico características en el lado derecho de la cara del perro.
LIME, y el movimiento explicable de la IA en general, han sido elogiados como avances capaces de hacer que los algoritmos opacos sean más transparentes. De hecho, el beneficio de explicar la IA ha sido un precepto ampliamente aceptado, promocionado por académicos y tecnólogos. Ahora bien, el potencial para nuevos ataques en LIME y SHAP destaca un inconveniente pasado por alto: tal y como lo ilustra el estudio, las explicaciones pueden ser manipuladas intencionalmente, lo que lleva a una pérdida de confianza no solo en el modelo sino también en sus explicaciones.
Esta investigación no es la única que demuestra los peligros potenciales de la transparencia en la IA. Recientemente, el investigador Reza Shokri y sus colegas ilustraron cómo exponer información sobre algoritmos de aprendizaje automático puede hacerlos más vulnerables a los ataques. Mientras tanto, los investigadores de la Universidad de California, Berkeley, han demostrado que se pueden robar algoritmos completos basándose solo en sus explicaciones.
Burt dice que, a medida que los investigadores de seguridad y privacidad concentran más energía en la IA, estos estudios, junto con muchos otros, sugieren la misma conclusión: cuanto más revelan los creadores de un modelo sobre el algoritmo, más daño puede causar un actor malicioso. Esto significa que divulgar información sobre el funcionamiento interno de un modelo en realidad puede disminuir su seguridad o exponer a una empresa a una mayor responsabilidad. Todos los datos, en resumen, conllevan riesgos.
Las buenas noticias
Burt destaca que lo bueno de todo esto es que las organizaciones han enfrentado durante mucho tiempo la paradoja de la transparencia en los ámbitos de la privacidad, la seguridad y en otros lugares. Hoy solo necesitan actualizar sus métodos para la IA.
“Para comenzar, las empresas que intentan utilizar inteligencia artificial deben reconocer que existen costos asociados con la transparencia. Por supuesto, esto no sugiere que no valga la pena lograrla, simplemente que también plantea desventajas que deben entenderse completamente. Estos costos deben incorporarse en un modelo de riesgo más amplio que rija cómo interactuar con modelos explicables y en qué medida la información sobre el modelo está disponible para otros”, apunta.
El experto dice que, las organizaciones también deben reconocer que la seguridad se está convirtiendo en una preocupación creciente en el mundo de la IA. A medida que la IA se adopte más ampliamente, seguramente se descubrirán más vulnerabilidades y errores de seguridad. De hecho, la seguridad puede ser una de las mayores barreras a largo plazo para la adopción de la IA.
Por último, Burt señala que es importante comprometerse con los abogados lo antes posible y con la mayor frecuencia posible al crear y desplegar IA. Asegura que involucrar a los departamentos legales puede facilitar un entorno abierto y legalmente privilegiado, lo que permite a las empresas probar a fondo sus modelos para detectar cualquier vulnerabilidad imaginable sin crear responsabilidades adicionales.
“Esta es exactamente la razón por la cual los abogados operan bajo un privilegio legal, lo que les da a la información que obtienen un estado protegido, incentivando a los clientes a comprender completamente sus riesgos en lugar de ocultar cualquier posible irregularidad. En seguridad cibernética, por ejemplo, los abogados se han involucrado tanto que es común que los departamentos legales administren evaluaciones de riesgos e incluso actividades de respuesta a incidentes después de una violación. El mismo enfoque debería aplicarse a la IA”, puntualiza.