Maskot/Getty Images

Muchos de los intentos para aplicar el aprendizaje automático se han estancado debido a las preocupaciones sobre la "caja negra", es decir: la falta de transparencia sobre por qué un sistema hace lo que hace. A veces se debe a que la gente quiere entender por qué se hizo alguna predicción antes de tomar medidas drásticas, como cuando un sistema de visión por ordenador indica un 95% de probabilidad de cáncer a partir de una radiografía del pulmón de un paciente. A veces se debe a que los equipos técnicos necesitan identificar y resolver errores sin interrumpir todo el sistema. Y ahora que está en vigor el Reglamento General de Protección de Datos (RGDP), se requiere que las empresas que manejan datos de consumidores expliquen cómo los sistemas automatizados toman decisiones, especialmente aquellas que afectan significativamente a las vidas individuales, como conceder un crédito o contratar a un candidato para un trabajo. Si bien el RGDP solo se aplica en Europa, las empresas de todo el mundo anticipan que se producirán cambios parecidos y, por lo tanto, están revisando los esfuerzos de gobernanza.

Si busca en internet, encontrará que la mayoría de los escritos sobre explicaciones algorítmicas se dividen en dos áreas. Los defensores de la adopción rápida de tecnología a menudo sostienen que los humanos no son mejores que las máquinas explicando decisiones, así que deberíamos plantear la cuestión de acelerar la innovación. Estos argumentos retóricos no ayudan a los profesionales responsables de cumplir las normas. Por otro lado, los críticos exigen requisitos estrictos para la transparencia y rechazan una cultura que pasa por alto los errores a favor de la innovación tecnológica y los justifica en un entorno sumamente competitivo. Estos argumentos pueden frenar esta adopción y, ya que no todos los casos de uso de aprendizaje automático requieren el mismo nivel de supervisión y responsabilidad, algunas decisiones necesitan una mayor explicación que otras.

Si quiere tener éxito con el aprendizaje automático aplicado debe dar un paso atrás y analizar el problema. ¿Qué significa que un procedimiento matemático o estadístico sea "apropiado" (como requiere el RGDP)? ¿Los diferentes casos de uso requieren diferentes explicaciones? ¿Quién debería participar en las decisiones sobre el impacto comercial, el cumplimiento normativo, el enfoque técnico e incluso los valores éticos cuando las empresas integran el aprendizaje automático en las operaciones comerciales?

Comencemos por desmontar por qué una idea aparentemente simple, como el derecho a una explicación, es difícil de comprender e implementar en la práctica.

Como con cualquier tecnología, cuando comienza un proyecto de aprendizaje automático, debe decidir si construir o comprar. Trabajar con un proveedor complica la transparencia porque muchas compañías de software eligen no divulgar qué algoritmos utilizan o los datos que usan para capacitarlos. A menudo, la razón que se da es para proteger la propiedad intelectual o prevenir una violación de seguridad. También hay un problema de complejidad: si el proveedor usa múltiples conjuntos de datos públicos y privados para capacitar a su sistema, piense en lo difícil que sería contar con mecanismos de auditoría para hacer un seguimiento de lo que ocurrió al tomar una decisión.

Si no está utilizando un proveedor, pero elige construir algo en la empresa, debe decidir si únicamente debe explicar qué procedimientos va a utilizar -por ejemplo, qué tipo de datos qué modelos- o si quiere ser capaz de explicar el funcionamiento interno de un modelo matemático.

El lenguaje utilizado en el RGDP implica que el procedimiento requiere explicación. La cláusula 71 señala que "procesamiento justo y transparente" significa auditar cómo se recopilan los datos, mantener los datos precisos, asegurarlos y tomar medidas para identificar y prevenir cualquier efecto discriminatorio. El foco está en la recopilación de datos y la integridad; los modelos estadísticos deben ser "apropiados". Ninguno de estos pasos es trivial, pero a menudo se pasan por alto en los debates sobre las explicaciones porque se presta mucha atención a los algoritmos y los modelos. Por ejemplo, el sesgo puede infiltrarse en un algoritmo en muchos puntos del sistema. Puede que su empresa haya desatendido históricamente a alguna población étnica, así que es posible que haya recopilado pocos datos al respecto. Las comunidades étnicas y demográficas pueden estar estrechamente correlacionadas con los datos de ubicación y esto hace que una variable aparentemente inocua, como la ubicación GPS, sea un proxy para la discriminación étnica. Una vez en funcionamiento, los modelos a menudo encuentran casos límite: situaciones, datos o individuos que no son tan representativos como los datos en los que han sido entrenados. Es importante controlar el sesgo tanto antes como después de que un sistema entre en funcionamiento y tomar las medidas adecuadas para abordar el tratamiento involuntario.

Un tipo de explicación podría basarse en aclarar los resultados que un sistema está diseñado para optimizar. En el ejemplo de un sistema para solicitar un crédito por internet, responsabilizar a un sistema significa supervisarlo para garantizar que las denegaciones no se correlacionen con atributos protegidos, como los antecedentes étnicos. Las limitaciones de este enfoque centrado en los resultados es que hay menos información sobre lo que un individuo tendría que hacer para intervenir y cambiar una decisión en el futuro. Un enfoque centrado en la intervención requiere una idea del funcionamiento interno de un modelo. Por ejemplo: "No es apto porque no ha pagado los últimos tres recibos de alquiler. Si paga los siguientes cuatro seguidos, su puntuación será lo suficientemente alta como para superar nuestro umbral del 75%".

Cuando es importante entender la lógica de un modelo estadístico, enfrentamos diferentes desafíos.

Como indiqué en mi artículo sobre la identificación de oportunidades de aprendizaje automático, los diferentes algoritmos de aprendizaje automático son cada vez más fáciles de explicar. Una regresión lineal de la forma "y = mx + b" no es demasiado difícil de explicar: solo tenemos que rastrear "m" para saber cómo "x" (entrada) se relaciona con "y" (salida). Sin embargo, ¿qué pasa si "m" es una abreviatura de millones de relaciones, definiendo funciones complejas en la arquitectura? Con el aprendizaje profundo, perdemos la capacidad de identificar cómo las entradas se relacionan con los resultados porque la cantidad de variables incluidas y las relaciones entre ellos se vuelven demasiado complejas para describir. Entonces, por ejemplo, una red neuronal profunda puede indicar un 95% de posibilidades de que un individuo deje de pagar un préstamo, pero no puede articular qué aspectos de los datos formaron esa puntuación. Es una solución de compromiso, ya que los algoritmos más complejos desbloquean capacidades que los modelos estadísticos más simples como la regresión lineal no pueden manejar, pero a costa de la capacidad de explicación (también vale la pena recordar que cuando los científicos de datos construyen algoritmos más simples que pueden ser más fáciles de explicar, traen consigo sesgos y suposiciones que influyen en lo que ven en los datos y estos sesgos subjetivos son difíciles de identificar y controlar utilizando la tecnología).

Un último desafío en la explicación es dejar claro para qué se optimiza realmente el modelo. Un cliente ideal para una tarjeta de crédito es aquel que usa con frecuencia la tarjeta que ha solicitado (resultado a largo plazo), no solo la persona que acepta la oferta de la tarjeta de crédito (resultado a corto plazo). Las personas que hacen clic en anuncios de display no suelen ser clientes con un alto valor de por vida y la mayoría de los intentos de marketing digital solo pueden usar datos del clickstream (datos del rastreo de clics) como proxies para ventas directas. Es difícil medir y obtener retroalimentación sobre los resultados a largo plazo, pero estas incógnitas conocidas pueden ser las más valiosas para el rendimiento de un sistema.

Esto puede parecer desalentador, pero si las personas adecuadas formulan las preguntas correctas en el momento adecuado para informar una serie de llamadas de juicio y decisiones, las cosas se vuelven tratables.

Para empezar, las partes interesadas no técnicas involucradas en un proyecto de aprendizaje automático necesitan capacitación para construir intuiciones sobre cómo funcionan los sistemas estadísticos. No necesitan codificar ni ser científicos de datos, pero sí deben apreciar que los sistemas de aprendizaje automático producen correlaciones de salida y no causas. Deben apreciar que un grupo minoritario que no está bien representado en un conjunto de datos puede recibir un tratamiento injusto de un algoritmo, no por malicia de parte de los científicos de datos, sino porque los modelos tienden a aprender relaciones que ayudan a predecir grandes partes de la información de los conjuntos de datos, a expensas de la precisión con respecto a ejemplos menos representados.

Después, durante las discusiones previas al proyecto, un grupo diverso de partes interesadas del negocio, ciencia de datos, IT, privacidad y cumplimiento debe tener un lugar en la mesa (las empresas también deberían considerar explícitamente el papel de alguien para cuestionar el algoritmo, como los "equipos rojos" que a veces se utilizan en la toma de decisiones de alto riesgo). Es importante aclarar los requisitos normativos o los riesgos éticos antes de comenzar cualquier trabajo para evitar hundirse en gastos de aplicaciones interesantes que no cumplirán con los requisitos de las nuevas regulaciones como el RGDP o arriesgarse a denigrar la confianza del consumidor.

Estos grupos de diseño multifuncional deberían considerar preguntas como:

¿Qué tipo de responsabilidad importa para el caso de uso? La explicación no siempre es importante. Por ejemplo, si un bufete de abogados utiliza el aprendizaje automático para encontrar documentos relevantes para un caso, lo importante es que no se pierda algo importante, sin explicar por qué un documento es relevante y otro no. Aquí la métrica correcta para que los científicos de datos se centren se conoce como "recuperación", la fracción de instancias relevantes que se han recuperado sobre la cantidad total de instancias relevantes, a través de un conjunto de documentos. El equipo de ciencia de datos debe integrar esto en las pruebas de modelo y los procesos de aseguramiento de calidad.

¿Dónde se ubica un modelo particular de aprendizaje automático en todo el proceso comercial? Un analista de negocios debe planear el proceso comercial de punta a punta. A menudo, un proceso en realidad incluye muchos modelos de aprendizaje automático con diferentes requisitos de explicación. Por ejemplo, un banco que utiliza el aprendizaje automático para adquirir nuevos clientes para una tarjeta de crédito tendrá al menos dos modelos: uno para evaluar el riesgo y aprobar la tarjeta (que requiere una mayor capacidad de explicación) y otro para predecir la propensión a convertir y personalizar las ofertas (que requiere menor explicación). Las funciones de cumplimiento deben de informar a los analistas comerciales de los requisitos normativos en cada fase del proceso comercial y los científicos de datos deben de tener en cuenta estas restricciones en lugar de seleccionar solo la técnica de aprendizaje automático que tenga el mejor rendimiento en una tarea.

¿Qué procesos usaremos para gobernar los resultados? Los sistemas de aprendizaje automático son herramientas de optimización y una forma de gobernarlos es pasar de explicar qué características de los datos condujeron a qué resultados, a declarar una política de alto nivel sobre los resultados deseados y hacer que los sistemas rindan cuentas para lograr esa política. Aquí, los científicos de datos deberían tener la responsabilidad de evaluar sus modelos para detectar sesgos hacia tipos de datos confidenciales, como el género o el origen étnico, durante la etapa para asegurar la calidad y después de que el modelo se active. Los sistemas estadísticos funcionan bien en el medio de la curva de campana, donde tienen una gran cantidad de datos, pero pueden producir resultados inesperados en casos menos representados o en comportamientos nuevos. Se debe responsabilizar a alguien para que audite y monitoree el desempeño del modelo a lo largo del tiempo e identifique cualquier acción contra la política comercial. Los equipos técnicos, comerciales y de cumplimiento deben reunirse periódicamente para revisar el desempeño y ajustar el modelo para lograr resultados justos. La empresa debe documentar la frecuencia con la que se actualizan los modelos y contar con un proceso para comunicar cómo afecta las predicciones y cualquier cambio en los consumidores afectados por el sistema.

Gran parte de la conversación sobre explicabilidad e interpretabilidad se enfoca estrechamente en el funcionamiento interno de los modelos de aprendizaje automático. Esto tiene como consecuencia el miedo a las cajas negras o argumentos retóricos de que los humanos no son mejores para explicar su comportamiento y decisiones que la máquina más simple. Para que las empresas tengan éxito con el aprendizaje automático, tienen que dar un paso atrás y analizar el problema, teniendo en cuenta el impacto de los sistemas de manera integral y reflexionando críticamente sobre lo que conlleva la responsabilidad significativa para diferentes casos de uso. En algunos casos, los individuos necesitarán explicaciones más directas, ya sea por comodidad psicológica (ser diagnosticados con cáncer) o para intervenir para cambiar un resultado (modificar acciones para obtener un préstamo de vivienda en el futuro después de que se haya denegado). No obstante, hay muchos procesos que se pueden gobernar estableciendo políticas para los resultados deseados, supervisando los resultados para rastrear las discrepancias y actualizando los modelos o los procedimientos de recopilación de datos para mejorar los resultados futuros. Tener claro lo que importa y hacer juicios sobre la cantidad de errores que una empresa puede aceptar es la habilidad que los líderes empresariales deben desarrollar.