Claves para aprender a confiar en los modelos de inteligencia artificial

Nov 10, 2021 | Inteligencia artificial

This story is a condensed version of one produced Inviso by Devoteam.

La inteligencia artificial es una herramienta de amplio alcance que permite a las personas repensar cómo integramos la información, analizamos los datos y usamos los conocimientos resultantes para mejorar la toma de decisiones, y ya está transformando todos los ámbitos de la vida. Sin embargo, aún hay mucha resistencia y desconfianza cuando se trata de aplicarla en nuestros procesos empresariales.

Así como la confianza debe establecerse en nuestras relaciones personales y comerciales, también debe establecerse entre un usuario de inteligencia artificial y el sistema. Las tecnologías transformadoras, como los vehículos autónomos, serán parte de nuestro día a día solo cuando haya métodos claros y puntos de referencia para establecer la confianza en los sistemas de AI. Teniendo esto en mente te compartimos las claves que DataRobot ha definido para crear una relación de confianza con esta tecnología.

Dimensiones de la confianza

El concepto de confianza en un sistema de IA se organiza en tres categorías principales: 

  • Rendimiento de un modelo de inteligencia artificial y aprendizaje automático. 
  • Operaciones de su sistema de inteligencia artificial
  • Ética de su flujo de trabajo, tanto para diseñar el sistema de inteligencia artificial como sobre la manera en que se utiliza para informar su proceso empresarial.

En cada una de estas tres categorías, identificamos un conjunto de dimensiones que ayudan a definirlas de manera más tangible. La combinación de cada dimensión de manera integral constituye un sistema en el que puede ganarse la confianza del usuario.

Claves para confiar en el rendimiento

Cuando se trata de evaluar la confiabilidad de los sistemas de inteligencia artificial, observamos múltiples facetas del desempeño. Todos sirven para responder la pregunta: «¿Qué tan bien puede mi modelo hacer predicciones basadas en datos?». En cuanto al desempeño, las dimensiones de confianza son las siguientes:

Calidad de los datos: el rendimiento de cualquier modelo de aprendizaje automático está íntimamente ligado a los datos sobre los que fue entrenado y validado. Entonces, DataRobot recomienda hacerse las siguientes preguntas: ¿qué recomendaciones y evaluaciones puedo utilizar para verificar el origen y la calidad de los datos utilizados? ¿Cómo puedo identificar brechas o discrepancias en los datos para ayudar a construir un modelo más confiable?

Precisión: se refiere a un subconjunto de indicadores de desempeño del modelo que miden los errores agregados de un modelo de diferentes maneras. Es multidimensional, por lo que para comprender la precisión de manera integral, debes evaluarla a través de múltiples herramientas y visualizaciones.

Velocidad: para el rendimiento del modelo de inteligencia artificial, la velocidad se refiere al tiempo que lleva utilizar un modelo para puntuar una predicción. La velocidad de la puntuación del modelo impacta directamente en cómo se puede utilizar en un proceso empresarial. ¿Qué tan grande es el conjunto de datos? ¿Con qué frecuencia se ejecuta el proceso, mensual o diariamente? ¿Qué tan rápido se requiere una predicción? Todas estas variables juegan un papel en la determinación de la priorización de velocidad y precisión.

Estabilidad: ¿cómo te puedes asegurar de que tu modelo se comporta de manera coherente y predecible cuando se enfrenta a cambios o desorden en los datos? Probar tu modelo para evaluar su reproducibilidad, estabilidad y solidez es una parte esencial de la evaluación general.

Claves para confiar en la operaciones

Las mejores prácticas en torno al funcionamiento de un sistema, o sea, en cómo el software y las personas que interactúan con un modelo, son tan fundamentales para su confiabilidad como el diseño del modelo en sí. En las operaciones, estas son las dimensiones de la confianza:

Cumplimiento: generalmente hay tres dominios en los que se debe establecer la gestión de riesgos del modelo y el cumplimiento normativo: desarrollo, implementación y uso del modelo. La documentación sólida a lo largo del flujo de trabajo de modelado de un extremo a otro es uno de los mayores facilitadores del cumplimiento.

Seguridad: se analizan o transmiten grandes cantidades de datos confidenciales con sistemas de inteligencia artificial. Existen estándares independientes e internacionales, como ISO 27001, para verificar el funcionamiento de un sistema de gestión de seguridad de la información.

Humildad: una predicción de inteligencia artificial es fundamentalmente probabilística. Por lo tanto, no todas las predicciones del modelo se realizan con el mismo nivel de confianza. Reconocer y admitir la incertidumbre es un paso importante para generar confianza.

Gobernanza y supervisión: la gobernanza en IA es parte de la infraestructura formal para gestionar la interacción hombre-máquina. Para comenzar a confiar, es fundamental que exista un sistema claro de supervisión, responsabilidad y redundancia, incluida la supervisión conjunta y la colaboración de tus especialistas en tecnología de la información, científicos de datos y usuarios comerciales.

Reglas comerciales: saber cuándo y cómo una empresa debe usar un modelo de inteligencia artificial y generar información sobre la certidumbre del modelo también puede contribuir a la confiabilidad.

Claves para confiar en la ética

Los sistemas de inteligencia artificial y los datos que utilizan pueden tener un impacto en todo el mundo. Es importante que reflejen los valores de múltiples partes interesadas con diferentes perspectivas. Las dimensiones de la confianza en la ética son:

Privacidad: la privacidad individual es un derecho fundamental, pero también se complica por el uso y el intercambio de datos. El primer paso es comprender qué tipo de datos se pueden definir como información de identificación personal. Las mejores prácticas en seguridad de la información deben adoptarse e incorporarse en cualquier sistema.

Sesgo y equidad: comienza con la comprensión de lo que significa que un modelo de IA esté sesgado. Lo siguiente es comprender de dónde vino ese sesgo. La mayor fuente de sesgo en un sistema de inteligencia artificial son los datos con los que se entrenó. 

El aprendizaje automático aprende de los datos, pero esos datos provienen de nosotros, nuestras decisiones y sistemas. Entonces, comprender cómo medir el sesgo se vuelve importante y, en última instancia, brinda oportunidades para mitigar los problemas de sesgo descubiertos.

Claridad y transparencia: ¿cómo pueden dos propiedades vinculadas facilitan la creación de un entendimiento compartido entre aquellos encargados de tomar decisiones, sean humanos y mecánicos? La claridad es una de las formas más intuitivamente poderosas de generar confianza entre un usuario y un modelo. Ser capaz de interpretar cómo funciona el modelo y tomar decisiones es un activo importante para su evaluación final.

Impacto: cuando evalúa el valor real que el aprendizaje automático agrega a un caso de uso, una evaluación de impacto es una herramienta poderosa. Incluso puede revelar el verdadero impacto que tiene un modelo en tu empresa y en las personas implicadas en él.

No existe un estándar ético universalmente acordado que pueda anticipar y evitar todos los problemas que el desarrollo y uso de un sistema de inteligencia artificial envuelve. Pero, con previsión y comprensión de las dimensiones y claves de la confianza, los sistemas de AI que reflejan nuestros valores y merecen nuestra confianza son posibles.