¿Qué tan importante es la interpretabilidad para un modelo en Machine Learning?

Para asegurarnos de que estamos de acuerdo con la pregunta primero, uno debe indicar qué es la interpretabilidad. ¿Qué es la “interpretabilidad”?

¿Crees que los árboles de decisión son interpretables y las redes neuronales no lo son totalmente? ¿Pero por qué? Tratemos de precisar la razón para asegurarnos de que no se trata solo de razones históricas por las cuales los árboles de decisión se conocen desde hace más tiempo.

¿Es la interpretación lo fácil que un humano puede adivinar lo que será una predicción con solo mirar el modelo? Bueno, en ese caso todos los modelos pierden. Incluso con un árbol o reglas de decisión de complejidad media, puede tener efectos de onda / cascada y de repente su punto de datos toma un giro diferente y termina en una clase completamente diferente.

¿Es la interpretabilidad lo fácil que es describir el modelo? En ese caso, muchas redes neuronales bastante buenas son perfectamente interpretables. Me refiero a que simplemente multiplica los números seleccionados, suma el resultado y redondea a cero si obtienes números negativos. Siempre haces eso en números de la capa anterior. Realmente, es tan fácil como eso (cuando aplica un modelo entrenado). OK, hay muchos parámetros, así que solo mantén una tabla de búsqueda a tu lado. Por lo tanto, describir el modelo es fácil, y un niño pequeño y talentoso que conoce la aritmética y acaba de comenzar la programación podría implementar esto dados los parámetros de una red capacitada. Así que describir el modelo tampoco es difícil.

¿Es la interpretabilidad cuánto tiempo le toma a un humano verificar la predicción del modelo a mano? En ese caso, las redes neuronales pierden, pero ¿por qué el tiempo de verificación personalizado humano sería relevante? En particular, dado que un humano probablemente cometería errores ocasionales al aplicar incluso modelos simples de todos modos.

En la industria a menudo resulta que “interpretable” significa “un modelo que aprendí hace diez años”. Muy a menudo regresión logística, a pesar de que muchas de esas personas no tienen idea de lo que realmente hace. Esto no parece una buena definición.

Algunas investigaciones intentan resolver la interpretabilidad haciendo declaraciones sobre las propiedades de los modelos locales en torno a una predicción particular. Pero primero, esto está relacionado con una predicción particular y dice poco sobre el modelo global, y segundo, ¿cuál es el valor de estas consideraciones locales? Dado el espacio abstracto hiperdimensional y una interpretación arbitraria de distancias basadas en coordenadas no homogéneas, puedo falsificar cualquier afirmación que desee y hacer gráficos de dependencia sofisticados. Eso no dice mucho. Eso es solo poner una segunda caja negra al lado de la primera.

Lo más cercano que veo a la “interpretabilidad” es un modelo de parámetro muy bajo que ofrece garantías presentes en un modelo más complejo. Por ejemplo, como decir “esta red neuronal nunca producirá ‘sí’ si esta variable x34 es menor que 100”.

En ese sentido, la “interpretabilidad” es muy importante: solo piense en ejemplos adversos en el reconocimiento de imágenes, automóviles autónomos y accidentes pasados. Tal vez eso no pueda resolverse fácilmente con garantías, pero muestra que algunas regiones de hiperplano de predicción segura serían buenas.

Considerablemente menos importante de lo que la mayoría de la gente piensa.

¿Qué tan importante es la interpretabilidad de su taxista?

Creo que la interpretabilidad es importante, pero no creo que deba retrasar la adopción del aprendizaje automático. Las personas tampoco son muy interpretables, porque realmente no sabemos qué están haciendo nuestros cerebros. Hay mucha evidencia en la literatura de psicología de que las razones que damos por las que decidimos hacer las cosas no son la verdadera razón. Para un libro realmente bueno sobre este tema, recomiendo The Illusion of Conscious Will, que trata sobre cómo pensamos que nuestras vidas son controladas por nuestras mentes conscientes, pero en realidad muchas de nuestras decisiones son impulsadas por procesos subconscientes. Incluso hay experimentos en los que las decisiones de una persona están controladas por una máquina TMS, pero la persona siente que sus decisiones se tomaron libremente.

Desde este punto de vista, el aprendizaje automático nos brinda la oportunidad de tomar decisiones verdaderamente interpretables y explicables por primera vez, porque tenemos acceso a la descripción completa del modelo.

Es una de las muchas compensaciones que tiene que hacer, y en la mayoría de los casos es un factor bastante importante, especialmente los resultados conducen a decisiones consecuentes que las personas razonables pueden objetar y exigir una explicación.

• Diagnostico medico
• Rechazo de reclamos de seguro
• Solicitudes de hipoteca / préstamo

No hacerlo puede ponerlo en una situación difícil si lo demandan.

Incluso si las decisiones involucradas son solo para fines internos, todavía está solicitando algunos recursos para financiar su proyecto, entonces las personas que controlan el dinero probablemente sabrán cómo funciona antes de aprobar el financiamiento. El nivel de explicación que necesita dar difiere de una organización a otra, y una explicación que puede salirse con la suya en Google probablemente no sea la misma en, digamos, GM.

Si debe proporcionar un modelo altamente explicable, eso descartaría por completo algunos algoritmos, como las Redes Neuronales Artificiales.

La interpretabilidad del modelo es una de las muchas compensaciones y es muy importante tomar la decisión correcta. Escribí una publicación de blog sobre por qué Netflix no podía usar la solución ganadora del Premio Netflix y era completamente una cuestión de esta compensación.

El Premio Netflix y los sistemas de aprendizaje automático de producción: una mirada privilegiada

Depende de quién lo necesite. Si es una máquina o sistema que lo necesita, en absoluto. Lo que necesitamos de ese modelo es que tenga el mayor poder predictivo posible. Si es un humano, entonces tiene que ser interpretable.

Naturalmente, estoy generalizando modelos no solo como aprendizaje automático sino también cualquier tipo de modelo estadístico o matemático. Esto podría debatirse dependiendo del contexto de su pregunta.

Al final lo que importa es que el modelo se usa para comunicarse de alguna manera. Si creamos un producto de datos para impulsar una solución, rara vez se necesita interpretabilidad (en teoría, nunca). El producto de datos se está comunicando con una entidad o mediante una interfaz que elimina la necesidad de interpretabilidad. Sin embargo, podemos modelar para comunicarnos con seres humanos y los seres humanos tienen un momento muy difícil con las cajas negras. Un resultado sin ninguna información adicional sobre el proceso que lo creó hace que las personas al menos se sientan inquietas, pero con más frecuencia sospechosas.

Estoy totalmente a favor de modelos no interpretables y creo profundamente que la interpretabilidad está muy sobrevalorada, pero esta es una construcción de nuestras propias “limitaciones” y prejuicios humanos. Me tomo muy en serio la interpretabilidad cuando una persona usa el modelo.

La interpretabilidad es importante desde el punto de vista de que nosotros, como desarrolladores, implementadores y custodios de un algoritmo, podemos entender completamente cómo toma decisiones, y podemos entender cómo las personas se ven afectadas por los resultados del algoritmo.

Es importante que los investigadores (especialmente los grandes nombres en ML) resuelvan esto, porque los modelos de caja negra pueden causar estragos cuando se usan incorrectamente. El libro de Cathy O’Neil “Armas de destrucción matemática” ilustra muchas de estas situaciones en las que los modelos o algoritmos matemáticos se han vuelto locos en todo tipo de situaciones.

Podemos analizar exhaustivamente un algoritmo para diferentes casos de entrada, para comprender qué resultados producen. Para algunos algoritmos comunes, también podemos entender cómo funciona el algoritmo. Sin embargo, cuando no podemos probar todos los escenarios posibles de la vida real, tenemos que buscar la interpretabilidad para comprender el rendimiento del algoritmo en escenarios específicos.

En resumen, si no podemos explicar cómo funcionan los algoritmos, podría tener serias repercusiones. El aprendizaje profundo y los paradigmas asociados constituyen precisamente tal situación.

Campo de golf:

Armas de destrucción matemática: cómo Big Data aumenta la desigualdad y amenaza la democracia: Cathy O’Neil: 9780553418811: Amazon.com: Libros

¿Qué tan importante es que un ser humano pueda explicarle completamente cada decisión?

Sería bueno, pero no es realmente necesario para nosotros encontrar a ese humano (o máquina) como un buen compañero.

La interpretabilidad ha sido exagerada. Lo que realmente necesitamos antes de usar un modelo es cierta tranquilidad (estadística) sobre la capacidad general del modelo entrenado (que es lo que el error de prueba y la estimación de la incertidumbre a su alrededor tienen como objetivo hacer).

Dicho esto, creo que deberíamos hacer todo lo posible para descubrir qué está sucediendo dentro de los modelos de aprendizaje automático, porque puede ayudarnos a depurarlos y descubrir sus limitaciones, para así construir mejores modelos.

La idea de modelos más simples o modelos interpretables proviene de la navaja de afeitar de la filosofía de Occam, que establece que “el más simple suele ser una mejor explicación”. ¡Convenido! ¿Pero cuán simple es el mundo que nos rodea y cuán interpretable es en todos los ámbitos de nuestra vida?
Como señalaron otros, en algunos dominios, la interpretación puede ser necesaria por razones legales, por ejemplo, salud o finanzas. Sin embargo, la simplicidad no se traduce en la precisión de un modelo. Como muestran los avances recientes en el aprendizaje profundo, el aprendizaje conjunto y los campos relacionados, si desea que su modelo sea preciso, es posible que tenga que sacrificar la simplicidad a costa de una complejidad adicional. Trabajo en el campo de la salud y sé cuán crítica es la precisión, simplemente porque hay vidas humanas en juego. No me importaría si no puedo interpretar el modelo complejo, pero quiero estar seguro de que las vidas de los pacientes no están en riesgo a costa de la simplicidad. Dicho esto, tampoco me gustaría tener una idea de lo que está sucediendo dentro del modelo. El enfoque de ciencia de datos de caja negra no funcionaría aquí y tendrá repercusiones negativas. Hasta que sepa lo que hace su modelo complejo y tenga una explicación racional y científica de por qué usa este modelo complejo en lugar de ese modelo más simple, debería estar bien.

Mi opinión es diametralmente opuesta a la respuesta de Yoshua Bengio. La interpretabilidad es muy muy importante en campos donde el margen de error es bajo. Por supuesto, desde una perspectiva purista, cuando se enfatiza la interpretabilidad del modelo, se le está dando mucha más importancia a nuestro modelo mental que al modelo que se ha aprendido. Sin embargo, en áreas como las finanzas donde es esencialmente una ciencia social y no hay una razón lógica para que el mañana sea similar a cualquier día pasado, es imperativo que el equipo que usa un modelo lo entienda. De lo contrario, en el comercio, por ejemplo, no podremos apostar ninguna cantidad significativa de dinero.

Por ejemplo, si usted es un administrador de cartera de fondos de capital de riesgo y está considerando invertir, si tiene un modelo que le dice que este no es un buen momento para invertir en billetes de alto tamaño (lo cual es verdad), todavía lo hará. necesita un modelo muy interpretable para explicarle a su jefe por qué está tomando esa llamada.

Depende de dónde se usen estos modelos. Para un modelo de clasificación que identifica caras o clasifica perros, que está envuelto dentro de una aplicación, las personas no buscan la capacidad de interpretación dentro de esos modelos enormes. Lo importante allí es clasificar esas imágenes con alta precisión. La gente usará sus modelos dentro de su aplicación siempre que proporcione una buena precisión.

Pero para los casos de negocios donde los modelos de ML se aplican para dar recomendaciones, ideas y usar predicciones para tomar decisiones, las personas a menudo buscan interpretabilidad. A su cliente generalmente no le gustará si le da algunas predicciones de alta precisión de la nada usando modelos complejos. Siempre buscan personas influyentes, ideas por las cuales los modelos interpretables simples como la regresión logística son los modelos más utilizados en el trabajo para los científicos de datos. (Ref: El estado de ML y Data Science 2017).

La importancia de la interpretabilidad en el aprendizaje automático depende de la aplicación, en particular la dificultad de la tarea predictiva en cuestión (o más específicamente la información mutua entre las entradas y las salidas).

Como Yann Le Cun señaló en su respuesta, la interpretabilidad de su taxista o quizás de su barista de Starbucks puede no ser significativa. Pero tenga en cuenta que ambas tareas tienen una alta información mutua entre sus entradas y salidas, es decir, basándose únicamente en su orden verbal o su destino, la salida de cómo hacer su café o su ruta se puede calcular en un alto grado de confianza.

La interpretabilidad es mucho más importante en tareas como la estimación de puntaje de crédito o el diagnóstico médico en los que la información proporcionada físicamente puede no ser suficiente para proporcionar un diagnóstico preciso o si alguien va a incumplir o no. Esta incertidumbre inherente en los resultados predictivos significa que las personas están obligadas a cuestionar más la predicción y la justificación es más importante.

Como tal, parte de mi trabajo en el campo de la medicina se centra en las capacidades recientemente desarrolladas en las redes de confrontación generativas y sus implicaciones para la interpretabilidad – [1804.04539] Fundamentos visuales generativos

Depende del problema. ** Tienes que ** construir modelos interpretables si estás diseñando soluciones en un entorno altamente regulado como las finanzas o la atención médica. Un modelo que le dice que le niegue un préstamo a alguien, sin decirle por qué, lo deja abierto a demandas. Por otro lado, si está utilizando una red neuronal para reconocer fotos de gatitos, y lo hace con precisión, a nadie le importa un bledo por qué. El siguiente paso para los modelos producidos por ANNs profundos, que no son interpretables en este momento, es resolver la introspección de características. Creemos que esto sucederá a través del trabajo en modelos generativos de confrontación, entre otros enfoques.

Un ejemplo apócrifo (del que he oído muchas variaciones, por lo que probablemente no sea cierto):

El Pentágono quería entrenar una red neuronal para identificar imágenes de tanques escondidos entre árboles, por lo que se alimentaron de una serie de imágenes de árboles con tanques y árboles sin tanques. Funcionó muy bien, al principio. Pero, a medida que seguían probando, la red comenzó a identificar erróneamente las imágenes, básicamente fallando la mitad del tiempo. Nadie estaba seguro de lo que salió mal, hasta que alguien notó que, en el lote de entrenamiento original, todas las imágenes de los tanques se tomaron en un día nublado, y las imágenes de los árboles se tomaron en un día soleado, por lo que la red estaba en realidad entrenado para reconocer el cielo.

Ahora, no creo que esto haya sucedido realmente, pero demuestra algo que sí sucede en el aprendizaje automático real: hay patrones involuntarios en los datos de entrenamiento que son más fáciles de interpretar que la señal deseada, por lo que la red aprende el ruido. Sin interpretabilidad, la única forma de detectar esta situación es mediante pruebas exhaustivas.

Pero … ¿qué tan difícil es atrapar esto, de verdad? ¿Y eso importa? Bueno, eso depende de muchos factores. A veces es importante, a veces no lo es. Y, bueno, esto también pasa mucho con los humanos. Y probablemente sea más fácil de atrapar y corregir en el aprendizaje automático que en una persona.

Pero puede obtener muchas más correlaciones falsas en el aprendizaje automático, ya que puede analizar e interpretar los datos más rápido. Si alguna vez ha tomado una clase de estadísticas, probablemente recordará que gran parte de la clase implica decir cosas como “Este resultado tiene un valor p del 5%”, y si no ha tomado esa clase, eso es básicamente diciendo. “Si nos equivocamos, solo hay un 5% que veríamos estos resultados”. Ahora, en la vida real, espero que no estés satisfecho con un valor p del 5%, pero no es fácil subirlo al 1%. Pero digamos que sí, ¡genial! Entonces, entrena su modelo, y hay 1000 correlaciones diferentes, y ahora puede estar relativamente seguro de que alrededor de 10 de ellas están equivocadas, y no tiene forma de saber cuáles 10.

La interpretabilidad podría ayudar a captar eso, pero ¿quién va a pasar por esas 1000 correlaciones? ¿Y quién podría saber cuál de esas 10 correlaciones está mal? Además, tienes alrededor de 990 buenas correlaciones, y nunca obtendrías muchas sin el aprendizaje automático.

Hay un área donde la interpretabilidad es muy útil: tratar de tomar lo aprendido y usarlo para tomar decisiones creativas o para resolver problemas. Digamos que construyo una red que puede decirme, en función de los correos electrónicos de mis clientes, cuáles son los que probablemente cancelarán su servicio y cuáles permanecerán. Si me dice que es probable que un cliente cancele, puedo concentrar los recursos en ese cliente, pero sin la capacidad de interpretación, no tendré la información necesaria para enfocar mis esfuerzos (porque los clientes a menudo no se comunican bien y las personas no lo hacen). escucha bien). Pero, si la red puede decirme por qué es probable que el cliente se vaya, entonces tal vez pueda encontrar una manera eficiente de mantenerlos.

Entonces, probablemente no respondí la pregunta, pero la única respuesta real es … depende de los detalles de la red y de lo que está tratando de hacer. Muchas veces, no es importante. Otras veces, importante.

A2a. Realmente depende de la aplicación. Si tiene un usuario que se enfrenta al modelo ML, ayuda mucho que sea interpretable [1] ya que el usuario puede desear una razón por la cual se hizo una sugerencia particular. También ayuda mucho a los desarrolladores a depurar el modelo para descubrir los modelos de falla y cómo mejorar el modelo. Esto es más importante en los modelos de producción, ya que siempre puedes descubrir qué nuevas señales agregar. Para los corpus cerrados, como en las competencias académicas o de kaggle, los datos generalmente ya se han limpiado o se han eliminado y cerrado los datos atípicos y los datos incorrectos (por cerrado quiero decir que no se pueden agregar nuevas características desde ‘afuera’), por lo que la interpretación podría ser menos importante.

Notas al pie

[1] Aerosolve: aprendizaje automático para humanos – Airbnb Engineering

Muy. Por razones que otros ya han dicho bastante bien.

Permítanme agregar uno más: es terriblemente fácil disfrazar una agenda personal como “consejo experto”. De alguna manera, cuanto más un modelo, o sus autores, digan “confía en mí”, más hago lo contrario.

Dos viejos dichos vienen a la mente:

“Cuestiona la autoridad (y desconfía de ella)” y,

“Confiar pero verificar.”

No se puede hacer eso si el modelo no puede explicarse por sí mismo.

Permítanme agregar que, para los modelos de aprendizaje automático, esto se extiende al conjunto de datos subyacente, el algoritmo de aprendizaje y los procedimientos de validación. Con situaciones complejas, con demasiada frecuencia uno se enfrenta al caos (las cosas realmente no son predecibles), el sesgo de confirmación (ver lo que busca) y la manipulación directa para proporcionar resultados sesgados.

Advertencia Emptor.

Varía, siempre es una bonificación y, a veces, el requisito principal.

En algunos casos, el modelado es solo una herramienta para explicar los datos y ayudar a los humanos a tomar decisiones que no se basan directamente en el puntaje producido por el modelo.

Un modelo lineal / logístico ayuda a mostrar la importancia variable de una manera comprensible. Un árbol pequeño o una tabla de decisiones pueden mostrar interacciones interesantes. En muchos casos, esto es mucho más importante que recordar precisión o RMSE.

En otros casos, la interpretabilidad es un extra sobre el modelo mismo. Un modelo interpretable que tiene sentido es mucho más confiable que uno opaco. Y no solo para usuarios de negocios que no tomarán decisiones millonarias solo porque la computadora lo dijo. Los científicos de datos inteligentes saben que podrían haber cometido cualquier número de errores en la recopilación o el modelado de datos, lo que provocaría que el modelo se evaluara bien pero fallara en la producción. Los modelos interpretables simples que tienen sentido son una excelente protección contra muchos posibles problemas.

En otros casos, el modelo impulsa las decisiones de la computadora y la precisión del modelo es el rey. Si cada fracción de un por ciento vale millones de dólares, la interpretabilidad de los últimos pasa a un segundo plano. Especialmente cuando podemos probar fácilmente el modelo con datos nuevos y pruebas A / B contra otros modelos. En esos casos, podemos confiar mucho en el modelo sin comprender el cuadro negro.

La mayoría de los sistemas de IA actuales se utilizan para resolver tareas simples, como clasificar si una imagen contiene un gato o no, traducir una oración de un idioma a otro, reconocer palabras de señales acústicas. Realmente no nos importa mucho si tales sistemas de IA son interpretables o no. Sin embargo, esperamos algún día crear agentes de IA que puedan resolver tareas que son mucho más complicadas que las mencionadas anteriormente. Creo que a medida que aumenta la dificultad de las tareas que resuelve un agente de IA, también aumenta la necesidad de que dichos agentes de IA sean más interpretables.

Digamos que diez años en el futuro creamos médicos de IA que pueden examinar su MRI / rayos X y predecir si necesita someterse a algún procedimiento médico. No sé sobre usted, pero no confiaría en un médico de IA si no pudiera explicarme por qué necesito someterme a algún procedimiento.

Creo que es improbable que haya una mejor respuesta para esta pregunta, pero en mi opinión, cuanto más se puede entender el modelo en cuestión (y el problema está tratando de resolverlo), más fácil es mejorarlo. Por lo tanto, diría que los modelos interpretables son bastante importantes, de lo contrario, es difícil saber si estamos utilizando el modelo óptimo o si entendemos algo que nuestro modelo está haciendo.

Pero … hay evidencia de que los modelos “interpretables” tienen más dificultades para hacerlo tan bien que algunos “no interpretables”, donde interpretables y no interpretables me refiero como modelos generativos y modelos discriminativos en este párrafo. Los modelos generativos son generalmente fáciles de interpretar porque uno elige la distribución exacta y el modelo que se supone sobre el mundo. Los modelos discriminativos generalmente solo aprenden el límite discriminativo que funciona mejor como sea posible. Creo que Andrew Ng y Michael Jordan hablan de eso:

http://ai.stanford.edu/~ang/pape …

Entonces la respuesta no es sencilla. Por un lado, los modelos interpretables son más fáciles de mejorar por lo general (ya que uno puede vislumbrar lo que podría estar pasando), pero podría ser posible que los no interpretables sean mejores en la práctica (desafortunadamente diría … o quizás afortunadamente porque hay es algo que no entendemos acerca de ellos y hay más áreas de investigación que? Tal vez).

Okay. Rastrillaré el cebo. Hay una frase atribuida al famoso físico soviético Lev Landau: “si no puedes explicarle a un alumno de cuarto grado en qué estás trabajando, eres un charlatán”. La interpretación es muy importante, para evitar ser considerados charlatanes.