Otras respuestas aquí han señalado interpretaciones de la seguridad como un problema de aprendizaje automático / IA, y ejemplos concretos de tales métodos utilizados para la seguridad. Me tomaré un momento para señalar las limitaciones del aprendizaje profundo para ayudar en algunas configuraciones de seguridad.
Como se discutió en el documento Can Machine Learning Be Secure, algunos tipos obvios de comportamiento adversario presentan serios problemas para los métodos de aprendizaje automático. Si el modelo de aprendizaje profundo es un clasificador que etiqueta alguna representación de las acciones del usuario como “segura” o “maliciosa” y está capacitado en datos públicos o fuentes posiblemente no confiables, los posibles atacantes podrían aportar datos donde la entrada son las acciones maliciosas que pretenden hacer y la “verdad fundamental” (terminología irónica en este caso) es la etiqueta de que es “seguro”. Sin embargo, como lo demuestra el documento, una buena regularización a la antigua es una contramedida a tales “ataques causales” (un modelo sobreajustado contorsionará su límite de decisión para incorporar ejemplos sorprendentes (y en nuestras preocupaciones posiblemente no veraces), pero un modelo regularizado será menos sensible a los valores atípicos).
De acuerdo, entonces tal vez confíes en tus datos, ¿los métodos de aprendizaje profundo ahora son seguros? Pensemos en las acciones que los usuarios pueden tomar como R ^ n para los propósitos de este párrafo. Una segunda clase de ataques que este documento considera son los ataques exploratorios que intentan identificar partes de la superficie de decisión, con la esperanza de que aunque el subespacio de acciones presuntamente maliciosas contenga mucho de lo que les gustaría hacer, existe una intersección de presumiblemente seguro y realmente malicioso cerca del límite de decisión. Esto sería simple de hacer si los atacantes conocieran los parámetros de su modelo (para ver ejemplos de uso de la propagación hacia atrás para generar ejemplos adversos en la visión por computadora, consulte https://arxiv.org/pdf/1312.6199.pdf ). Esto puede ser un desafío si los parámetros se mantienen ocultos (este es el enfoque recomendado por Can Machine Learning Be Secure), pero si el sistema de seguridad proporciona comentarios, entonces pueden hacer una búsqueda informada de la superficie de decisión. Para algunas configuraciones de seguridad, como la autenticación, se debe informar al usuario si se le ha dado acceso, por lo que es imposible ocultar la información completa. Dependiendo de la aplicación de seguridad, la definición de “seguro” y “malicioso” puede incluso ser algo subjetiva, por lo que no hay razón para pensar que su modelo no tendrá una gran cantidad de puntos débiles reconocibles. Una medida práctica es tratar de limitar la cantidad de comentarios, pero en algún momento tales limitaciones basadas en la seguridad se vuelven molestas.
A pesar de estas reservas, el aprendizaje automático aún puede ser excelente para la seguridad en la práctica. A medida que se recopilan más datos sobre el mundo, dichos métodos de aprendizaje automático pueden comenzar a superar a los enfoques deterministas, interpretables, basados en políticas o basados en la confianza humana. Tal vez ya lo hacen. No lo sabría: estoy mucho más interesado en el aprendizaje automático que en la seguridad.
