Si tiene un objetivo simple con solo unas pocas variables, puede aplicar algunas reglas de análisis convexo de libros de texto para probar / refutar la convexidad.
Las pruebas de convexidad para una función grande y arbitraria generalmente no son triviales.
Una prueba de convexidad es verificar la función de Hesse. Una función continua, dos veces diferenciable es convexa si su arpillera es semidefinida positiva en todas partes en el interior del conjunto convexo.
- ¿La normalización por lotes ayuda con las funciones de activación de ReLU?
- ¿Cuál es la diferencia entre Numpy y TensorFlow?
- ¿Cómo debo representar las características para la clasificación de texto?
- ¿Cuáles son las mejores técnicas para crear vectores de oraciones para el procesamiento del lenguaje natural?
- ¿Qué conocimientos de matemática / estadística y CS debo dominar (no matemático / stat / CS, pero graduado en ingeniería) para carrera / investigación en aprendizaje automático?
El problema está en todas partes: a menos que la expresión algebraica para los elementos de Hesse tenga ciertas propiedades que garanticen una definición positiva (por ejemplo, elementos cuadrados, valores propios positivos, principales principales positivos, etc.) en todas partes del interior del conjunto, es casi imposible garantizar la convexidad. . Además, calcular un Hessian algebraico puede ser computacionalmente costoso para sistemas más grandes (con muchas variables).
(Por otro lado, si solo puede un punto donde el Hessian es definitivo no positivo, sabrá que su función no es convexa).
Ha habido algún trabajo sobre evaluación de convexidad computacional por D. Orban en la Universidad de Montreal. Esto se implementó en un metasolver llamado DrAmpl, que utiliza un montón de métodos para probar (y refutar) la convexidad de un modelo:
Dr. Ampl
Hay un documento que describe los métodos aquí:
http://www.mat.univie.ac.at/~her…
Solía trabajar con modelos a gran escala que tenían expresiones objetivas y restrictivas arbitrariamente complicadas, y nunca pude probar / refutar definitivamente la convexidad. Así que los resolví tratándolos como sistemas no convexos, renunciando a cualquiera de las buenas garantías que venían con la convexidad.
Si sus modelos tienen mejores propiedades, puede tener una mejor oportunidad de probar / refutar la convexidad que yo.
