Optimización convexa – Página 2 La tecnología cambia la vida futura

¿Cuáles son las desventajas de tener un tamaño de paso constante para el Descenso de gradiente estocástico?

Desafortunadamente, el uso de tamaños de paso constantes en el descenso de gradiente estocástico (SGD) generalmente no garantiza la convergencia al óptimo incluso para objetivos agradables (por ejemplo, suave y fuertemente convexo), ya que el ruido de los…

¿Cuál es la diferencia entre la deserción y la normalización de lotes?

La deserción es principalmente una técnica de regularización. Introduce el ruido en una red neuronal para obligar a la red neuronal a aprender a generalizar lo suficientemente bien como para lidiar con el ruido. (Esta es una gran…

¿Cuándo las funciones coercitivas tienen un minimizador?

Siempre [1]. La idea es considerar una secuencia de bolas de radios crecientes, digamos [math] a_i = i [/ math]. Deje que [math] \ bar B (r) = \ {x \, | \, \ lVert x \ lVert…

¿Cuál es mejor LMS o descenso más empinado?

Hola, Siento que un LMS es una mejor opción. Para las empresas que desean incorporar un nuevo programa de capacitación, las ventajas de un LMS son muchas. El avance y la eficiencia son extremadamente importantes para las empresas…

¿La normalización por lotes ayuda con las funciones de activación de ReLU?

Las ReLU no son transformaciones lineales. De hecho, la razón principal por la que existen funciones de activación es hacer posible que una red neuronal capture relaciones no lineales en los datos. Esta es la razón por la…

¿Cuál es la diferencia entre el descenso en gradiente y el descenso coordinado?

EDITAR: Me di cuenta de que leí totalmente la pregunta equivocada, pensando que descenso versus ascenso, de todos modos, sigue una respuesta actualizada. El descenso de gradiente vs el descenso de coordenadas son dos algoritmos simples para la…

¿Cuál es una buena fuente para aprender la optimización convexa?

Estoy aprendiendo la optimización convexa en este semestre y realmente quiero recomendar algunos recursos. Primero, recomiendo los videos de Convex Optimization 1. El Prof. Stephen Boyd acaba de enseñar el contenido más importante del libro Convex Optimization de…

¿Puedo aproximar la función del indicador por un sigmoide para hacer que mi función objetivo (no convexa) sea diferenciable?

Es el que se usa con más frecuencia. Sí, ajustar el parámetro es complicado, pero a menudo no importa tanto. Una diferencia clave a tener en cuenta es que las predicciones serán probabilidades entre cero y uno, mientras…

¿El descenso de gradiente de lote completo, con potencia de computadora ilimitada, es siempre mejor que el descenso de gradiente de mini lote?

Si interpreto “mejor” en su pregunta como “convergiendo más rápidamente y / o a mínimos mejores”, entonces hace una pregunta interesante y bien planteada para la cual la literatura de aprendizaje automático tiene algunas respuestas. Su idea de…

En el aprendizaje automático, ¿cómo estima el descenso de gradiente la pendiente de la función de pérdida en un punto dado?

Exactamente de la misma manera. La función de pérdida está dada. De hecho, lo elegiste. En el caso del error cuadrático medio (MSE), se parece mucho al ejemplo que dio, pero posiblemente con una regla de cadena muy…