¿Cuál es / son los métodos para iniciar / elegir filtros en redes neuronales convolucionales?

Derivaciones matemáticas que predicen la cantidad de linealidad de la tasa de aprendizaje.

El problema inherente deriva de la complejidad de la tarea.

Estamos atacando el problema en el asunto equivocado.

La gente asume que tenemos la matriz básica, y que es de allí de donde debemos derivar nuestras funciones. No hagas esto.

El problema es que las redes neuronales difieren inherentemente en el método de aprendizaje, en el método de aplicación en términos de análisis vectorial, corrientes de tiempo y lo que no.

Esto significa que está intentando aplicar una solución de “talla única” a un problema de gradiente importante.

Para empezar, el aprendizaje automático y el aprendizaje traductivo es para construir bases de datos que identifiquen cómo estamos progresando en ese frente.

El problema adicional es similar a lograr tasas de activación neural en una cuestión óptima.

Todo se reduce a cuál es su prioridad.

Del mismo modo que no puede decir: “¿Por qué no puedo simplemente normalizar una matriz para tener en cuenta todas las posibilidades de una imagen?”: Debe derivar una función que aumente la optimización para ese modelo específico y esa subsección específica.

La correlación inherente se deriva del hecho de cómo analizamos en Vectores, cómo analizamos la información y cómo propagamos esos avances hacia la red.

Déjame tomar un eufemismo:

Estoy montando una bicicleta (¿Qué bicicleta? ¿Monociclo? ¿Ruedas? ¿Cuatro ruedas? ¿Motodriven? ¿Vespa? ¿Motocross? ¿Bicicleta de montaña?)

Va rápido (¿Qué tan rápido? ¿Qué terreno? ¿Cuál es la capacidad inherente de la bicicleta? ¿Qué ruedas tengo?)

Al igual que en el ejemplo anterior, NO PODEMOS, simplemente hacer la pregunta, de “¿cómo manejo mejor la bicicleta?” O “voy más rápido”.

Para empezar, eso es ignorar cada gradiente del problema y pensar que podemos abarcar una función completa para derivar cómo aplicar las matrices y la normalización y la zancada, etc.

En cambio, deberíamos analizar el problema y ver si podemos abstraer fragmentos.

Similar a encontrar el algoritmo para resolver estructuras curvas generales, similar a encontrar el algoritmo para resolver paletas de colores.

Entonces, podríamos converger todo eso en un modelo de patchwerk donde tengamos todo trabajando en conjunto.

Sin embargo, los problemas se están resolviendo, mientras hablamos.

La gente de google y de lo contrario, están trabajando en ello.

¿Yo? Solo soy un chico al azar.

En lo que respecta al número de filtros, en última instancia depende de la parte de ajuste de hiperparámetros y no hay una regla estricta para esta parte.

Solo puedo describir cómo se puede elegir el tamaño, el relleno y la zancada de un filtro / núcleo en una CNN.

La regla es:

(N – F) / zancada + 1 = Número entero

N: tamaño de la entrada 2D cuadrada como en NxN, por ejemplo. Imagen
F: Tamaño de filtro / núcleo como en FxF

(N – F) / zancada + 1 parte siempre debe ser igual a un número entero

Una cosa más a tener en cuenta es que no importa el tamaño espacial de su filtro / núcleo, la profundidad siempre debe ser igual a la profundidad de entrada.

Entonces, si la entrada es 32x32x 3, el tamaño del filtro / núcleo puede ser (por ejemplo, stride = 1):

• 3x3x 3
• 5x5x 3
• …

En lo que respecta al relleno, se introduce para preservar la forma general de la entrada a medida que profundizamos en la capa.

Generalmente hacemos cero relleno alrededor de la entrada 2D de la siguiente manera:

(F – 1) / 2 = tamaño de relleno

Entonces, el posible relleno puede ser:

• F = 3 => cero pad con 1
• F = 5 => cero pad con 2
• F = 7 => cero pad con 3

¡Espero que esto ayude!

El núcleo normalmente se inicializa a partir de una distribución aleatoria, centrada en cero y se tiene cuidado con la elección de su varianza.

Propiedades clave:

1. ¿Por qué no inicializar a cualquier valor fijo ? Un concepto importante aquí se llama ruptura de simetría. Si todas las neuronas tienen los mismos pesos, producirán la misma salida y no aprenderemos características diferentes. Entonces, la inicialización aleatoria nos permite aprender un conjunto de características rico y diverso.
2. ¿Por qué significa cero ? Una práctica común en el aprendizaje automático es un centro cero o normalizar los datos de entrada, de modo que las características de entrada sin procesar tengan un promedio de cero
3. ¿Cómo seleccionar la varianza ? Debe seleccionar la varianza desde la mitad de los valores extremos. No desea elegir un valor muy alto, ya que en las redes profundas los pesos extremos pueden dar como resultado salidas de activación que aumentan exponencialmente en magnitud y tampoco desea elegir que sea pequeño, ya que ralentiza el aprendizaje de la tasa de aprendizaje

Nunca he visto ningún recurso que explique esto, excepto el CS231n de Stanford. Andrej explicó esta regla muy bien. Como noté que alguien ya había escrito eso, me estoy saltando. Le recomiendo que complete cs231n si está trabajando en CNN.

Agregado, en realidad no hay ningún método para hacerlo. Se toma de manera bastante intuitiva, configurando su filtro, para que pueda cubrir toda la entrada de la misma manera. Dicho esto, este tamaño de filtro depende del tamaño de entrada y los pasos que use durante el diseño de su arquitectura. Sin embargo, Andrej formó una ecuación para determinar el tamaño también. Espero que esto ayude. Si necesita un enlace de cualquier recurso que mencioné, comente a continuación.

Gracias.