¿Qué necesito, como principiante, para comprender y construir un modelo generativo como WaveNet?

Los modelos pueden considerarse como una evolución. Cada uno se basa en el trabajo y la investigación de esfuerzos anteriores para modelar cosas diferentes. A medida que los modelos se construyen y desarrollan, se expanden en el trabajo de otros modelos. Similar a cómo se desarrollan los lenguajes de software. No comenzamos con C ++, ni siquiera comenzamos con básico. Entonces, usando esa mentalidad, realmente necesitas estudiar los fundamentos. Lea todo el trabajo en cada nivel hasta que comprenda la programación y los procesos de flujo y luego pase al siguiente nivel hasta que lo entienda. Luego, una vez que haya trabajado todo el camino hasta los modelos de generación actual, comienza la parte difícil. Debe estudiar el hardware actual, teniendo en cuenta los desafíos y las soluciones que se desarrollaron con todos los demás modelos que ha estudiado, y aplicar esas lecciones a su nuevo modelo.

El propósito de un modelo en general es facilitar una tarea. De hecho, en términos físicos del mundo real, la línea de montaje es un modelo. Antes de la línea de montaje teníamos un trabajador que hacía todo el montaje. Al dividir la carga de trabajo en partes discretas, podemos simplificar y acelerar el proceso de ensamblaje. Por lo tanto, agregaría que tener un excelente conocimiento de los procesos de ensamblaje realmente lo ayudaría significativamente a aprender a desarrollar y construir modelos en general.

Ahora, quieres hablar sobre modelos generativos específicamente. Eso es mas dificil. Ya no solo estamos hablando de hacer una tarea simple, estamos hablando de interpretar el mundo con software. Eso todavía es factible, pero para cuando hayas hecho todo lo que dije anteriormente, ya no serás un principiante. Sin embargo, todavía no estarás listo. Para construir un modelo generativo necesita comprender a nivel de máquina cómo una computadora procesa la información. Recuerde, en esencia, una computadora sigue siendo solo un sistema de puertas y conmutadores. Debes pensar como una computadora para tener éxito en esta tarea.

Por esta razón, estas cosas no las hacen individuos, sino equipos. El equipo tiene expertos en áreas específicas y es su comprensión combinada y habilidades únicas de resolución de problemas lo que resulta en modelos efectivos.

Tenga en cuenta que WaveNet se basa en la forma en que funciona un cerebro humano y puede comenzar a ver cuán interoperativo y multinivel es el proceso. Normalmente, su grupo está tratando de resolver un problema, “¿cómo buscamos nuevos microbios que aún no han sido descritos por la ciencia?”, Por ejemplo. Entonces el grupo se divide abordando diferentes aspectos del problema. Un grupo de química, un grupo visual, un grupo de comportamiento y un grupo de aprendizaje, por ejemplo. Ahora cada uno de esos grupos tendrá grupos más pequeños todavía. Quizás el grupo visual tenga un equipo que diseñe cómo se leerán las imágenes. Otro equipo está diseñando cómo se ordenarán. Otro equipo aún está diseñando el proceso que comparará los nuevos datos con los datos enseñados. Como puede ver, el proceso necesita resolver muchos problemas. Demasiados para cualquier persona.

Mi consejo sería intentar construir modelos para tareas más simples. A medida que lo haga, su comprensión de lo que implica aumentará y comprenderá mejor la respuesta a su pregunta.

¿Hay alguna razón por la que quieras rediseñar la rueda?

Siga la corriente y aprenda a construir algo que lo mejore o sea completamente diferente. Entonces, el primer paso es aprender la tecnología involucrada en WaveNet y cómo funciona. Después de eso, comenzará a tener sus propias ideas para mejorar y cambiar.