Primero, debe estar 100% seguro de que sus diferentes implementaciones son correctas y equivalentes. Sin eso, perderá mucho tiempo buscando las razones.
Los modelos neuronales no son solo sobre los modelos. Los hiperparámetros y las sutiles diferencias en la implementación de optimizadores pueden desempeñar un papel igualmente importante. ¿Utiliza los mismos hiperparámetros, los optimizadores son exactamente iguales?
Es posible que deba optimizar nuevamente para hiperparámetros. Algunas de las implementaciones del optimizador pueden tener diferencias sutiles (por ejemplo, la implementación del impulso de Nesterov en PyTorch es la misma que en el documento, pero Tensorflow usa una especie de pirateo para hacerlo más estable). Quizás no pueda usar los mismos parámetros que en la literatura.
- Cómo seguir mi carrera en IA
- ¿Cuántos años crees que estamos desde el punto en que un trabajo solitario podría matar a todos en el planeta y cómo crees que podrían hacerlo?
- ¿Cómo es usar la nueva plataforma de aprendizaje automático de Amazon?
- Cómo usar el aprendizaje automático en mi aplicación móvil
- Si una IA se volviera consciente de sí misma, ¿tendría un ego?
También puede pensar que re-implementó todo con precisión, pero algunas de las cosas que hizo no se comportaron como esperaba. Por ejemplo, en PyTorch “a * b” aplica la multiplicación por elementos, mientras que ” [correo electrónico protegido] ” aplica la multiplicación matricial.
