Si solo aumento el número de capas de Neural Net simple con alguna función de activación, ¿lo convierte en Deep Learning?

Sí, creo que la mayoría de la gente lo describiría como tal, siempre que su función de activación sea no lineal . Si la activación es lineal (por ejemplo, el mapa de identidad) en cada capa, entonces toda la red es lineal y probablemente no calificaría como “aprendizaje profundo”.

Pero el campo del aprendizaje profundo abarca mucho, mucho más que simples redes neuronales con muchas capas. De hecho, se ha demostrado que el uso de redes más profundas sin una estructura especial puede realmente degradar el rendimiento. Por lo tanto, una gran cantidad de trabajo reciente en el campo ha consistido en construir cuidadosamente arquitecturas / patrones de diseño para lograr ciertas propiedades deseables. Un ejemplo famoso son los LSTM, que pueden “recordar” información a través de muchos pasos de tiempo en una secuencia de entradas. Hay muchos más ejemplos.

En resumen, sí, pero no esperes presenciar el tipo de éxito impresionante que el aprendizaje profundo ha logrado recientemente con solo apilar más capas.