¿Cuál es la diferencia entre SVM y ANN?

Una sola capa ANN y SVM aprenden formas muy similares de modelos, salida (x) = sum_over_all_i weight_i * nonlinear_function_i (x). Si no fuera por los diferentes métodos de Optimización que usan para dibujar el hiperplano, también podrían haber obtenido los mismos resultados (los resultados usando incluso métodos diferentes estarán cerca).
Mientras que uno usa SMO (optimización mínima secuencial), los ANN generalmente usan el descenso de gradiente. SMO no tiene los problemas típicos de los modelos estocásticos, que se estanca en los extremos locales.

Creo que te has confundido un poco sobre la idea detrás de Neural Network y Support Vector Machine. Hay muchos tipos de redes neuronales utilizadas para diversas implementaciones.

• Máquina de vectores de soporte (SVM)
• Red neuronal recurrente (RNN)
• Máquina de Boltzmann restringida (RBM)
• Red neuronal de alimentación directa (FFNN)
• Red neuronal convolucional (CNN)

Estos son algunos de los muchos diseños que se utilizan para implementar diseños. Algunos burlan a otros en circunstancias específicas y se usan en consecuencia. Como ejemplo, un SVM es muy bueno en clasificación y regresión. Pero solo hasta cierto número de clasificadores. Una CNN es mejor para reconocer imágenes. Y así sucesivamente. Espero que hayas entendido.