¿Qué es mejor para la clasificación binaria, softmax bidireccional o regresión logística?

Teóricamente, son lo mismo. Una regresión logística multinomial es una generalización de la regresión logística a las clases C. Vea aquí la buena comparación hecha por John Mount: http://www.win-vector.com/dfiles… (en particular las ecuaciones (3) y (27)). Otra buena fuente de información es la conferencia de Andrew Ng sobre la regresión softmax (http://cs229.stanford.edu/notes/… – en particular p.27 segundo párrafo).

Empíricamente, si profundizamos en algunas implementaciones (OpenNLP, Tsuruoka’s one, Datumbox, etc.), podemos ver que para cada etiqueta tenemos un vector correspondiente de parámetros. Entonces, prácticamente aprendemos dos hipótesis (y no una). Dado que los parámetros de estas dos hipótesis se aprenden de forma interdependiente, creo que podemos esperar que una regresión logística multinomial logre, al menos , el mismo rendimiento que una binomial.