¿Por qué la PNL consume tanta memoria?

Las permutaciones aumentan combinatoriamente con la longitud de la oración en lugar de exponencialmente.

Entonces, los requisitos de memoria y procesamiento explotan con la longitud de la oración.
El analizador de PNL, mientras que sin duda es capaz de fragmentar una oración en fragmentos léxicos más pequeños, muchos fragmentos largos aún representan el enorme desafío de una gran permutaciones.
El idioma inglés simplemente no está bien estructurado, lo que obliga al analizador a mantener una pila de muchos estados posibles durante la evaluación.
Si esto no se hace, el analizador tendría que analizar repetidamente la oración con N estrategias diferentes que explotarían el uso de la CPU y alargarían el tiempo de procesamiento en N.
Basta con mirar el texto descriptivo arriba, es mucho más complejo que “ver spot spot”.

Por lo tanto, minimizar el uso de memoria aumenta el uso de la CPU y alarga el tiempo de procesamiento. El Stanford NLP logra este equilibrio y el tiempo es más valioso que el espacio de memoria.

Al final culpan a los humanos, los diseñadores por el absurdo y complejo lenguaje inglés ambiguo y desestructurado. El hecho de que la estructura de las oraciones a menudo sea válida y también sea ambigua hace que el idioma inglés sea muy complejo. Los lenguajes de programación en comparación están bien definidos y son simples en comparación. A pesar de esto, muchos programadores malos aún logran abusar de la sintaxis creando código ambiguo.

Si había alguna duda, Internet lo ha desterrado. La gente habla. Mucho. Y, como dijo Steve. Es dificil.

Los corpus de texto (corpi?) Generalmente son muy grandes, y la mejor manera de cargarlos y procesarlos es en la memoria.