¿Qué piensan los investigadores de IA, ML y NLP del Watson de IBM? ¿Tiene el potencial de tener un gran impacto?

Permítanme intentar responder esto primero como investigador de aprendizaje automático y luego como un friki de trivia (soy ambos). [Actualización 2016: esto se refiere al canónico juego de Jeopardy “Watson”, no al término general que IBM está usando para sus esfuerzos de IA.]

Como investigador de aprendizaje automático, Watson se dedicaba principalmente a la ingeniería. No hay grandes ideas teóricas. El equipo utilizó técnicas existentes para construir su sistema, obtuvo muchos datos y creó características razonables. Un gran esfuerzo de ingeniería y muy impresionante, pero no creo que haya cambiado la forma en que las personas investigan. Tendría más impacto en la investigación si compartieran su código, pero IBM rara vez lo hace.

Dicho esto, fue un gran esfuerzo de relaciones públicas. Muy bien ejecutado y creo que atrajo a muchas personas interesadas en PNL, ML y QA. Ojalá pudiera haber trabajado en el proyecto. Creo que cualquier gran grupo de investigación podría haberlo hecho bastante bien dada esta tarea, pero habla al liderazgo de IBM de que este proyecto incluso sucedió en primer lugar.

Como un geek trivial, Jeopardy no es una buena prueba de inteligencia artificial debido a la forma en que funcionan los timbres.

¿Por qué Jeopardy no permite que los jugadores suenen antes de que Alex Trebek termine de leer la pista?

Watson tenía una gran ventaja incorporada sobre cuándo podía presionar el botón, por lo que no era una comparación justa. Personalmente, creo que el cuestionario es la mejor tarea para responder preguntas (página en colorado.edu).

Si desea detalles técnicos sobre cómo Watson funciona detrás de escena, puede consultar el conjunto de 17 artículos llamados This is Watson IBM había publicado / publicado en el IBM Journal Of Research and Development (todos se pueden encontrar en línea). Para obtener una descripción general, consulte el documento Building Watson: una descripción general del proyecto DeepQA [1].

Lo que sigue es mi opinión al respecto (con muchos hechos :)).

Como mencionan en [1], los temas principales en Watson son:

  1. Paralelismo masivo : explote el paralelismo masivo en la consideración de múltiples interpretaciones e hipótesis.
  2. Muchos expertos : facilitan la integración, la aplicación y la evaluación contextual de una amplia gama de preguntas probabilísticas sueltas y análisis de contenido.
  3. Estimación generalizada de confianza : ningún componente se compromete con una respuesta; Todos los componentes producen características y confidencias asociadas, obteniendo diferentes interpretaciones de preguntas y contenidos. Un sustrato subyacente de procesamiento de confianza aprende a apilar y combinar las puntuaciones.
  4. Integre conocimiento superficial y profundo: equilibre el uso de la semántica estricta y la semántica superficial, aprovechando muchas ontologías poco formadas.

Lo que esto realmente significa es que Watson está lejos de ser un monlith cognitivo elegante. Watson no es mínimamente bello en el sentido de que utiliza un algoritmo unificador, que comprende la pregunta y encuentra una respuesta, pero está compuesto de muchos elementos pequeños (clasificadores, anotadores, módulos de PNL, etc.), cada uno de los cuales resuelve el problema que son. dado, a su manera. Ningún módulo ve el problema completo: los módulos están diseñados para satisfacer necesidades muy específicas como el análisis de preguntas, la evaluación de hipótesis, etc., y para una necesidad específica, rara vez hay un solo módulo que lo aborde, es decir, una necesidad específica se envía a diferentes módulos para ser resueltos y los resultados calificados / clasificados / agregados.

Aquí hay un esquema que muestra (de [1]) cómo Watson divide un problema en problemas más pequeños (no muestra los módulos involucrados en la resolución de estos problemas):

Para tomar un ejemplo (de [1] nuevamente) si la pregunta es

“Fue indultado presidencialmente el 8 de septiembre de 1974”

Un módulo de análisis poco profundo recuperaría el pasaje

“Ford padonó a Nixon el 8 de septiembre de 1974.”

basado en la coincidencia de términos ponderados y otro módulo podría clasificar el mismo pasaje alto porque hay una superposición considerable en las secuencias de palabras en la pregunta y el pasaje – “8 de septiembre de 1974”. Sin embargo, otro módulo no tan superficial obtendría una forma lógica de la oración para identificar que Nixon es el objeto del perdón, por lo que de los dos nombres presentes en el pasaje, Ford y Nixon, solo Nixon es la respuesta.

Creo que la recompensa para IBM al hacer el proyecto Watson no es que haya creado un sistema que pueda responder preguntas de manera universal en diferentes circunstancias, porque, en mi humilde opinión, no puede. No sin cierta capacitación, reevaluación de los diversos módulos internos, recalibración de estrategias de agregación, etc. El valor real es que ahora tiene un marco listo para la industria, DeepQA, que tiene un montón de módulos bien definidos y bien implementados, cada uno de los cuales puede hacer una tarea realmente bien, y los módulos pueden integrarse en un todo perfecto.

El purista en mí argumentaría que este es un sistema desordenado y no refleja la verdadera IA. Y esto puede ser correcto. Pero si mide el valor del sistema por sus resultados, creo que Watson definitivamente ha superado los límites de nuestra comprensión, ¡incluso si se trata de hasta dónde pueden llegar tales sistemas desordenados!

Para convencerte más, veamos este gráfico (sí, [1]):

Los puntos muestran cómo se han desempeñado los ganadores humanos en Jeopardy: cuántas preguntas han respondido (eje x) y cuántas de las respuestas fueron correctas (eje y). ¡Los puntos negros representan a Ken Jennings que ha tenido la racha ganadora más larga en Jeopardy! . Los humanos parecen responder solo cuando están muy seguros de la respuesta (y por lo general también lo hacen bien). Las líneas representan varias versiones de Watson. Lo que me emociona de este gráfico es algo que puede parecer muy trivial: las versiones finales realmente pasan por la “nube ganadora”.

Mi consejo sería ir por ello set Pero establezca sus expectativas correctas: este es un sistema con muchas partes móviles y es un sistema (predominantemente) de PNL en ese sentido, lo que significa que puede no ser un algoritmo de ML puro que funciona todo el día, pero muchas heurísticas, muchos análisis de lenguaje natural, posiblemente mucha ingeniería de plataformas, etc.

Como uno de los investigadores que ha estado trabajando en IBM Watson desde el día 1, descubrí que, en general, la comunidad investigadora ha tenido una reacción muy positiva. En parte eso se debe a la publicidad: IBM Watson hizo mucho para entusiasmar a las personas sobre las posibilidades de procesar efectivamente el lenguaje natural. Sin embargo, creo que también refleja el hecho de que este era un problema de investigación de software enormemente desafiante. Cuando empezamos el peligro! En el proyecto, teníamos un sistema de preguntas y respuestas que se había desempeñado consistentemente cerca de la cima de las clasificaciones en evaluaciones competitivas de preguntas y respuestas durante años, ¡y descubrimos que su precisión está en riesgo! fue horrible: ¡muy por debajo de lo que necesitarías para alcanzar el punto de equilibrio en Jeopardy !, mucho menos competir con campeones humanos. ¡También fue demasiado lento para competir en Jeopardy !; El último problema podría abordarse utilizando mucho hardware (más un gran esfuerzo de programación para distribuir el cálculo). Sin embargo, el primero requería una cantidad sustancial de innovación para vencer.

El IBM Journal of Research & Development tiene un número especial de doble duración que describe el sistema IBM Watson tal como existía en el momento del peligro. Está detrás de un muro de pago IEEE Xplore, pero muchas instituciones de investigación tienen una licencia de sitio para IEEE Xplore. Una revista de doble extensión aún no es suficiente para describir completamente docenas de años-persona de investigación de software por completo. Sin embargo, nos esforzamos mucho para asegurarnos de documentar todas las contribuciones más importantes con el mayor detalle posible en este espacio, y desde entonces hemos escrito una variedad de otros documentos sobre el tema.

IBM Watson es ante todo un sistema de inteligencia artificial de múltiples estrategias masivas. Tiene una enorme variedad de técnicas que utiliza desde una variedad de disciplinas, incluyendo Recuperación de información, PNL basada en reglas, PNL estadística, Representación y razonamiento de conocimientos, Aprendizaje a máquina, etc. La gente a menudo cita la máxima antigua “El zorro sabe muchas cosas; el erizo una gran cosa “. El desarrollo de IBM Watson está mucho más alineado con el zorro en esta metáfora que el erizo. No hay un solo mega-avance parsimonioso que sea responsable del éxito de IBM Watson. ¡No hay una “gran cosa” que permita que IBM Watson gane en Jeopardy! Sin embargo, no creo que sea justo decir (como lo hace Luis Argeric en su respuesta a esta pregunta), que “Watson no es nada nuevo, a menos que haya algo muy secreto que IBM ha decidido mantener inédito”. IBM Watson es muchas, muchas cosas nuevas: pequeños pasos hacia adelante e IBM ha publicado todo lo que pudimos incluir en un doble número especial, además de numerosas otras publicaciones científicas.

Aquí hay una perspectiva de un IBMer: esta respuesta es completamente no técnica y es de esperar que le brinde una perspectiva sobre cómo IBM ve y valora esta tecnología en particular.

NOTA: No trabajo en Watson, pero sí trabajo para un laboratorio en IBM.

Este año, IBM creó una unidad de negocios completa para vender IBM Watson como una solución. La última vez que creó una unidad de negocios fue hace unos 30 años (no estoy seguro … pero se entiende).

Que yo sepa, ya ha invertido miles de millones de dólares y continúa haciéndolo. Entonces puede inferir que IBM está apostando fuerte por esta tecnología.

Si te gusta el marketing / relaciones públicas … el trabajo probablemente será un desafío, ya que estarás lanzando un producto nunca antes visto. Si ha comenzado a preguntarse … sí, a veces IBM tiene este estilo contrario a la intuición de crear una tecnología (un ecosistema en este caso) primero y luego trata de venderla.

Otra prueba de que IBM está apostando enormemente por esto: a pesar de que incurrimos en grandes pérdidas, mi departamento (POWER Systems) probablemente no fue vendido (como nuestro negocio x86 a Lenovo) “solo” porque Watson funciona con POWER.

PD: También alguien mencionó sobre los gerentes, sí, eso es completamente cierto. Su gerente de primera línea realmente puede hacer / deshacer su carrera en IBM, recuerde eso y aprenda a administrarlos 🙂

… una respuesta menos técnica.

IBM Watson es una solución a un importante problema moderno y prospectivo en una era de sobrecarga de información; cómo difundir más información de la que un humano puede consumir, luego llegar a una respuesta que a menudo es mejor que la que producen los expertos humanos, dada una pregunta simple.

Watson imita la naturaleza altamente paralela y variable de la mente utilizando una gran variedad de soluciones existentes e innovadoras; creando un alto grado de respuestas sensatas y útiles a partir de resultados muy variados.

… el resto de mi respuesta no sé cómo decirlo, excepto de una manera más personal …

Vivimos en una época en la que una simple pregunta “¿cuáles son todos los programas federales?” Se estima que lleva dos años producir la respuesta. Watson podría prestarle ayuda.

Sin embargo, las soluciones técnicas, como Watson, combinadas con una excesiva confianza en la ciencia podrían conducir fácilmente a posibles abusos al guiar una opinión individual o populosa; dependiendo de la verdad y la naturaleza representativa de la información sobre la cual opera una herramienta similar a Watson.
Sin embargo, ese tipo de preocupación es cierta para cualquier tecnología.

Esto habla de la importancia de dicha herramienta, no específicamente de IBM Watson.

Mi reacción instintiva es que, en las manos adecuadas, IBM Watson es algo muy bueno. Eventualmente, dicho poder también debería estar en manos de los ciudadanos comunes que operan sobre el conocimiento que está en línea con las creencias y las nociones del individuo.

Mientras el entorno legal de la propiedad intelectual permita la competencia con productos similares a Watson; permitiendo el empoderamiento, la expresión y la representación de cualquier persona cotidiana con respecto a las cosas que realmente les importan (como el consejo médico; incluyendo soluciones alternativas y extranjeras para el cáncer, etc.), entonces todo está bien.

Sin saber más sobre la situación, mi reacción instintiva es que un puesto de trabajo con IBM sería algo bueno.

Tendrá que medir las acciones de IBM con respecto a sus creencias y perspectivas personales.

Después de votar su respuesta, haré eco de las palabras de Jordan Boyd-Graber.

Watson es un gran éxito en términos de uso de hardware para hacer que los algoritmos existentes funcionen increíblemente rápido. De alguna manera es similar a lo que Google hace con la búsqueda.

Desde el punto de vista puramente teórico, Watson no es nada nuevo, a menos que haya algo muy secreto que IBM haya decidido mantener inédito y yo diría que es muy poco probable.

Desde el punto de vista de la trivia, la forma en que se hacen las preguntas de riesgo favorece los enfoques de la fuerza bruta a la solución porque en la mayoría de los casos sabes lo que estás buscando “esta ciudad”, “este presidente”, etc.

Así que prepárese para encontrar una fantástica campaña de relaciones públicas detrás de una solución de hardware muy costosa para algunos algoritmos bien conocidos sobre una gran cantidad de datos.

Mi respuesta no técnica es la siguiente.

En el campo de la IA, nos enfrentamos regularmente a la pregunta: “Ok, pero ¿se puede usar para?”. La computadora Watson y su capacidad para comprender el lenguaje natural son ejemplos maravillosos de para qué se puede utilizar, como diagnóstico médico o asesoramiento financiero.

Entonces, en general, diría que Watson es el Deep Blue de la década de 2010: la IA de la que todo el mundo hablará en los próximos 10 años para señalar los avances en el campo.

En la escuela de posgrado, tuve la oportunidad de tomar un curso con algunos de los creadores originales de Watson, sobre Watson, y luego trabajé en un proyecto con uno de ellos también.

Yo diría que Watson involucra muy poca IA en el significado tradicional de la palabra, y usa principalmente la toma de decisiones probabilística / ML / NLP. Sin embargo, las capacidades y ramificaciones de Watson son enormes en el sentido de que está evolucionando hacia un sistema experto de respuesta a preguntas para campos en los que la respuesta a las preguntas es difícil, como la atención médica.

Felicitaciones por el trabajo … No estoy seguro de por qué consideraría tan importante la opinión de los investigadores de IA, ML y PNL …
El proyecto Watson de IBM tendría un gran impacto en la lectura de máquinas. Habría un enorme alcance en áreas como el aprendizaje no supervisado o el aprendizaje con supervisión débil, modelos de espacio vectorial … Sugiero mirar algunos documentos de ACL para referencia …
PD: Hable con Jordan Boyd-Graber o Jason Eisner para obtener mejores comentarios … Son investigadores establecidos y podrían guiarlo mejor 🙂

Oren Etzioni durante su AMA en Reddit:

Watson fue una demostración impresionante, pero estuvo estrechamente dirigida a Jeopardy y exhibió muy poca comprensión semántica. Ahora Watson se ha convertido en una marca de IBM para cualquier actividad basada en el conocimiento que realicen. La inteligencia está principalmente en su departamento de relaciones públicas.

Aunque Watson parece muy sofisticado (y lo es), no implementa la cognición completa, aunque parece. Lo que hace es entender lo que se le consulta, buscar en su enorme base de datos y producir una respuesta en lenguaje humano.

A pesar de no implementar la cognición completa, es lo último en tecnología y un gran logro tecnológico. Creo que trabajando allí estarás al borde de la tecnología y podrás contribuir a las próximas tendencias y evolución de Watson.

Estoy tratando de usar Watson para crear una compañía de $ 1 billón de dólares mientras escribo esto.

Sin Watson, ni siquiera sabría cómo comenzar.

Esta aplicación se ejecutará en cualquier computadora y teléfono, y tendrá un backend de Watson. Pero no quiero que Watson sea consciente de lo que yo y mis clientes estamos haciendo.

Quiero crear mi propia interfaz de inteligencia artificial y crearé mi propia supercomputadora para hacerlo. De hecho, tengo que crear mi propia supercomputadora porque necesito atender a mil millones de clientes (igual que Facebook) y planeo usar el mismo combo que Cray solía usar, CPU AMD + GPU Tesla. Debido a algo muy estúpido, Cray ahora usa chips Intel, algo que me niego totalmente a hacer.

Tengo planes concretos para sacar a Intel totalmente del negocio, y bastante pronto.

Microsoft también está en mi lista de resultados. Su software todo sux.

Y llevo 40 años en el negocio, así que lo que digo aquí es una opinión experta que la gente debería esperar pagar ($ 10,000) para obtener.

Simplemente no consulto más. Demasiada fiesta y hambruna.