Cómo hacer un programa que entienda lo que significan los datos dados

Este es un problema de clasificación complejo. No hay una “cosa” que todos hagan. Una práctica común es construir gráficos de conocimiento que estén modelados para almacenar hechos sobre temas, temas y palabras clave que se encuentran en datos no estructurados (la web). A menudo, es una combinación de preprocesamiento con una variedad de tuberías, además de técnicas supervisadas y sin supervisión. Una técnica útil para comenzar con este tipo de problema es hacer un trabajo exploratorio con un modelo de árbol de decisión contra diferentes categorías de términos.

En el caso de Google y la búsqueda de la fecha de nacimiento de Lil Wayne – Búsqueda de Google, los datos del gráfico saben que Lil Wayne es una “persona” y la fecha de nacimiento con la persona es una consulta asignada a la base de datos del gráfico para metadatos correlacionados.

http://blog.urx.com/urx-blog/201 …
Contenido del modelo de minería para modelos de árbol de decisión (Analysis Services – Minería de datos)

¿Cuáles son algunas formas en que puede producir este tipo de datos? Clasificación de aprendizaje automático, como árboles de decisión, LDA, ingenuos Bayes, bosques aleatorios, creo que son buenos lugares para comenzar.

Si estás familiarizado con Python, te recomiendo que consultes los tutoriales en Gensim para sumergirte un poco con LDA, pero scikit-learn tiene muchos de los clasificadores mencionados anteriormente. Si eres completamente nuevo en Machine Learning, es un poco difícil entrar, pero es un reino de conocimiento emocionante en este momento. Es útil aprender los fundamentos sobre cómo abordar diversos problemas, por lo que recomiendo encarecidamente un buen MOOC, hacer muchas preguntas y, siempre que sea posible, leer todo lo que pueda tener en sus manos.
Recursos iniciales:

• Prólogo a la ciencia de datos
• Introducción al curso en línea de ciencia de datos
• Convertirse en un científico de datos – Plan de estudios a través de Metromap – Perspectivas pragmáticas
• Curso elemental de estadística en línea
• Probabilidades y estadísticas
• Aprendizaje automático – Universidad de Stanford | Coursera

necesitaría una combinación de técnicas de análisis inteligente, semántica de lenguaje específica y un algoritmo muy inteligente que puede escanear una gran cantidad de datos no indexados.
Además, necesitaría una buena potencia de cálculo para incluso escanear la web en busca de todos los elementos no indexados. Una vez que tenga sus datos, puede intentar vincularlos a fuentes web específicas donde considere que la clasificación de datos ya está hecha (como vincular Brad Pitt a IMBD o algo así).
A partir de ahora, la mayoría de los motores de búsqueda actuales utilizan palabras clave predictivas (tienen un gran depósito de búsquedas pasadas y las optimizan dinámicamente a medida que un tema en particular gana popularidad) y algoritmos inteligentes. Los sitios web tienen la responsabilidad de optimizar sus posibilidades de aparecer en los resultados de búsqueda mediante el uso de palabras clave específicas. El proceso de optimización en el sitio resultante se llama SEO (Search Engine Optimization).
Puede aprender sobre esto en temas avanzados de construcción web más o menos.

La idea es escanear todos los sitios que tienen esos nombres / palabras e identificar el conjunto común de palabras / factores que lo describen y almacenarlo en una base de datos bastante grande que finalmente tendría información sobre las palabras más comunes para cada otra palabra /nombre. Esto a su vez se utiliza para hacer que parezca que la ‘palabra / nombre’ se ‘entiende’ como algo.
Sobre la pregunta sobre qué están utilizando las compañías mencionadas para hacerlo, no tengo una respuesta definitiva … probablemente sean sus algoritmos incorporados. Puede obtener un poco más al respecto en Google (¡búsqueda!) O información privilegiada de primera mano si puede encontrar un contacto allí.