Gracias Baljinder Maan por A2A.
En primer lugar, comprendamos el Hadoop, la IA y su relación. Esto le ayudará a comprender su duda con exactitud.
Hadoop es un marco de programación de código abierto basado en Java que admite el procesamiento y almacenamiento de conjuntos de datos extremadamente grandes en un entorno informático distribuido
- ¿Cuál debería ser el curso de acción para aprender IA y cuán importante es el aprendizaje automático para la IA?
- ¿Cómo se puede aplicar OpenCyc o ResearchCyc al archivo histórico de Twitter?
- ¿Cuán inteligente puede crecer la inteligencia artificial basada en computadoras cuánticas, considerando las complejidades matemáticas de los diferentes problemas de inteligencia artificial?
- ¿Cuál es la mejor herramienta para aprender redes neuronales?
- ¿Los valores atípicos afectan la capacitación de las redes neuronales profundas?
La inteligencia artificial es la simulación de procesos de inteligencia humana por parte de máquinas, especialmente sistemas informáticos. Estos procesos incluyen aprendizaje, razonamiento y autocorrección.
¿Por qué necesitamos usar Hadoop para AI?
Existe una confusión entre los estudiantes de que la IA es solo un conjunto de declaraciones if-else donde definimos ciertas condiciones y sus respuestas. La computadora hace coincidir la entrada con esas condiciones predefinidas y toma las decisiones PERO esta no es la inteligencia real . Considera una situación. Has buscado un Pendrive de 16 GB o un vuelo de Delhi a Patna y cierras el sitio web. Si se ha dado cuenta, habrá encontrado que varias ofertas, enlaces, anuncios relacionados con Pendrive (o vuelos más baratos) comienzan a aparecer en su línea de tiempo de Facebook, tarjetas de Google, etc. ¿Por qué? ¿Cómo es que tu Facebook sabe que quieres un Pendrive? Esta es la inteligencia artificial real . Su Facebook, Google usa las cookies del navegador (información de búsqueda) y en base a eso muestran productos similares antes que usted. Ahora, imagina cuántas búsquedas de Google se llevan a cabo cada segundo. ¿Es posible administrar esta pantalla de búsqueda manualmente? La respuesta es no. Esto se hace a través de Hadoop.
¿Cómo usar Hadoop para AI?
Lo primero que debe preocupar es la cantidad de datos que tiene. Si puede almacenar datos en una máquina (servidor), simplemente use R o Python . Pero si necesita un sistema distribuido porque sus datos son muy grandes, entonces busca almacenar en Hadoop y usar Spark para construir sus modelos de datos de IA . Debe verificar el flujo del tensor para el aprendizaje profundo (Marque esto). Tenserflow puede ejecutarse en HDP (verifique esto). También puedes usar Spark en Hadoop. Para usar agua con gas en Hadoop en YARN, verifique esto. Si no desea usar H2O, simplemente use SparkMLLib (Marque esto).
SUGERENCIA IMPORTANTE
TensorFlow y H2O es una herramienta independiente para el aprendizaje automático . Si está leyendo datos del sistema de archivos local , puede usar DeepLearning4J, SparkMLLib u otras bibliotecas , para usar el aprendizaje automático sin instalar otras herramientas. Pero aún necesita el clúster Spark (incluso si es un nodo único) para poder usar SparkMLLib.
Buena suerte 🙂
