Cómo escribir una aplicación de IA que lea todos los tipos de registros de miles de servidores, enviar de vuelta a un cerebro de análisis de ML y proporcionar respuesta a cada servidor

A2A

¿Quieres esta respuesta en 10,000 líneas o menos? Esto no es algo pequeño que pidas. En términos de leer los registros y enviarlos a un solo servidor, este es el comportamiento normal para herramientas como Splunk o Kafka. Splunk incluso realiza algunos de los análisis que mencionas.

Está solo en el tipo de análisis que desea, pero sospecho que le gustaría hacer la mayor parte del procesamiento en un clúster de Hadoop.

Proporcionar una respuesta a cada servidor en realidad no tiene sentido. Puede crear un paquete informativo y enviarlo a cada servidor, realizar acciones y / o mantenimiento en cada servidor, pero si solo está leyendo registros, los servidores en realidad no están esperando una respuesta. Sus herramientas más probables para esto son las herramientas de administración remota, como Ansible, Chef o Puppet. Alternativamente, puede tener un servidor sentado en un puerto abierto esperando instrucciones.

Recomiendo Apache Spark. Puede crear una canalización que reciba datos, los procese y luego envíe una respuesta.

Importación de datos de transmisión: aplicaciones de referencia de Databricks Spark

Documentos de Apache Spark: Descripción general – Documentación de Spark 2.1.0