Hay dos partes en esta pregunta:
1. ¿Cómo construyo un sistema que hace poco probable que los consumidores se retrasen?
La respuesta es que desea poder agregar suficientes consumidores para manejar todos los datos entrantes. Esto significa tener suficientes particiones para sus temas, para que pueda agregar más consumidores y equilibrar mejor la carga. Puedes leer este blog para saber cuántas particiones necesitas:
¿Cómo elegir el número de temas / particiones en un clúster de Kafka?
2. ¿Cómo sé que mis consumidores no se están quedando atrás en este momento?
- ¿Cuándo estaba Europa en el nivel tecnológico de los mesoamericanos en 1492?
- ¿Cuáles son las alternativas para las aplicaciones pagas?
- ¿Debe una invención incorporar todas las cláusulas de un reclamo independiente para infringir una patente de los Estados Unidos?
- ¿Los botones de inicio del iPhone 5S generalmente se rompen o se desgastan?
- ¿Podemos construir una nave espacial Enterprise con nuestra tecnología actual para 2025? ¿Podríamos cambiar las unidades warp e implementar un sistema de propulsión nuclear?
Necesita una herramienta de monitoreo que pueda monitorear el retraso del consumidor. Hay pocos de ellos. Kafka incluye una herramienta de línea de comandos simple: Herramientas del sistema – Apache Kafka – Apache Software Foundation
Y hay algunas herramientas externas. Por ejemplo, Todd Palino, un SRE en LinkedIn escribió Burrow:
linkedin / Burrow
También hay una consola de Yahoo:
gerente de yahoo / kafka
