¿Cómo se distribuye un pub / subsistema?

Una forma típica (pero no la única) de distribuir la carga es hacer que cada tema en el sistema sea manejado por un solo servidor (o, bueno, tener redundancia, un par de servidores, pero simplifiquemos eso). Luego, todos los clientes que estén interesados ​​en el tema se conectan al servidor y se suscriben a publicaciones sobre el tema. Con este modelo muy simple, en su ejemplo, si el tema es manejado por el Servidor 1, entonces la publicación va allí, pero también todos los suscriptores deben estar conectados al Servidor 1. Para averiguar qué servidor obtiene qué tema generalmente se hace usando hashing consistente o una tabla hash distribuida.

Ahora, este sistema simple significaría que los suscriptores interesados ​​en muchos temas deben conectarse a muchos lotes de servidores, y los servidores deben mantener bastante estado (a corto plazo) en todas las suscripciones. Una forma de lidiar con eso es introducir agregadores, un conjunto diferente de servidores. Cada cliente se conecta a un único agregador y le dice al agregador en qué temas está interesado. Luego, el agregador se conecta a los servidores apropiados en nombre del cliente, configura suscripciones y reenvía los eventos recibidos. Si varios clientes están interesados ​​en el mismo tema, conéctese al mismo agregador, el servidor solo necesita enviar el mensaje una vez, y el agregador puede reenviarlo.

Esta respuesta fue quizás un poco larga, pero si realmente quieres profundizar, tenemos un documento sobre cómo y dónde ocurre el pub / sub en Spotify que está disponible en mi página de inicio académica, The Hidden Pub / Sub de Spotify (Artículo de la industria).

Distributed Pub / Sub System es un paradigma de comunicación que permite la libertad en el sistema distribuido mediante el desacoplamiento de las entidades de comunicación en términos de tiempo, espacio y sincronización.
Un sistema de servicio de eventos que es asíncrono, anónimo y poco acoplado.
Capacidad para adaptarse rápidamente en un entorno dinámico.
Modelo de corredor centralizado
¨Consiste en múltiples editores y múltiples suscriptores y corredores / corredores centralizados (una red superpuesta de corredores que interactúan entre sí).
¨Los suscriptores / editores se comunicarán con 1 corredor y no necesitan tener conocimiento de otros.
Modelo de igual a igual
¨Cada nodo puede ser editor, suscriptor o corredor.
¨ Los suscriptores se suscriben a los editores directamente y los editores notifican a los suscriptores directamente. Por lo tanto, deben mantener el conocimiento mutuo.
¨Complejo en su naturaleza, se emplean mecanismos como DHT y CHORD para localizar nodos en la red.
Lee mas

Busque fragmentos para obtener algunas ideas.

Manera trivial / fuerza bruta: reenviar todos los eventos de publicación a todos los servidores, hash ID de usuario a ID de servidor, el servidor mantiene información local sobre suscriptores conectados; Las solicitudes de suscripción se equilibran con la carga utilizando el hash.