¿Qué detección atípica incremental existe en un escenario de flujo de datos?

WSO2 CEP incluye varias técnicas de detección de anomalías en tiempo real. El método primario utiliza cadenas de Markov.

Las cadenas de Markov y las cadenas de Markov ocultas pueden medir la probabilidad de que ocurra una secuencia de eventos. Este enfoque construye una cadena de Markov para el proceso de subrayado, y cuando ha sucedido una secuencia de eventos, podemos usar la cadena de Markov para medir la probabilidad de que ocurra esa secuencia, y usarla para detectar cualquier secuencia rara.
Por ejemplo, consideremos las transacciones con tarjeta de crédito. Para modelar las transacciones usando cadenas de Markov, representemos cada transacción usando dos valores: valor de transacción (L, H) y tiempo desde la última transacción (L, H). Dado que los estados de la cadena de Markov tienen que ser finitos, elegiremos dos valores Bajo (L), Alto (H) para representar valores variables. Entonces las cadenas de Markov representarían por estados LL, LH, HL, HH y cada transacción sería una transición de un estado a otro. Podemos construir la cadena de Markov usando datos históricos y usar la cadena para calcular las probabilidades de secuencia. Luego, podemos encontrar la probabilidad de que ocurra una nueva secuencia y luego marcar secuencias raras como anomalías.

WSO2 CEP puede construir y actualizar la cadena de Markov de manera continua y usarla para detectar anomalías de cada evento. Puede encontrar más información en Detección y prevención de fraudes: un enfoque de análisis de datos.

La búsqueda hacia adelante de Anthony Atkinson podría adaptarse a este problema, suponiendo que tuviera un buen conjunto de datos “semilla” que se considerara limpio.

Uno de los algoritmos más populares es el factor incremental de valores atípicos locales (página en cs.uni-dortmund.de)

También puede consultar la sección de detección de valores atípicos en el software Massive Online Analysis (MOA) (Detección de valores atípicos). Varios algoritmos atípicos incrementales se implementan allí.