Estimación de máxima verosimilitud (MLE)
Es un método en estadística para estimar los parámetros de un modelo para un dato dado. La intuición básica detrás de MLE es la estimación que explica mejor los datos, será el mejor estimador.
La principal ventaja de MLE es que tiene la mejor propiedad asintótica. Significa que cuando los datos aumentan, la estimación converge más rápidamente hacia el parámetro de población. Usamos MLE para muchos métodos en estadísticas. He explicado los pasos generales que seguimos para encontrar una estimación del parámetro.
- ¿Cómo determina el reconocimiento facial al dueño de la cara que detecta?
- ¿Cuáles son algunos buenos métodos para explorar datos de alta dimensión?
- ¿Cuáles son las principales áreas de la investigación bioinformática actual?
- Cómo usar la prueba T de Student para la selección de funciones
- Como el sistema de recomendación está relacionado con el aprendizaje automático, ¿cuál será la próxima moda en los sistemas de recomendación?
Paso 1: Haga una suposición sobre la función de generación de datos.
Paso 2: Formule la función de probabilidad para los datos utilizando la función de generación de datos. La función de probabilidad no es más que la probabilidad de observar estos datos dados los parámetros ([matemática] P (D | \ theta) [/ matemática]). Los parámetros dependen de nuestros supuestos y de la función de generación de datos.
Paso 3: Encuentre un estimador para el parámetro usando la técnica de optimización. Encuentre la estimación que maximiza la función de probabilidad. Esta es la razón, el nombre del estimador calculado usando MLE es M-estimator.
Ejemplo 1: Lanzamos una moneda n veces y observamos k cabezas. Aquí, consideramos que la cabeza es un éxito y la cola es un fracaso.
Paso 1: La suposición es que la moneda sigue la función de distribución de Bernoulli.
Paso 2: La función de probabilidad es la función de distribución binomial ([matemática] P (D | \ theta) [/ matemática]) en este caso. Necesitamos encontrar la mejor estimación para p (Probabilidad de obtener cabeza) dado que k de n lanzamientos son Cabezas.
Paso 3: el estimador M es
[matemáticas] \ hat {P} = \ dfrac {k} {n} \ tag {1} [/ matemáticas]
Ejemplo 2: regresión lineal
Paso 1 : Los supuestos de la función de generación de datos es https://www.quora.com/What-is-an… y la función de generación de datos es función de densidad de probabilidad condicional ([math] f_y (Y | X) [/ math] ), que sigue la distribución normal.
Paso 2 : Si el tamaño de los datos es N, entonces la función de probabilidad es la suma del producto de N función de densidad de probabilidad condicional. Necesitamos encontrar la estimación de los parámetros del modelo de regresión lineal. Los parámetros son \ beta, \ sigma.
Paso 3 : el estimador M para los parámetros es
[matemáticas] \ hat {\ beta} = (X ^ {T} X) ^ {- 1} X ^ {T} Y \ tag {2} [/ matemáticas]
[math] \ sigma_ {est} = \ sqrt {\ frac {\ sum (Y- \ hat {Y}) ^ {2}} {N}} \ tag {3} [/ math]