Método de máxima verosimilitud (MLE): definición y ejemplos

Estimadores puntuales

Un aspecto importante de la estadística es la capacidad de encontrar estimadores puntuales. Los estimadores puntuales son funciones que se utilizan para encontrar estimaciones de un solo valor de un parámetro. Estas estimaciones puntuales se utilizan cuando no es razonable encontrar el parámetro de la forma estándar y, en cambio, se necesita una estimación de ese parámetro. Por ejemplo, si quisiera encontrar el ingreso promedio de una persona en la India, no sería razonable recopilar los datos de ingresos anuales de cada uno de los 1.300 millones de personas en el país. En cambio, se necesitaría una estimación de ese promedio.

La pregunta es, entonces, ¿cómo encontramos un buen estimador puntual para un parámetro? Una forma común de hacer esto es usando algo llamado método de máxima probabilidad. En esta lección, aprenderá a utilizar este método para encontrar estimadores puntuales.

Probabilidad

Para utilizar el método de máxima probabilidad, primero debemos comprender la probabilidad. La probabilidad es un concepto que funciona con distribuciones conjuntas.

Cuando tiene una distribución de probabilidad conjunta con variables aleatorias ( X 1 , X 2 , …, X n ), la función de probabilidad es p ( x 1 , x 2 , …, x n ) si las variables aleatorias son discretas , y la función de densidad es f ( x 1 , x 2 , …, x n ) si las variables aleatorias son continuas. Cuando la probabilidad conjunta o densidad depende de algún parámetro θ , los escribimos de la siguiente manera, donde Π es el operador del producto.

Llamamos a estas funciones de probabilidad porque nos dicen la probabilidad de que ocurra un evento cuando el parámetro dependiente tiene un valor de θ .

Método de máxima probabilidad

Cuando queremos encontrar un estimador puntual para algún parámetro θ , podemos usar la función de verosimilitud en el método de máxima verosimilitud . Este método se realiza mediante el siguiente proceso de tres pasos.

1. Encuentre la función de verosimilitud para las variables aleatorias dadas ( X 1 , X 2 , …, X n ).
2. Maximizar la función de verosimilitud con respecto a θ
3. Encuentra el valor de θ .

El valor que encuentre el θ al final de este proceso será el estimador puntual de θ mismo. Un estimador puntual que se encuentra mediante este método se conoce como estimador de máxima verosimilitud o MLE.

Ya vimos en la sección anterior cómo encontrar la función de verosimilitud, pero ¿cómo podemos maximizarla y resolver θ ? Hacemos esto tomando la derivada de la función de verosimilitud con respecto a θ , haciéndola igual a cero y luego despejando θ . Lo que encontramos θ a través de este método será su MLE.

Como nota final pero importante, es común usar el registro de la función de verosimilitud en lugar de la función en sí. Este proceso también encontrará el MLE, y tomar el registro natural a menudo nos facilita el trabajo.

Problema de ejemplo

Para asegurarnos de que comprendemos bien cómo encontrar un MLE, trabajemos juntos en un problema de ejemplo.

Dada una distribución normal con variables aleatorias ( X 1 , X 2 , …, X n ), ¿cuál es la MLE de σ 2 ?

Como estamos trabajando con la distribución normal, necesitaremos su función de densidad f ( x ) antes de poder encontrar la función de verosimilitud.

Ahora podemos encontrar la función de verosimilitud usando la fórmula que se da a continuación. Tenga en cuenta que nuestro parámetro θ es σ 2 en este caso, ya que estamos tratando de encontrar su MLE.

En el trabajo anterior, cambiamos nuestro 1 / σ a 1 / σ 2 elevándolo a la potencia de 2/2. Podemos hacer esto porque elevar un número a 2/2 es lo mismo que elevarlo a la potencia 1, y todo lo elevado a la potencia 1 es igual a sí mismo. Este es un paso que puede que no sea obvio de inmediato, pero ayudará a que nuestro cálculo del MLE para σ 2 sea ​​más fácil.

El siguiente paso que queremos hacer para encontrar nuestro MLE es tomar el logaritmo natural de la función de probabilidad. Esto dividirá la función de una manera que facilitará la obtención de la derivada. Dividimos la ecuación en tres términos separados usando las reglas del producto, la potencia y el cociente para los logaritmos naturales.

Finalmente, encontramos el MLE tomando la derivada de la función de verosimilitud logarítmica con respecto a σ 2 , estableciéndola igual a cero y resolviendo para σ 2 .

Puede notar que el MLE para σ 2 tenía el MLE de μ en su respuesta en lugar del μ normal . Esto se debe a que la distribución normal tiene dos parámetros ( σ , μ ), por lo que para usar el MLE de σ 2 también tendrá que encontrar el MLE de μ .

Resumen de la lección

En estadística, a menudo trabajamos con estimadores puntuales , que son funciones que se utilizan para encontrar estimaciones de parámetros de valor único. Un método común utilizado para encontrar buenos estimadores puntuales es el método de máxima verosimilitud.

Cuando una función conjunta de probabilidad o densidad tiene un parámetro dependiente θ , la función de verosimilitud da la probabilidad de que ocurra un evento cuando el parámetro dependiente tiene un valor de θ . En forma de ecuación, la función de verosimilitud se escribe de la siguiente manera para distribuciones de probabilidad discretas y continuas.

El método de máxima verosimilitud utiliza la función de verosimilitud para encontrar estimadores puntuales tomando la derivada de la función de verosimilitud con respecto a θ , estableciéndola igual a cero y resolviendo para θ .

Un estimador puntual que se encuentra mediante este método se conoce como estimador de máxima verosimilitud o MLE.

Finalmente, a menudo tomamos el logaritmo natural de la probabilidad en lugar de solo la probabilidad en sí. Muchas veces esto hace que los cálculos sean más convenientes y el resultado que obtenemos de él sigue siendo el MLE.

Rodrigo Ricardo Editor y fundador