¿Cuáles son las diferencias entre la "inferencia" y "estimación" en el contexto de aprendizaje de la máquina?
Como un novato, creo que hemos de inferir variables aleatorias y la estimación de los parámetros del modelo. Es mi entendimiento de la derecha?
Si no, ¿cuáles son las diferencias exactamente, y cuando debo usar que?
También, cuál es el sinónimo de "aprender"?
La inferencia estadística es el hecho de que el conjunto de conclusiones que uno puede sacar de un conjunto de datos y asociado un modelo hipotético, incluyendo el ajuste de dicho modelo. A la cita de la Wikipedia,
La inferencia es el acto o proceso de derivación de conclusiones lógicas a partir de premisas conocidas o que se supone para ser verdad.
y,
La inferencia estadística utiliza las matemáticas para sacar conclusiones en presencia de incertidumbre.
La estimación es sino un aspecto de la inferencia donde uno de los sustitutos de los parámetros desconocidos (asociada con el modelo hipotético que generó los datos) con soluciones óptimas basadas en los datos (y, posiblemente, información previa acerca de los parámetros). Siempre debe estar asociado con una evaluación de la incertidumbre de las estimaciones de las emisiones declaradas, la evaluación es una parte integral de la inferencia.
De máxima verosimilitud es un ejemplo de la estimación, pero no cubre la totalidad de la inferencia. Por el contrario, el análisis Bayesiano ofrece una completa máquina de inferencia.
Mientras que la estimación es por sí mismo con el fin de proponer los valores de los parámetros desconocidos (por ejemplo, los coeficientes de regresión logística, o en la separación de hyperplane en máquinas de vectores soporte), la inferencia estadística, intenta adjuntar una medida de la incertidumbre y/o una probabilidad declaración a los valores de los parámetros (los errores estándar y los intervalos de confianza). Si el modelo que el estadístico se supone es aproximadamente correcto, a continuación, a condición de que los nuevos datos entrantes seguir para ajustarse a ese modelo, la incertidumbre declaraciones pueden tener algo de verdad en ellas, y proporcionar una medida de la frecuencia con la que cometer errores en el uso del modelo para tomar sus decisiones.
Las fuentes de la probabilidad de declaraciones son de dos tipos. A veces, uno puede asumir una distribución de probabilidad subyacente de lo que se está midiendo y con algunos matemáticos de la brujería (multivariante de la integración de una distribución de Gauss, etc.), obtener la distribución de probabilidad del resultado (la media de la muestra de la Gaussiana de datos es propio de Gauss). Conjugado de los priores de la estadística Bayesiana caer en la brujería categoría. Otras veces, uno tiene que confiar en la asintótica (muestra grande) resultados que indican que en la muestra lo suficientemente grandes, las cosas están obligados a comportarse de un modo determinado (el Teorema del Límite Central: la media de la muestra de los datos que se yo.yo.d. con una media de $\mu$ y la varianza $\sigma^2$ es de aproximadamente Gaussiana con media de $\mu$ y la varianza $\sigma^2/n$, independientemente de la forma de la distribución de los datos originales).
La más cercana que la de la máquina de aprendizaje llega a que es la cruz de la validación cuando la muestra se divide en el entrenamiento y la validación de las partes, con el último eficazmente diciendo, "si los nuevos datos se parece a los datos antiguos, pero es completamente distinto a los datos que se utiliza en la configuración de mi modelo, a continuación, un realista medida de la tasa de error es tal y tal". Se deriva totalmente empíricamente mediante la ejecución del mismo modelo en los datos, en lugar de tratar de inferir las propiedades del modelo, haciendo supuestos estadísticos y la participación de cualquiera de los resultados matemáticos como el de arriba CLT. Sin duda, ésta es más honesto, pero como se utiliza menos información y por lo tanto requiere de grandes tamaños de muestra. También, implícitamente asume que el proceso no cambia, y no hay ninguna estructura de los datos (como clúster o de series de tiempo de las correlaciones) que podría fluencia y romper la muy importante suposición de independencia entre el entrenamiento y la validación de datos.
Mientras que la frase "la inferencia de la posterior" puede tener sentido (no soy un Bayesiano, realmente no puedo decir lo que la terminología aceptada es), creo que no hay mucho que participan en la toma de cualquier supuestos en que inferencial paso. Todos los Bayesiano supuestos son: (1) en la previa y (2) en el supuesto del modelo, y una vez establecido, la parte posterior de la siguiente manera automática (al menos en teoría, mediante el teorema de Bayes; los pasos prácticos que puede ser helluvalot complicado, y Sipps Juego... disculpe, muestreo de Gibbs puede ser relativamente fácil componente de llegar a que la posterior). Si "la inferencia de la posterior" se refiere a (1) + (2), entonces es un sabor de la inferencia estadística para mí. Si (1) y (2) se indicarán por separado y, a continuación, "la inferencia de la posterior" es algo más, entonces no acabo de ver qué es ese algo que podría ser en la parte superior del teorema de Bayes.
Este es un intento de dar una respuesta para que cualquier persona sin experiencia en las estadísticas. Para aquellos que estén interesados en más detalles, hay muchas referencias útiles (como este por ejemplo) sobre el tema.
Respuesta corta:
Estimación de $->$ encontrar los valores desconocidos (estimaciones) para el tema de interés
La Inferencia estadística, $->$ uso de la distribución de probabilidad de tema de interés para hacer probabilístico conclusiones
Respuesta larga:
El término "estimación" se utiliza a menudo para describir el proceso de encontrar una estimación de un valor desconocido, mientras que la "inferencia" a menudo se refiere a la inferencia estadística, un proceso de descubrimiento de las distribuciones (o características) de las variables aleatorias y el uso de ellos para sacar conclusiones.
Creo que para responder a la pregunta de: Qué tan alto es la persona media en mi país?
Si usted decide buscar un presupuesto, usted podría caminar por un par de días y medir los extraños que te encuentras en la calle (crear un ejemplo) y luego calcular su estimación, por ejemplo, como el promedio de la muestra. Usted acaba de hacer algunos estimación!
Por otro lado, usted podría encontrar más de lo que algunos estiman que usted sabe que es un número único y está obligado a ser malo. Usted podría tener como objetivo responder a la pregunta con una cierta confianza, tales como: estoy 99% seguro de que la altura media de una persona en mi país es de entre 1,60 m y 1,90 m.
Para hacer tal afirmación sería necesario estimar la distribución de la altura de las personas que están reunión y hacer sus conclusiones sobre esta base de conocimiento - que es la base de la inferencia estadística.
El aspecto crucial a tener en cuenta (como se señaló en Xi'an de la respuesta) es que encontrar un estimador es parte de la inferencia estadística.
Supongamos que tenemos una muestra representativa de una población.
La inferencia es cuando se utiliza la muestra para la estimación de un modelo de estado y que los resultados pueden ser extendidos a toda la población, con una cierta precisión. Para hacer inferencia es hacer suposiciones sobre una población utilizando sólo una muestra representativa.
La estimación es cuando se elige un modelo para adaptarse a los datos de la muestra y calcular con cierta precisión que los parámetros del modelo. Se llama estimación debido a que usted nunca será capaz de calcular los verdaderos valores de los parámetros ya que sólo tienes una muestra de datos, y no la totalidad de la población.
En el contexto de aprendizaje de la máquina, la inferencia se refiere a un acto de descubrimiento de la configuración de latente (oculta) de variables dado sus observaciones. Esto también incluye la determinación de la distribución posterior de sus variables latentes. Estimación parece estar asociado con el "punto de estimación", que es determinar sus parámetros del modelo. Los ejemplos incluyen la estimación de máxima verosimilitud. En EM (expectation maximization), en la dirección de paso, hacer la inferencia. En la M de paso, hacer la estimación de parámetros.
Creo que oigo a la gente decir "inferir la distribución posterior" más que "una estimación de la distribución posterior". El último no se utiliza en el habitual exacta de la inferencia. Se utiliza, por ejemplo, en la expectativa de propagación o variacional de Bayes, donde inferir una exacta posterior es intratable y supuestos adicionales en la parte posterior. En este caso, el inferirse posterior es aproximada. La gente puede decir, "aproximarse a la posterior" o "estimación de la posterior".
Todo esto es sólo mi opinión. No es una regla.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
