¿Cuáles son los ejemplos reales de "modelos estadísticos no paramétricos"?

Question

Estoy leyendo el artículo de Wikipedia sobre modelos estadísticos aquí y estoy algo perplejo en cuanto al significado de "modelos estadísticos no paramétricos", concretamente:

Un modelo estadístico es no paramétrico si el conjunto de parámetros $\Theta$ es de dimensión infinita. Un modelo estadístico es semiparamétrico i tiene dimensiones finitas y Formalmente, si $d$ es la dimensión de $\Theta$ y $n$ i muestras, tanto los modelos semiparamétricos como los no paramétricos tienen $d \rightarrow \infty$ como $n \rightarrow \infty$ . Si $d/n \rightarrow 0$ como $n \rightarrow \infty$ entonces el modelo es se en caso contrario, el modelo es no paramétrico.

Entiendo que si el dimensión (entiendo literalmente, el número de parámetros) de un modelo es finito, entonces se trata de un modelo paramétrico.

Lo que no tiene sentido para mí, es cómo podemos tener un modelo estadístico que tiene un infinito número de parámetros, de modo que podemos llamarlo "no paramétrico". Además, aunque así fuera, ¿por qué el "no", si de hecho hay un número infinito de dimensiones? Por último, puesto que yo vengo del aprendizaje automático, ¿hay alguna diferencia entre este "modelo estadístico no paramétrico" y, por ejemplo, los "modelos de aprendizaje automático no paramétricos"? Por último, ¿cuáles podrían ser algunos ejemplos concretos de estos "modelos no paramétricos de dimensiones infinitas"?

Answer 1

Como ha respondido Johnnyboycurtis, los métodos no paramétricos son aquellos que no hacen suposiciones sobre la distribución de la población o el tamaño de la muestra para generar un modelo.

Un modelo k-NN es un ejemplo de modelo no paramétrico, ya que no tiene en cuenta ninguna suposición para desarrollar un modelo. Un Naive Bayes o K-means es un ejemplo de paramétrico ya que asume una distribución para crear un modelo.

Por ejemplo, K-means asume lo siguiente para desarrollar un modelo Todos los conglomerados son esféricos (i.i.d. gaussiano). Todos los ejes tienen la misma distribución y, por tanto, varianza. Todos los conglomerados tienen el mismo tamaño.

En cuanto a k-NN, utiliza el conjunto de entrenamiento completo para la predicción. Calcula los vecinos más cercanos del punto de prueba para la predicción. No asume ninguna distribución para crear un modelo.

Para más información:

1. http://pages.cs.wisc.edu/~jerryzhu/cs731/stat.pdf
2. https://stats.stackexchange.com/a/133841/86202
3. https://stats.stackexchange.com/a/133694/86202

Answer 2

Actualmente estoy haciendo un curso sobre aprendizaje automático, en el que utilizamos la siguiente definición de modelos no paramétricos: "Los modelos no paramétricos crecen en complejidad con el tamaño de los datos".

Modelo paramétrico

Para ver lo que significa, echemos un vistazo a la regresión lineal, un modelo paramétrico: En él intentamos predecir una función parametrizada en $ w \in ℝ ^d $ : $$ f(x) = w^Tx $$ La dimensionalidad de w es independiente del número de observaciones o del tamaño de sus datos.

Modelos no paramétricos

En cambio, la regresión kernel intenta predecir la siguiente función: $$ f(x) = \sum_{i=1}^n \alpha_i k(x_i, x) $$ donde tenemos $n$ puntos de datos, $\alpha_i$ son los pesos y $k(x_i, x)$ es la función kernel. Aquí el número de parámetros $\alpha_i$ es dependiente en el número de puntos de datos $n$ .

Lo mismo ocurre con el perceptrón kernelizado: $$ f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x))) $$

Volvamos a su definición y digamos que d era el número de $\alpha_i$ . Si dejamos que $ n \to \infty $ entonces $d \to \infty$ . Eso es exactamente lo que pide la definición de wikipedia.

Tomé la función de regresión kernel de mis diapositivas de clase y la función de perceptrón kernelizado de wikipedia: https://en.wikipedia.org/wiki/Kernel_method

Answer 3

Creo que te faltan algunos puntos. En primer lugar, y lo más importante,

Un método estadístico se denomina no paramétrico si no hace hipótesis sobre la distribución de la población o el tamaño de la muestra.

He aquí un sencillo tutorial (aplicado) sobre algunos modelos no paramétricos: http://www.r-tutor.com/elementary-statistics/non-parametric-methods

Un investigador puede decidir utilizar un modelo no paramétrico frente a un modelo paramétrico, por ejemplo, regresión no paramétrica frente a regresión lineal, porque los datos violan los supuestos del modelo paramétrico. Dado que usted viene de un fondo de ML, voy a suponer que nunca aprendió los supuestos típicos modelo de regresión lineal. Aquí hay una referencia: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

La violación de los supuestos puede sesgar las estimaciones de los parámetros y, en última instancia, aumentar el riesgo de que las conclusiones no sean válidas. Un modelo no paramétrico es más robusto frente a valores atípicos, relaciones no lineales y no depende de muchos supuestos de distribución de la población, por lo que puede proporcionar resultados más fiables cuando se trata de hacer inferencias o predicciones.

Para un tutorial rápido sobre regresión no paramétrica, recomiendo estas diapositivas: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf