¿Hay una manera de obtener un promedio pesos cada elemento inverso basado en distancia de la media?

Question

No estoy seguro de cómo esta frase, o incluso si tal cosa existe. Lo siento!

Tengo un montón de puntos de datos, que son en su mayoría bastante apretado. Cada grupo debe centrarse en un punto específico en el espacio. Por desgracia, algunas de las grabaciones de la contaminación de los movimientos (es decir, un golpe de la tabla). Estos movimientos siempre terminan donde empezaron, así que los puntos de datos que siguen son similares a los que preceden al movimiento.

Estos movimientos afectan a una proporción muy pequeña de los puntos de datos, por lo que he estado ignorando hasta ahora y solo se utiliza la media de las coordenadas para determinar la ubicación. Lo que me gustaría es una función que los pesos de cada punto de datos de acuerdo a su similitud con los otros, de tal manera que un punto de datos durante un movimiento tendría una menor ponderación de un punto estático.

Hay un nombre para esto? ¿Cómo se hace?

Answer 1

Alternativamente, si usted espera conocer la precisión de las mediciones, usted puede simplemente ignorar a aquellos que están demasiado lejos. Si su precisión normal es $\pm 1$ mm, simplemente elimine los que no están dentro de la distancia de otros lo suficiente. Su modelo es que estos datos son sólo basura (causado por golpes, por ejemplo). Si todos los golpes se mueve en la misma dirección y desea que el unbumped ubicación, es mejor ignorar los datos obtenidos cuando se ha mudado. Si usted tiene un tiempo stame en cada lectura, incluso podría pensar acerca de la eliminación de todos los datos que difiere mucho de la del vecino sellos de tiempo.

Answer 2

Un enfoque sencillo sería el siguiente:

1. Calcular la media de todos los puntos de datos.

2. Calcule la desviación estándar de la media.

3. Tirar todos los puntos de datos que son más de dos desviaciones estándar de la media.

4. Calcular la media de los nuevos datos.

Si quieres algo de sofisticado, hay varias pruebas estándar para la identificación de valores atípicos en un conjunto de datos dado. Estos incluyen:

1. El criterio de Chauvenet, los cuales se ajustan a la "corte" basado en el número de puntos de datos. De acuerdo a este criterio, una $2\sigma$ frecuencia de corte es adecuado para los 10 puntos del conjunto de datos, un 3$\sigma$ punto de corte se appopriate para un 200 puntos del conjunto de datos, y un $4\sigma$ frecuencia de corte es adecuado para los 10.000 puntos del conjunto de datos.

2. Grubbs' de la prueba, que forma iterativa elimina los valores extremos de una en una.

3. Dixon P de la Prueba, que identifica los valores atípicos basado en la "brecha" entre un valor atípico, el más cercano a otros puntos de datos.

Answer 3

Dicen que los puntos de datos son $(x_i)_{i=1\dots n}$. Se podría definir

$$\mu = \frac{1}{n}\sum_{i=1}^n x_i$$

que significa el no ponderado y luego define pesos

$$w_i = \frac{1}{|x_i - \mu| + \epsilon}$$

$\epsilon > 0$ y finalmente definir una media ponderada por

$$\mu' = \frac{\sum_{i=1}^n w_i x_i}{\sum_{i=1}^n w_i}.$$

$\epsilon$ Aparece en el denominador de la ecuación de segundo para que no acaben con infinitos pesos.

Debo señalar que esto es una solución muy ad-hoc, sin embargo y no corresponde a ningún método estadístico que he escuchado de.

Answer 4

Hay muchas maneras a pesar de los puntos para los fines de la correlación de la agrupación, la regresión etc.

Métodos robustos son aquellas que tienden a sopesar los valores atípicos menos (o incluso descartar del todo) que los métodos clásicos - aunque incluso los métodos robustos de la fecha de regreso a Gauss y Laplace.

Gauss a favor de un menos-media-cuadrado de enfoque en lo que podríamos llamar clásica o $L_2$ métrica, también conocido como la distancia Euclídea. Esta norma pesa valores atípicos (en realidad todos los puntos) cuadráticamente como una función de la distancia de la media.

Laplace desarrollado una menos absoluta-las desviaciones enfoque asociado con la $L_1$ métrica. Esta métrica se llama robusta porque los puntos (incluyendo los valores extremos) se pesan de forma lineal en relación a la media.

El murciélago no sé si alguna de las $L_p$ norma se producirá un inversa de pesaje (Pero hay cientos de familias de nombre métricas, véase, por ejemplo Deza & Deza "Diccionario de Distancias")

Relacionadas con los métodos robustos son los conceptos importantes de la mediana, el fin de estadística, descomposición punto y truncado media.