¿Cuál es la diferencia entre Normalización y Estandarización?

Question

En el trabajo estábamos discutiendo esto ya que mi jefe nunca ha oído hablar de la normalización. En Álgebra Lineal, la normalización parece referirse a la división de un vector por su longitud. Y en estadística, la Normalización parece referirse a la sustracción de una media y luego dividirla por su SD. Pero también parecen intercambiables con otras posibilidades.

Cuando se crea algún tipo de puntuación universal, eso compone $2$ diferentes métricas, que tienen diferentes medios y diferentes SD, ¿normalizarías, estandarizarías o algo más? Una persona me dijo que es sólo cuestión de tomar cada métrica y dividirlas por su SD, individualmente. Luego sumando las dos. Y eso resultará en un puntaje universal que puede ser usado para juzgar ambas métricas.

Por ejemplo, digamos que tienes el número de personas que toman el metro para ir a trabajar (en la ciudad de Nueva York) y el número de personas que conducen para ir a trabajar (en la ciudad de Nueva York).

$$ \text {Train} \longrightarrow x$$ $$ \text {Car} \longrightarrow y$$

Si quisieras crear una puntuación universal para informar rápidamente de las fluctuaciones del tráfico, no puedes simplemente añadir $ \text {mean}(x)$ y $ \text {mean}(y)$ porque habrá MUCHA más gente que se suba al tren. Hay 8 millones de personas viviendo en la ciudad de Nueva York, además de los turistas. Eso es millones de personas que toman el tren todos los días verso cientos de miles de personas en los coches. Así que necesitan ser transformados a una escala similar para poder ser comparados.

Si $ \text {mean}(x) = 8,000,000$

y $ \text {mean}(y) = 800,000$

¿Normalizarías $x$ & $y$ entonces suma? ¿Estandarizarías $x$ & $y$ entonces suma? ¿O dividirías cada uno por su respectiva SD y luego sumarías? Para llegar a un número que cuando fluctúa, representa las fluctuaciones totales de tráfico.

Cualquier artículo o capítulo de libro para referencia sería muy apreciado. ¡GRACIAS!

También aquí hay otro ejemplo de lo que estoy tratando de hacer.

Imagina que eres el decano de una universidad y estás discutiendo los requisitos de admisión. Puede que quieras estudiantes con al menos un cierto promedio y una cierta puntuación en los exámenes. Sería bueno que ambos estuvieran en la misma escala porque entonces podrías sumar los dos y decir, "cualquiera con al menos un 7.0 puede ser admitido". De esa manera, si un estudiante tiene un promedio de 4.0, podría obtener un puntaje de 3.0 en el examen y aún así ser admitido. A la inversa, si alguien tiene un promedio de 3.0, puede ser admitido con un puntaje de 4.0.

Pero no es así. El ACT está en una escala de 36 puntos y la mayoría de los GPA están en 4.0 (algunos están en 4.3, sí molesto). Ya que no puedo simplemente añadir un ACT y un GPA para obtener algún tipo de puntuación universal, ¿cómo puedo transformarlos para que se puedan añadir, creando así una puntuación de admisión universal. Y luego, como decano, podría aceptar automáticamente a cualquiera con una puntuación superior a un cierto umbral. O incluso aceptar automáticamente a todos aquellos cuya puntuación esté dentro del 95% superior.... ese tipo de cosas.

¿Sería eso normalización? ¿normalización? o sólo dividir cada uno por su SD y luego sumar?

Answer 1

La normalización reajusta los valores de a un rango de [0,1]. Esto puede ser útil en algunos casos en que todos los parámetros deben tener la misma escala positiva, pero se pierden los valores atípicos del conjunto de datos.

Xcambiado = (X - Xmin)/(Xmax-Xmin)

La normalización reajusta los datos para que tengan una media de 0 y una desviación estándar de 1 (desviación unitaria).

Xchanged = (x-mean)/sd

Para la mayoría de las aplicaciones se recomienda la normalización.

Answer 2

En el mundo de los negocios, "normalización" significa típicamente que el rango de valores "se normaliza para ser de 0,0 a 1,0". "Normalización" significa típicamente que el rango de valores se "normaliza" para medir cuántas desviaciones estándar tiene el valor con respecto a su media. Sin embargo, no todo el mundo estaría de acuerdo con eso. Es mejor explicar sus definiciones antes de usarlos.

En cualquier caso, su transformación debe proporcionar algo útil.

En su ejemplo de tren/coche, ¿gana algo al saber cuántas desviaciones estándar de su media, cada valor miente? Si graficas esas medidas "estandarizadas" una contra otra como un gráfico x-y, podrías ver una correlación (ver el primer gráfico de la derecha):

http://en.wikipedia.org/wiki/Correlation_and_dependence

Si es así, ¿significa eso algo para ti?

En cuanto a su segundo ejemplo, si quiere "igualar" un GPA de una escala a otra, ¿qué tienen en común estas escalas? En otras palabras, ¿cómo podrías transformar esos mínimos en equivalentes y los máximos en equivalentes?

Aquí hay un ejemplo de "normalización":

Enlace de normalización

Una vez que se obtienen los resultados del GPA y el ACT de forma intercambiable, ¿tiene sentido sopesar los resultados del ACT y el GPA de forma diferente? Si es así, ¿qué ponderación significa algo para ti?

Edición 1 (05/03/2011) ==========================================

Primero, revisaría los enlaces sugeridos por whuber arriba. El resultado final es que, en sus dos problemas de dos variables, va a tener que llegar a una "equivalencia" de una variable frente a la otra. Y, una forma de diferenciar una variable de la otra. En otras palabras, incluso si puedes simplificar esto a una simple relación lineal, necesitarás "pesos" para diferenciar una variable de la otra.

Aquí hay un ejemplo de un problema de dos variables:

Utilidades de Multi-Atributo

En la última página, si se puede decir que el tráfico de trenes estandarizado U1(x) frente al tráfico de coches estandarizado U2(y) es "adicionalmente independiente", entonces podrías ser capaz de salirte con la tuya con una simple ecuación como:

U(x, y) = k1*U1(x) + (1 - k1)*U2(y)

Donde k1=0.5 significa que eres indiferente al tráfico estandarizado de coches/trenes. Un k1 más alto significaría que el tráfico de tren U1(x) es más importante.

Sin embargo, si estas dos variables no son "adicionalmente independientes", entonces tendrás que usar una ecuación más complicada. Una posibilidad se muestra en la página 1:

U(x, y) = k1*U1(x) + k2*U2(y) + (1-k1-k2)*U1(x)*U2(y)

En cualquier caso, tendrás que inventar una utilidad U(x, y) que tiene sentido.

Los mismos conceptos generales de ponderación/comparación se aplican a su problema de GPA/ACT. Incluso si son "normalizados" en lugar de "estandarizados".

Un último número. Sé que no te va a gustar esto, pero la definición del término "adicionalmente independiente" está en la página 4 del siguiente enlace. Busqué una definición menos friki, pero no encontré ninguna. Podrías mirar a tu alrededor para encontrar algo mejor.

Aditivamente independiente

Citando el enlace:

Intuitively, the agent prefers being both healthy and wealthy
more than might be suggested by considering the two attributes
separately. It thus displays a preference for probability
distributions in which health and wealth are positively
correlated.

Como se sugiere en la parte superior de esta respuesta, si se traza el tráfico estandarizado de trenes frente al tráfico estandarizado de coches en un gráfico x-y, se podría ver una correlación. Si es así, entonces estás atascado con la anterior ecuación de utilidad no lineal o algo similar.

Answer 3

En un declaración de investigación dice:

"La esencia de la geometría aritmética no reside en los diversos esquemas específicos que se dan en un entorno aritmético-geométrico concreto, sino más bien en las pautas combinatorias abstractas, junto con los algoritmos combinatorios que describen esas pautas, que rigen la dinámica de esos esquemas específicos".

Con respecto a esto, luego habla de cómo sus principales motivaciones son los monoides, las categorías de Galois, y los gráficos duales de curvas estables degeneradas, lo que lo lleva a hablar de sus cosas de geometría de categorías, y luego a la "geometría anabeliana absoluta". A continuación, enlaza con un montón de documentos que yo asumiría que se elaboran un poco en él. Luego pasa a hablar sobre la ampliación de la Teoría de Teichmuller.

En general, la declaración de su investigación es bastante legible (y considero que no soy un especialista en aritmética en absoluto) y parece vincularse a las cosas con más detalles.

Answer 4

Para resolver el problema del GPA/ACT o del tren/coche, por qué no utilizar el Media geométrica ?

n√(a1 × a2 × ... × an)

Dónde a* es el valor de la distribución y n es el índice de la distribución.

Esta media geométrica asegura que cada valor, a pesar de su escala, contribuye por igual al valor medio. Vea más en Media geométrica

Answer 5

En mi campo, la ciencia de los datos, la normalización es una transformación de los datos que permite una fácil comparación de los datos a posteriori. Hay muchos tipos de normalización. El escalado es uno de ellos. También se pueden registrar los datos, o hacer cualquier otra cosa que se desee. El tipo de normalización que utilice dependerá del resultado que desee, ya que todas las normalizaciones transforman los datos en otra cosa.

He aquí algunos de los que considero ejemplos de normalización. Normalizaciones de escala Normalización cuantílica