Explique el significado y propósito de la normalización L2

Question

Permítanme decir desde el principio que soy muy nuevo en aprendizaje automático y no soy muy bueno en matemáticas. Entiendo lo que hace TF-IDF, pero en el libro que estoy leyendo también menciona lo siguiente (está discutiendo cómo hace las cosas scikit-learn):

Ambas clases [TfidfTransformer y TfidfVectorizer] también aplican normalización L2 después de calcular la representación tf-idf; en otras palabras, rescalan la representación de cada documento para que tenga una norma euclidiana de 1. Al rescalar de esta manera, significa que la longitud de un documento (el número de palabras) no cambia la representación vectorizada.

Eso es todo lo que tiene que decir sobre el tema. Lo que creo que significa, y avíseme si estoy equivocado, es que escalamos los valores para que, si todos fueran al cuadrado y sumados, el valor sería 1 (tomé esta definición de http://kawahara.ca/how-to-normalize-vectors-to-unit-norm-in-python/).

Entonces, la idea es que los valores de las características se vuelven proporcionales entre sí. Aún no estoy seguro de cómo eso sería útil para el modelo, sin embargo. ¿Ayuda al clasificador general aprender si algunos ejemplos no tienen un mayor número total de "características activadas" que otros?

También, aquí va una pregunta básica: ¿La normalización L2 tiene alguna relación con la regularización L2? ¿Quizás es solo que ambos implican cuadrar y sumar términos?

¡Cualquier información que puedas compartir sería muy apreciada!

Answer 1

escalamos los valores para que si todos estuvieran al cuadrado y sumados, el valor sería 1

Eso es correcto.

No estoy totalmente seguro de cómo eso sería útil para el modelo, sin embargo

Considera un caso más simple, donde simplemente contamos el número de veces que aparece cada palabra en cada documento. En este caso, dos documentos podrían parecer diferentes simplemente porque tienen longitudes diferentes (el documento más largo contiene más palabras). Sin embargo, estamos más interesados en el significado del documento, y la longitud no contribuye a esto. La normalización nos permite considerar la frecuencia de las palabras relativas entre sí, mientras eliminamos el efecto del recuento total de palabras.

¿La normalización L2 tiene algo que ver con la regularización L2?

La regularización L2 opera en los parámetros de un modelo, mientras que la normalización L2 (en el contexto que estás preguntando) opera en la representación de los datos. No están relacionados en ningún sentido significativo, más allá del hecho superficial de que ambos requieren calcular normas L2 (suma de términos al cuadrado, como dices).

Pero, ten en cuenta que la normalización L2 es una operación genérica, y puede aplicarse en contextos más allá del que estás preguntando. Sí existen situaciones donde se podría establecer una conexión entre los dos conceptos, pero creo que eso está más allá del alcance de esta pregunta.