Explicar la "Maldición de la dimensionalidad" a un niño

Question

He escuchado muchas veces acerca de la maldición de la dimensionalidad, pero de alguna manera todavía soy incapaz de captar la idea, todo es niebla.

¿Alguien puede explicar esto de la manera más intuitiva, como se lo explicaría a un niño, por lo que a mí (y a los demás confundido como yo) podría entender esto para bien?

---

EDITAR:

Ahora, digamos que de alguna manera el niño escuchado acerca de la agrupación (por ejemplo, saben cómo clúster de sus juguetes :) ). Cómo sería el aumento de la dimensionalidad hacer el trabajo de la agrupación de sus juguetes más difícil?

Por ejemplo, se utiliza para considerar sólo la forma del juguete y el color del juguete (de un solo color de los juguetes), pero ahora es necesario considerar el tamaño y el peso de los juguetes también. ¿Por qué es más difícil para el niño para encontrar juguetes similares?

---

EDIT 2

Por el bien de la discusión es necesario aclarar que por "¿por Qué es más difícil para el niño para encontrar juguetes similares" - también me refiero a ¿por qué es la noción de pérdida de distancia en alta dimensión de los espacios?

Answer 1

Probablemente el chico le gusta comer galletas, por lo tanto, supongamos que usted tiene todo un camión con las cookies de tener un color diferente, una forma diferente, un sabor diferente, un precio diferente ...

Si el niño tiene para elegir, pero sólo se tendrá en cuenta una característica por ejemplo, el sabor, entonces tiene cuatro posibilidades: dulce, salado, agrio, amargo, por lo que el niño sólo tiene que probar a cuatro cookies para encontrar lo que más le gusta.

Si el chico le gusta combinaciones de sabor y color, y hay 4 (yo soy bastante optimista aquí ;-) ) de diferentes colores, entonces él ya tiene para elegir entre 4x4 diferentes tipos;

Si él quiere, además, tomar en cuenta la forma de las galletas y hay 5 formas diferentes, entonces él tendrá que probar 4x4x5=80 cookies

Podríamos seguir, pero después de comer todos estos cookies, es posible que ya han vientre dolor ... antes de que él puede hacer su mejor elección :-)

Como se puede ver (@Almo) la mayoría (todos?) las cosas se vuelven más complicadas, como el número de dimensiones aumenta, esto es para los adultos, para los equipos y también para los niños.

Answer 2

La analogía que me gusta utilizar para la maldición de la dimensionalidad es un poco más en el geométrica lado, pero espero que todavía lo suficientemente útil para su niño.

Es fácil de cazar a un perro y tal vez de cogerlo si estuviera corriendo en la llanura (dos dimensiones). Es mucho más difícil para la caza de aves, que ahora tienen una dimensión adicional que se puede mover en. Si pretendemos que los fantasmas son más altos seres de dimensiones (similar a la Esfera de la interacción con A. Plaza en Flatland), esos son incluso más difíciles de capturar. :)

Answer 3

Ok, así que vamos a analizar el ejemplo del niño de clústeres de sus juguetes.
Imagine que el niño tiene sólo 3 de los juguetes:

1. una pelota de fútbol azul
   
2. un azul freesbe
3. un cubo verde (ok tal vez no sea el más divertido juguete que usted puede imaginar)

Vamos a hacer lo siguiente hipótesis inicial acerca de cómo un juguete, puede ser:

1. Posibles colores son: rojo, verde, azul
2. Posibles formas: círculo, cuadrado, triángulo

Ahora podemos tener (num_colors * num_shapes) = 3 * 3 = 9 posibles clusters.

El chico de clúster de los juguetes de la siguiente manera:

• Categoría a) contiene la bola azul y el azul freesbe, debido a que tienen el mismo color y la forma
• Categoría B) contiene la super-divertido cubo verde

Utilizando sólo estos 2 dimensiones (color, forma) tenemos 2 no vacío grupos: así, en este primer caso 7/9 ~ 77% de nuestro espacio está vacío.

Ahora vamos a aumentar el número de dimensiones que el niño tiene que tener en cuenta. Hacemos también la siguiente hipótesis sobre cómo un juguete, puede ser:

3. Tamaño del juguete, puede variar entre pocos centímetros a 1 metro, en el paso de diez centímetros: 0-10cm, 11-20 cm, ..., 91cm-1m
4. Peso del juguete puede variar de una manera similar hasta 1 kilogramo, con pasos de 100grams: 0-100 g de 101 a 200 g, ..., 901g-1kg.

Si queremos clúster de nuestros juguetes AHORA, tenemos (num_colors * num_shapes * num_sizes * num_weights) = 3 * 3 * 10 * 10= 900 los clústeres posibles.

El chico de clúster de los juguetes de la siguiente manera:

• Categoría a) contiene la pelota de fútbol azul porque es el color azul y pesados
• Categoría B) contiene el azul freesbe porque es azul y la luz
• Categoría C) contiene el super-divertido cubo verde

El uso de la corriente de 4 dimensiones (forma, color, tamaño, peso), sólo 3 de los clústeres son no vacías: en este caso 897/900 ~ 99,7% del espacio está vacío.

Este es un ejemplo de lo que puedes encontrar en la Wikipedia (https://en.wikipedia.org/wiki/Curse_of_dimensionality):
...cuando la dimensionalidad aumenta, el volumen del espacio aumenta tan rápido que los datos disponibles se dispersa.

---

Edit: no estoy seguro de que realmente podía explicar a un niño por qué distancia de a veces va mal en alta dimensión de los espacios, pero vamos a continuar con nuestro ejemplo de el niño y sus juguetes.

Considerar sólo las 2 primeras funciones {el color, la forma} todo el mundo está de acuerdo en que la bola azul es más similar a la de color azul freesbe que el cubo verde.

Ahora vamos a añadir otro 98 características {decir: tamaño, peso, day_of_production_of_the_toy, material, suavidad, day_in_which_the_toy_was_bought_by_daddy, precio etc}: bueno, para mí sería cada vez más difícil juzgar qué juguete es similar a la que.

Así:

1. Un gran número de características puede ser irrelevante en una cierta comparación de similitud, que conduce a la corrupción de la señal-a-ruido.
2. En altas dimensiones, todos los ejemplos de "look-alike".
   
   

Si me escuchas, una buena charla es "Un Par de Cosas Útiles para Saber acerca de la Máquina de Aprendizaje" (http://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf), párrafo 6, en particular, presenta este tipo de razonamiento.

Espero que esto ayude!

Answer 4

La maldición de la dimensionalidad es algo difusa en la definición, ya que describe diferentes, pero relacionados con las cosas de diferentes disciplinas. El ejemplo siguiente ilustra la máquina de aprendizaje de la maldición de la dimensionalidad:

Supongamos que una niña tiene diez juguetes, de los que a ella le gusta sólo los que están en cursiva:

• un oso de peluche marrón
• un coche azul
• un tren rojo
• una excavadora amarilla
• un libro verde
• un gris de peluche de la morsa
• un carro negro
• una bola rosa
• un libro blanco
• una naranja de la muñeca

Ahora, su padre quiere darle un nuevo juguete como regalo para su cumpleaños y quiere asegurarse de que ella le gusta. Él piensa muy duro acerca de lo que los juguetes que a ella le gusta que tienen en común y finalmente llega a una solución. Él da a su hija un color rompecabezas. Cuando ella no le gusta, él responde: "¿por Qué no te gusta? No contiene la letra w."

El padre ha sido víctima de la maldición de la dimensionalidad (y en la muestra de optimización). Considerando letras, él se estaba moviendo en un 26 dimensiones de espacio y por lo tanto es muy probable que iba a encontrar algún criterio que separa los juguetes gustó por la hija. Esto no necesita ser de una sola letra de criterio como en el ejemplo, pero también pudo haber sido algo como

contiene al menos uno de a, n y p , pero ninguno de u, f y s.

Adecuadamente saber si las letras son un buen criterio para determinar cuáles son los juguetes de su hija le gusta, el padre tendría que saber de su hija, que las preferencias de una gigantesca cantidad de toys1 – o simplemente utilizar su cerebro y sólo considerar los parámetros que son en realidad concebible que afectan a la hija de la opinión.

---

1 orden de magnitud: $2^{26}$, si todas las letras eran igualmente probables y no iba a tomar en cuenta las múltiples apariciones de letras.

Answer 5

Supongamos que usted desea enviar a algunos bienes. Usted quiere perder tan poco espacio como sea posible cuando el embalaje de las mercancías (es decir, dejar la menor cantidad de espacio vacío como sea posible), porque los gastos de envío están relacionados con el volumen de los sobres/caja. Los contenedores a su disposición (sobres, cajas) tienen ángulos rectos, así que no hay sacos etc.

Primer problema: enviar un lápiz ("línea") - usted puede construir un cuadro alrededor de la misma con ningún espacio perdido.

Segundo problema: enviar un CD (una "esfera"). Usted necesita para ponerlo en una plaza de la envolvente. Dependiendo de la edad del niño es, ella puede ser capaz de calcular la cantidad de sobres vacíos (y aún así saber que hay CDs y no sólo las descargas ;-)).

Tercer problema: el barco de fútbol, y tiene que ser inflados!). Usted tendrá que poner en una caja, y un poco de espacio permanecerá vacío. Ese espacio vacío será una mayor fracción del volumen total que en el CD de ejemplo.

En ese momento mi intuición usando esta analogía se detiene, porque no puedo imaginar una 4ta dimensión.

EDIT: La analogía es más útil (en todo caso) para no paramétricos de estimación, que utiliza observaciones "local" para el punto de interés para estimar, por ejemplo, una densidad o una regresión de la función en ese punto. La maldición de la dimensionalidad es que en las dimensiones superiores, uno necesita una mucho más grande de barrio para un determinado número de observaciones (lo que hace que la noción de localidad cuestionable) o una gran cantidad de datos.