¿Cómo calcular el número de características en función de la resolución de la imagen?

Question

Acabamos de tratar la hipótesis no lineal de las redes neuronales de Andrew Ng, y teníamos una pregunta de opción múltiple para determinar número de características para una imagen de resolución 100x100 de grescale intensidades.

Y la respuesta fue 50 millones, $5$ x $10^7$

Sin embargo, antes, para una imagen de 50 x 50 píxeles en escala de grises, el número de características es de 50x50 (2500)

¿Por qué sería $5$ x $10^7$ en lugar de $10,000$ ?

Sin embargo, dice que incluir todos los términos cuadráticos ( $x_ix_j$ ) como características

Supongamos que está aprendiendo a reconocer coches a partir de imágenes de 100×100 píxeles (escala de grises, no RGB). Las características son los valores de intensidad de los píxeles. Si se entrena la regresión logística incluyendo todos los términos cuadráticos ( $x_ix_j$ ) como características, ¿cuántas características tendrá?

y en la diapositiva anterior sobre el 100x100, que las características cuadráticas ( $x_i$ x $x_j$ ) = 3 millones de características, pero todavía no puedo dar con la conexión.

Answer 1

Quizá un caso más sencillo aclare las cosas. Digamos que elegimos una muestra de píxeles de 1x2 en lugar de 100x100.

Píxeles de muestra de la imagen

+----+----+
| x1 | x2 |
+----+----+

Imaginemos que al trazar nuestro conjunto de entrenamiento, nos dimos cuenta de que no se puede separar fácilmente con un modelo lineal, así que optamos por añadir términos polinómicos para ajustarnos mejor a los datos.

Digamos que decidimos construir nuestros polinomios incluyendo todas las intensidades de los píxeles, y todos los posibles múltiplos que se pueden formar a partir de ellas.

Como nuestra matriz es pequeña, vamos a enumerarlas:

$$x_1,\ x_2,\ x_1^2,\ x_2^2,\ x_1 \times x_2,\ x_2 \times x_1 $$

Interpretando la anterior secuencia de características podemos ver que existe un patrón. Los dos primeros términos, el grupo 1, son características que consisten únicamente en la intensidad de sus píxeles. Los dos siguientes términos, grupo 2, son características que consisten en el cuadrado de su intensidad. Los dos últimos términos, el grupo 3, son el producto de todas las combinaciones de las intensidades de los dos píxeles.

grupo 1: $x_1,\ x_2$

grupo 2: $x_1^2,\ x_2^2$

grupo 3: $x_1 \times x_2,\ x_2 \times x_1$

Pero espera, hay un problema. Si miras los términos del grupo 3 en la secuencia ( $ x_1 \times x_2$ y $x_2 \times x_1$ ) te darás cuenta de que son iguales. Recuerda nuestro ejemplo de la vivienda. Imagina que tienes dos características x1 = metros cuadrados, y x2 = metros cuadrados, para la misma casa... ¡No tiene ningún sentido! Ok, entonces tenemos que deshacernos de la característica duplicada, digamos que arbitrariamente $x_2 \times x_1$ . Ahora podemos reescribir la lista de características del grupo tres como:

grupo 3: $x_1 \times x_2$

Contamos las características de los tres grupos y obtenemos 5.

Pero este es un ejemplo de juguete. Vamos a derivar una fórmula genérica para calcular el número de características. Utilicemos nuestros grupos originales de características como punto de partida.

$size group 1 + size group 2 + size group 3 = m \times n + m \times n +m \times n = 3 \times m \times n$

¡Ah! Pero tuvimos que deshacernos del producto duplicado en el grupo 3.

Así que para contar adecuadamente las características del grupo 3 necesitaremos una forma de contar todos los productos únicos por pares en la matriz. Lo que se puede hacer con el coeficiente binomial, que es un método para contar todos los posibles subgrupos únicos de tamaño k de un grupo igual o mayor de tamaño n. Así que para contar adecuadamente las características del grupo 3 calcular $C(m \times n, 2)$ .

Así que nuestra fórmula genérica sería:

$$ m \times n + m \times n +C(m \times n, 2) = 2m \times n + C(m \times n, 2) $$

Utilicémoslo para calcular el número de características en nuestro ejemplo de juguete:

$$2 \times 1 \times 2 + C(1 \times 2, 2) = 4 + 1 = 5$$

¡Eso es!

Answer 2

Si se utilizan todas las características lineales y cuadráticas, se supone que el número total es:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj

A calcular la combinación en Octave/Matlab ,

octave:23> nchoosek(100*100,2)
ans =  49995000

Answer 3

La idea de ( $x^2$ )/2 también podría funcionar para obtener las características cuadráticas. Así, si n = 2500, entonces sabemos que x(i) = 2500 y sustituyendo x en la fórmula obtendremos 50 millones