En una red neuronal con N variables de control, se >N unidades ocultos inútil?

Question

Yo soy el ajuste de una red neuronal para este ejemplo, los datos que he encontrado en internet: Máquina Repositorio De Aprendizaje

Yo soy de la cruz validación de 1 a 10 unidades ocultas (en sólo 1 capa), y tengo el error mínimo con 10 unidades ocultos. Sin embargo, estoy de alguna manera el pensamiento de la linealmente dependiente de diseño de matrices, cuando la introducción de 10 unidades ocultos por sólo 3 variables de entrada (el nivel de Rojo, Verde y Azul).

Es esta preocupación justificada, o puedo usar 10 unidades ocultos aquí? Tal vez el (sigmoide) transformación hace algo para evitar la dependencia lineal?

Answer 1

No, no hay necesidad de preocuparse por esto, porque la no-lineal de transformación significa que la función de espacio generado por la capa oculta de neuronas puede ser de mayor dimensión que el espacio de entrada sin ser linealmente dependiente.

Considere la posibilidad de Ripley sintético de referencia del conjunto de datos, que consta de dos clases, cada una de las cuales está representada por dos de Gauss clusters, que se parece a esto:

Una buena solución puede ser obtenida mediante la colocación de una función de base radial en cada clúster y, a continuación, utilizando un discriminante lineal en la salida de estas cuatro unidades ocultos. Usted debe encontrar que (incluso) la normal de ecuaciones de regresión lineal son numéricamente bien acondicionado, que sugiere que la dependencia lineal no es un problema. La no-lineal de transformación es de hecho la razón de esto.

Tenga en cuenta que si utiliza la regularización (que yo recomendaría para cualquier MLP aplicación), a continuación, dependencia lineal no es un problema de todos modos.