Base teórica para desbordamiento

Question

Hay muchos ejemplos en los que hacer más "precisa" predicciones da un peor rendimiento (por ejemplo, método de Runge del fenómeno). Mi profesor supone que existe una base sólida para la elección de "simple" de las funciones más complejas en el caso general, y que tenía que ver con la teoría de la información.

¿Alguien sabe a qué se estaba refiriendo?

Como un ejemplo: considere la posibilidad de mínimos cuadrados. Obviamente podríamos encontrar un polinomio de grado muy alto que tiene cero error, pero preferimos una ecuación lineal con una mayor error. ¿Por qué debería ser?

(Estoy familiarizado con algunos conceptos básicos como la entropía, pero no mucho más que eso, de modo más simple de las explicaciones sería muy preferido. Aunque entiendo que si es complejo, es complejo.)

Answer 1

Ver teoría de VC (nombre Vapnik y Chervonenkis) y sobre todo estructurales riesgo minimización (SRM).

Answer 2

Hay un equilibrio fundamental en la inferencia entre simplicidad y precisión. La predicción más exacta requieren de una mayor complejidad, y son responsables de 'overfit' - que es esencialmente aprender algo de tamaños de muestra pequeños que realmente no existe en la distribución de la misma (o grandes tamaños de muestra).

En ELLA, la desventaja es que a menudo canonicized por la entropía - que disparar para una distribución que maximiza la entropía, sujeto a ciertas restricciones, que estamos dispuestos a tomar (por lo general, estos provienen de los datos). Por ejemplo, supongamos que usted está tirando una moneda al aire, y tratando de decidir si la moneda es justo. Primero voltear sus cabezas. Debe concluir en este punto que la moneda está sesgada para siempre la tierra de las manos? Por supuesto que no! Que sería importante overfit. Ahora, si se da la vuelta 10 veces y se fue de cabeza cada vez, que se puede calificar como 'más de las restricciones', lo que permite acotar la verdadera distribución (tal vez el 90% de las cabezas, el 10% de las colas).