8 votos

¿Cómo la explicación de distancia causa problemas para el aprendizaje?

En una de sus conferencias Geoff Hinton explica que un gran problema de la sigmoide creencia de redes es el de explicar el fenómeno. Yo no sabía esto. Veo que la inducida por el ancho del gráfico de la Variable que representa la Eliminación podría aumentar debido a que el relleno en los bordes de ser introducido en el V estructuras. Pero hay una más intuición basada forma de ver esto, en lugar de un recurso ante el rigor de la inducida por la gráfica?

Consideremos un ejemplo simple donde las casas rodantes son: ¿un terremoto ocurriera, ocurrió un robo que se producen, e hizo un disparo de alarma. La gráfica es una V estructura con el Terremoto y el Robo como el de los padres y la Alarma en el niño. Si un ser humano fuera a tratar y de la razón sobre la verdadera $P(Alarm|Earthquake)$ o $P(Alarm|Burglary)$ ¿qué tipo de dificultad sería este V-estructurado relación de causa?

3voto

patfla Puntos 1

El único problema que puedo ver desde una "V estructura" es que usted tiene dos "causas" - esto significa que puede haber dificultades para desenredar el efecto de cada uno de los "padres". En términos de su ejemplo, podría darse el caso de que se observe "terremoto" y "robo" juntos (tanto "on" o ambos "off"). Por lo que se podría obtener una buena estimación para el valor de$ P (alarm|earthquake \cup burglary) $, pero no los efectos marginales. Este es el equivalente de multicolinearity en la regresión lineal. Si usted está utilizando el vector $ (e_i, b_i, a_i) $ ("e" para el terremoto, etc) y suponiendo un modelo binomial su probabilidad para la i-ésima punto de datos es $ p_i=e_i\theta_e + b_i\theta_b $. Las probabilidades en cuestión se $ Pr (alarm|earthquake)=\theta_e + Pr (burglary|earthquake)\theta_b $ y, a continuación, $ Pr (alarm|burglary)=\theta_b + Pr (earthquake|burglary) \theta_e $

Si sólo observarlos juntos $ (e_i=1, b_i=1) $ o $(e_i=0, b_i=0) $, entonces ambas probabilidades se $\theta_b + \theta_e $. Esto significa que la información es ineficiente en la elección de la variable que mantener.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X