14 votos

¿Es la regresión lineal múltiple en 3 dimensiones un plano de mejor ajuste o una línea de mejor ajuste?

Nuestro profesor no entra en las matemáticas o incluso en la representación geométrica de la regresión lineal múltiple y esto me tiene ligeramente confundido.

Por un lado se sigue llamando múltiple lineal regresión, incluso en dimensiones superiores. Por otro lado, si tenemos por ejemplo $\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$ y podemos introducir los valores que queramos para $X_1$ y $X_2$ ¿no nos daría esto un plano de posibles soluciones y no una línea?

En general, ¿nuestra superficie de predicción no va a ser un $k$ hiperplano dimensional para $k$ ¿variables independientes?

13voto

eldering Puntos 3814

Tienes razón, la superficie de la solución va a ser un hiperplano en general. Lo que ocurre es que la palabra hiperplano es un trabalenguas, el plano es más corto y la línea es aún más corta. A medida que se avanza en las matemáticas, el caso unidimensional se discute cada vez menos, por lo que el compromiso

Big words for high dimensional, Small words for small dimensional

empieza a parecer, bueno, al revés.

Por ejemplo, cuando veo una ecuación como $Ax = b$ , donde $A$ es una matriz y $x, b$ son vectores, lo llamo ecuación lineal . En una parte anterior de mi vida, llamaría a esto un sistema de ecuaciones lineales , reservando ecuación lineal para el caso unidimensional. Pero luego llegué a un punto en el que el caso unidimensional no aparecía muy a menudo, mientras que el caso multidimensional estaba en todas partes.

Esto también ocurre con la notación. Alguna vez has visto a alguien escribir

$$ \frac{\partial f}{\partial x} = 2x $$

Ese símbolo de la izquierda es el nombre de una función, así que para ser formal y pedante, deberías escribir

$$ \frac{\partial f}{\partial x}(x) = 2x $$

Esto empeora en las multidimensiones, cuando la derivada toma dos argumentos, uno es dónde se toma la derivada, y el otro es en qué dirección se evalúa la derivada, lo que parece

$$ \nabla_{x} f (v)$$

pero la gente se vuelve perezosa muy rápidamente, y empieza a dejar de lado uno u otro argumento, dejando que se entienda por el contexto.

Los matemáticos profesionales, con la lengua en la boca, llaman a esto _abuso de la notación_ . Hay temas en los que sería esencialmente imposible expresarse sin abusar de la notación, mi querido geometría diferencial es un ejemplo de ello. El gran Nicolas Bourbaki lo expresó de forma muy elocuente

En la medida de lo posible, hemos llamado la atención en el texto sobre los abusos del lenguaje, sin los cuales cualquier texto matemático corre el riesgo de ser pedante, por no decir ilegible.

-Bourbaki (1988)

Incluso comentas un abuso de notación en el que caí arriba sin darme cuenta yo mismo.

Técnicamente, ya que escribiste df/dx como una derivada parcial, aunque las otras variables implícitas se mantuvieran constantes, ¿no sería la derivada parcial técnicamente una función de todas las variables de la función original, como en df/dx (x, y, ...)?

Tienes toda la razón, y esto da una buena ilustración (no intencionada) de lo que quiero decir aquí.

Me encuentro con la derivada en un verdadero sentido de una variable tan raramente en mi trabajo y estudios diarios, que esencialmente he olvidado que $\frac{d f}{d x}$ es la notación correcta aquí. Pretendía que lo anterior se refiriera a una función de una variable, pero inconscientemente señalé lo contrario con el uso de $\partial$ .

Supongo que lo veo como cuando decimos "suma infinita" en lugar de "el límite de una suma cuando el número de términos se acerca al infinito". En mi opinión, está bien siempre que la diferencia conceptual esté clara. En este caso (regresión múltiple), no estaba realmente seguro de lo que estábamos hablando en primer lugar.

Sí, es una forma coherente de pensar en ello. La única diferencia real es que allí tenemos una situación tan común que inventó un sistema adicional de (*) notación y terminología ( $\Sigma$ y "suma infinita") para expresarlo. En otros casos, generalizamos un concepto, y luego ese concepto generalizado se vuelve tan omnipresente que reutilizar notación o terminología antigua para el concepto generalizado.

Como personas perezosas queremos economizar palabras en los casos comunes.

(*) Históricamente, no es así como se desarrollaron las sumas infinitas. La definición de límite de sumas parciales se desarrolló a posteriori cuando los matemáticos empezaron a encontrarse con situaciones en las que era necesario razonar con mucha precisión.

0 votos

Es curioso que pongas el ejemplo de las derivadas parciales porque yo siempre me lo preguntaba (las alegrías del autoestudio...). Por cierto (no está relacionado y no estoy siendo pedante sino que quiero asegurarme de que entiendo lo máximo posible) técnicamente, ya que escribiste df/dx como una derivada parcial, aunque las otras variables implícitas se mantuvieran como constantes, ¿no sería la derivada parcial técnicamente todavía una función de todas las variables de la función original, como en df/dx (x, y, ...)? Supongo que mi pregunta es si la derivada parcial no sigue siendo una función de todas las variables.

0 votos

Además, gracias por explicar todo eso. Supongo que lo veo como cuando decimos "suma infinita" en lugar de "el límite de una suma cuando el número de términos se acerca al infinito". La forma en que lo pienso es que está bien siempre que la diferencia conceptual esté clara. En este caso (regresión múltiple), no estaba muy seguro de lo que estábamos hablando en primer lugar. Traté de imaginar una línea en 3d y luego me di cuenta de que no tenía sentido si dejamos que varias variables independientes varíen libremente, así que sólo quería asegurarme.

0 votos

+1 gran respuesta. A veces la gente es perezosa y provoca muchas confusiones. Es por eso que yo estaba tratando de pedir a las anotaciones en este post. stats.stackexchange.com/questions/216286/

5voto

AdamSane Puntos 1825

"Lineal" no significa exactamente lo que crees que significa en este contexto - es un poco más general

En primer lugar, no es realmente una referencia a la linealidad en las x sino a los parámetros* ("lineal en los parámetros").

En segundo lugar, una función lineal en el sentido del álgebra lineal es esencialmente un mapa lineal; $E(Y|X) = X\beta$ es una función lineal en $\beta$ -espacio.

Por tanto, un plano (o más generalmente un hiperplano) de mejor ajuste sigue siendo una "regresión lineal".

* aunque será lineal en las x suministradas si se considera la columna constante de $1$ como parte de la coordenada-vectora (o alternativamente pensar en ella en coordenadas homogéneas con normalización de la coordenada adicional). O simplemente se puede decir $X\beta$ es lineal en ambos $X$ y $\beta$

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X