¿Mi amigo estadístico tiene razón/incorrecto en los espacios y normas métricas?

Question

Estuve hablando con un estadístico amigo mío que dijo que en lugar de minimizar esta función $ \sum_ {i,j}W_{ij}d_{ij}^2(X)$ sobre $X$ sería mejor resolver un problema de minimización análogo $ \sum_ {i,j}W_{ij}||f(Y_{i.})-f(Y_{j.})||_ \mathcal {H}$ sobre $f$ en su lugar con la norma que es una norma RKHS (Reproducción del Kernel Hilbert Space) donde las funciones $f(.)$ vienen de un espacio de funciones Hilbert. Ambas minimizaciones están bajo una restricción que $ \sum_ {i,j}d^2_{i,j}(X)$ o $ \sum_ {i,j}||f(Y_{i.})-f(Y_{j.})||_ \mathcal {H}$ está limitado a un valor positivo real fijo $ \nu $ .

Aquí, $d_{ij}^2(X)$ es la distancia euclidiana al cuadrado entre las filas $i,j$ de la verdadera matriz desconocida $X$ . $Y$ es una matriz real fija.

Pregunta: ¿Por qué el último problema bajo el espacio de funciones sería mejor? ¿Qué proporciona la norma RKHS, que es diferente de la distancia/norma euclidiana? A partir de esta descripción, ¿por qué crees que mi amigo académico ha dicho esto, cuando pensaba desde diferentes direcciones matemáticas? ¿Qué estamos ganando o perdiendo entre estas dos formulaciones? Después de todo, una vez que el $f(.)$ se resuelve porque las normas parecen preservar algún tipo de noción de distancia/disimilitud o cercanía. ¿Qué tiene de especial el segundo problema? Entiendo que la pregunta es un poco abierta. ¡Así que por favor siéntase libre de ser verboso al expresar sus pensamientos!

Perspectiva: Le mostré el problema euclidiano inicial. Lo pensó y planteó el otro problema como interesante. Por favor, deseche sus pensamientos.

Answer 1

Esta no es una respuesta, en sí misma, sino algunas observaciones generales.

---

Lo que buscas es similar a un problema de ajuste de la curva o un problema de regresión: tienes algunos datos, y te gustaría encontrar alguna función que se ajuste a estos datos en algún sentido de minimización. Debido a que estás usando la diferencia entre las observaciones, obviamente no es tan sencillo, pero hay algunas similitudes aquí.

Los estadísticos y analistas de datos suelen considerar que los datos son el efecto de alguna causa. Mientras que algunos están encantados de modelar el efecto (por ejemplo, obteniendo una función que se ajuste a los datos, y diciendo "a-ha! El efecto se ve así!"), un problema más interesante es tratar de inferir alguna estructura que subyace en los datos de la fuente, entendiendo la mecánica de la causa. Por supuesto, no se realmente entendiendo la causa sin alguna información extrínseca, pero así es como nos gusta pensar en ello. Algunas mediciones $y$ son el resultado de algún proceso físico $f$ actuando sobre algunas entradas $x$ .

Hay muchas, muchas maneras de hacerlo, muchas de las cuales son más o menos equivalentes. Como mencionó @mtiano, los constructores de modelos aman las normas espaciales de Hilbert.

Lo que una norma espacial Hilbert te compra, en este caso, es una noción de que puedes encontrar alguna función que modela la causa, y entonces al hacerlo, obtienes un modelo del efecto de forma gratuita.

En otras palabras, en lugar de interpolar un montón de datos de salida, se encuentra una función que opera con algunos datos de entrada fijos; una vez que se tiene esa función, se pueden hacer todas las cosas que se harían con un interpolante, pero ahora se puede vincular directamente ese interpolante a algunas variables independientes.

Dependiendo de su enfoque de análisis de datos, hay muchas maneras de abordar este problema. Cosas como las redes neuronales, los algoritmos de estimación de parámetros adaptativos, los métodos de búsqueda cuasi-Newton, etc. tienden a $L^2$ - la minimización. Apostaría que en los trabajos de ingeniería y estadística, $L^2$ es de lejos el "espacio de optimización" más común.

$L^2$ por supuesto, es un espacio Hilbert. Y nos gustan los espacios Hilbert porque tienen productos internos, y los productos internos son cosas que tienden a surgir naturalmente en muchos de estos análisis.

Por supuesto, no. tienen para trabajar en $L^2$ si no se ajusta a su solicitud. Pero todo el trabajo que se ha hecho en el desarrollo de técnicas algorítmicas y analíticas para la optimización y el análisis de datos en $L^2$ van a trasladarse casi inmediatamente a algún otro espacio Hilbert.

El hecho de no tener el producto interno significa que podría tener que hacer algún trabajo adicional, y al final, todo lo que se obtiene es un interpolante en algunos datos observados, sin intuir el proceso subyacente que hizo que los datos se vieran como lo hacen.