Funciones de núcleo para vectores en espacios discretos

Question

Hay muchas opciones para las funciones del núcleo $k(\textbf{x}, \textbf{y})$ en espacios continuos (por ejemplo $\textbf{x}, \textbf{y}\in \mathbb{R}^d$ ), como el núcleo RBF, etc. Sin embargo, ¿cuáles son algunas funciones de núcleo comunes para los vectores en espacios discretos (por ejemplo, $\textbf{x}, \textbf{y} \in\{0,1\}^d$ o incluso $\textbf{x}, \textbf{y} \in\{1,\dots,K\}^d$ )?

Answer 1

En $\mathcal{I}$ es un conjunto finito con $m$ elementos, una gaussiana gaussiano (GP) $Y_i$ con índice $i \in \mathcal{I}$ no es más que un vector aleatorio gaussiano de longitud $m$ y un núcleo positivo definido en $\mathcal{I}$ no es más que una semidefinida simétrica y positiva $m \times m$ matriz. Estructuras especiales de matrices como Compuesto Simetría o las matrices de bloques pueden ser interesantes: Muchas de estas estructuras en la literatura sobre efectos mixtos, por ejemplo en Pinheiro y Bates . Deben preferirse las formas parametrizadas que impliquen sólo unos pocos parámetros porque el número de observaciones puede ser fácilmente superado por el número de parámetros, que puede llegar a $m(m + 1)/2$ para la denominado sin restricciones estructura. Cuando $\mathcal{I}$ es el producto de $d$ conjuntos finitos, núcleos parametrizados en $\mathcal{I}$ puede ser como productos tensoriales.

Algunas estructuras de covarianza corresponden a una representación de la GP como una suma de GP. Por ejemplo, una GP $Y_i$ con la Simetría Compuesta escribe como $Y_i = \alpha + \beta_i$ donde los efectos $\alpha$ y el $m$ r.vs $\beta_i$ son independientes y $\sum_i \beta_i = 0$ . Así que añadiendo un término de ruido blanco $\varepsilon$ a la derecha la regresión GP se reduce a un modelo clásico de efectos aleatorios. clásico. Pueden obtenerse estructuras más complejas que impliquen efectos no observados efectos no observados, y la estimación (o alisado ) de los efectos pueden ser interesantes. Hay que tener en cuenta entonces que el núcleo actúa como una previa informativa de Bayes. En consecuencia, los estimadores del efectos se reducen. Los modelos ANOVA estándar de efectos fijos corresponden en su lugar a priores difusos que son límites de matrices de covarianza ''grandes como $\lambda \mathbf{I}$ para $\lambda \to \infty$ .

Un núcleo $K$ en un conjunto continuo (infinito) $\mathcal{X}$ se refiere a bases interesantes de funciones en algunos infinito-dimensional espacio de definidas en $\mathcal{X}$ . En cambio, el espacio de todas las funciones sobre un conjunto finito $\mathcal{I}$ es de dimensión finita: elegir una base se reduce a traducir una fórmula del modelo ANOVA.

Answer 2

Una forma de construir núcleos en espacios discretos consiste en considerar una representación gráfica de los datos y definir una función suave en los nodos de los gráficos mediante la transformada gráfica de Fourier. Esta clase de kernels (introducida por Kondor y Lafferty) se denomina núcleos de difusión . Concretamente, el núcleo sobre los nodos del grafo $V$ viene dado por: \begin{align} K(V,V) = \exp(-\beta L) = U \exp(-\beta \Lambda) U^T \end{align} donde $L$ es el laplaciano del grafo, $U$ , $\Lambda$ representan las matrices de vectores y valores propios de L. Tenga en cuenta que se supone que cada entrada es un nodo del grafo construido. Este enfoque también tiene muy buenas conexiones a la ecuación del calor en espacios continuos.