Fórmula de probabilidad para una distribución multivariante-bernoulli

Question

Necesito una fórmula para la probabilidad de un suceso en una distribución Bernoulli de n variables $X\in\{0,1\}^n$ con $P(X_i=1)=p_i$ probabilidades para un solo elemento y para pares de elementos $P(X_i=1 \wedge X_j=1)=p_{ij}$ . Equivalentemente podría dar media y covarianza de $X$ .

Ya he aprendido que existen muchas $\{0,1\}^n$ distribuciones que tienen las propiedades al igual que hay muchas distribuciones que tienen una media y una covarianza dadas. Busco una canónica en $\{0,1\}^n$ al igual que la gaussiana es una distribución canónica para $R^n$ y una media y covarianza dadas.

Answer 1

La variable aleatoria que toma valores en $\{0,1\}^n$ es una variable aleatoria discreta. Su distribución se describe completamente mediante las probabilidades $p_{\mathbf{i}}=P(X=\mathbf{i})$ con $\mathbf{i}\in\{0,1\}^n$ . Las probabilidades $p_{i}$ y $p_{ij}$ que das son sumas de $p_{\mathbf{i}}$ para determinados índices $\mathbf{i}$ .

Ahora parece que quieres describir $p_{\mathbf{i}}$ utilizando únicamente $p_i$ y $p_{ij}$ . No es posible sin asumir ciertas propiedades sobre $p_{\mathbf{i}}$ . Para ver que tratar de derivar función característica de $X$ . Si tomamos $n=3$ obtenemos

\begin{align} Ee^{i(t_1X_1+t_2X_2+t_3X_3)}&=p_{000}+p_{100}e^{it_1}+p_{010}e^{it_2}+p_{001}e^{it_3}\\\\ &+p_{110}e^{i(t_1+t_2)}+p_{101}e^{i(t_1+t_3)}+p_{011}e^{i(t_2+t_3)}+p_{111}e^{i(t_1+t_2+t_3)} \end{align} No es posible reordenar esta expresión de modo que $p_{\mathbf{i}}$ desaparecer. Para la variable aleatoria gaussiana, la función característica sólo depende de los parámetros de media y covarianza. Las funciones características definen unívocamente las distribuciones, por lo que la gaussiana puede describirse unívocamente utilizando sólo la media y la covarianza. Como vemos para la variable aleatoria $X$ este no es el caso.

Answer 2

Véase el siguiente documento:

J. L. Teugels, Algunas representaciones de la binomial , Revista de Análisis Multivariante vol. 32, nº 2, febrero de 1990, 256-268.

He aquí el resumen:

Se establecen versiones multivariantes pero vectorizadas para las distribuciones Bernoulli y binomial utilizando el concepto de producto de Kronecker del cálculo matricial. La distribución Bernoulli multivariante implica un modelo parametrizado, que proporciona una alternativa al modelo log-lineal tradicional para variables binarias.

Answer 3

En $n$ -de Bernoulli puede expresarse en términos de una distribución $n$ por $n$ matriz $\Sigma$ que es una matriz análoga a la matriz de covarianza de la distribución gaussiana, pero no necesariamente una matriz simétrica. Por ejemplo, los elementos diagonales de $\Sigma$ representan probabilidades para un solo elemento $p(X_i=1) = \Sigma_{ii} = \mu_i$ . Las probabilidades de los pares de elementos vienen dadas por el determinante de la submatriz de $\Sigma$ : \begin{align*} p(X_i=1, X_j=1)=\det \begin{bmatrix} \Sigma_{ii} & \Sigma_{ij} \\ \Sigma_{ji} & \Sigma_{jj} \end{bmatrix} . \. En otras palabras, la covarianza entre $X_i$ y $X_j$ se expresa como un producto de elementos no diagonales de la siguiente manera, \begin{align*} \mathrm{Cov}[X_i, X_j]=\mathrm{E}[(X_i-\mu_i)(X_j-\mu_j)] = -\Sigma_{ij} \Sigma_{ji}. \end{align*} Por lo tanto, la covarianza por sí sola no puede determinar unívocamente los elementos no diagonales de $\Sigma$ . Sin embargo, los parámetros del modelo de una distribución que tiene una media y una covarianza dadas pueden obtenerse por el principio de maximización de la entropía.

Creo que la distribución anterior es una distribución canónica para variables aleatorias binarias multivariantes en el sentido de que comparte propiedades similares a la distribución gaussiana multivariante. Véase el siguiente artículo para más detalles:
T. Arai, " Distribución de probabilidad binaria multivariante en el formalismo de Grassmann ", Physical Review E 103, 062104, 2021.

Answer 4

No sé cómo se llama la distribución resultante, o si siquiera tiene un nombre, pero me parece que la forma obvia de configurar esto es pensar en el modelo que se utilizaría para modelar una tabla 2×2×2× ×2 utilizando un modelo log-lineal (regresión de Poisson). Como sólo se conocen las interacciones de primer orden, es natural suponer que todas las interacciones de orden superior son nulas.

Utilizando la notación del interrogador, se obtiene el modelo: $$P(X_1=x_1, X_2=x_2,\ldots,X_n=x_n) = \prod_i \left[ p_i^{x_i}(1-p_i)^{1-x_i} \prod_{j<i} \left(\frac{p_{ij}}{p_i p_j}\right)^{x_i x_j} \right] $$