Los intervalos de confianza para un polinomio

Question

Tengo una variable aleatoria $Z$ que toma valores en los números enteros no negativos $\{ 0,1,2,\dots \}$, llamar a las probabilidades de cada resultado $z_k:=P[Z=k]$. Puedo probar de $Z$'s de distribución de forma independiente y barato; actualmente tengo un tamaño de muestra de $2^{28}$. Parece que $z_0\approx 0.24, z_1\approx 0.18,\dots$, con alrededor de decaimiento exponencial.

Tengo una secuencia de formas cuadráticas con coeficientes positivos:

• $Q_0(z_0) = \frac14 z_0^2$
• $Q_1(z_0,z_1) = \frac 12 {z_0 z_1}$
• ...
• $Q_7(z_0,z_1,\dots,z_7) = \frac{1}{8} \left(2 z_0 z_1+3 z_2 z_1+4 z_4 z_1+4 z_6 z_1+3 z_0 z_3 + \right.$ $\qquad\qquad\qquad\qquad\qquad\qquad \a la izquierda. +4 z_2 z_3+4 z_3 z_4+4 z_0 z_5+4 z_2 z_5+4 z_0 z_7\right)$
• ...

Lo que me gustaría tener es un intervalo de confianza para la $Q_i$'s que está a menos de $10^{-4}$ amplia, pero voy a tomar todo lo que se puede conseguir.

He rigurosos límites en las $z_i$, y dado que los coeficientes de las $Q$'s son todas positivas, es sencillo para convertirlas en riguroso de los límites de la $Q$'s. Pero no sé cómo hacer esto correctamente con los intervalos de confianza.

---

¿Qué es esto? He encontrado un extraño fenómeno en la teoría de números, y sé cómo demostrar que realmente sucede, pero en realidad se requiere un poco de programación de esfuerzo por mi parte y una cantidad considerable de tiempo en nuestro local de clúster. Antes de invertir ese tiempo y obstruir nuestra máquina, me gustaría ser más seguro que estoy de que el fenómeno es real.

Quiero cuantificar la razonabilidad de mi afirmación de que $Q_7<Q_6$$Q_7<Q_8$. Mis estimaciones indican que $Q_6-Q_7$ es de alrededor de $5\cdot 10^{-4}$, que es la razón por la que yo quería CIs en esa resolución.

Revisión de un gran número entero $n$, y deje $A$ ser de manera uniforme un subconjunto elegido de $\{1,2,\dots,n\}$ (es decir, cada subconjunto particular ha probabilidad de $2^{-n}$ de ser elegido). Deje $Q_k(n)$ la probabilidad de que exactamente $k$ de los números de $\{2,3,\dots,2n\}$ no puede ser escrito como la suma de dos elementos de $A$; deje $Q_k = \lim_n Q_k(n)$. Es un poco difícil de demostrar, pero esos límites existen y $\sum_{k} Q_k =1$. Ahora no es ninguna sorpresa que $Q_0$ es pequeña, y como $k$ aumenta el $Q_k$ aumenta, tiene un pico y luego decae exponencialmente. El extraño de todo es que hay un sesgo en contra de la 7. Es decir, experimentalmente $Q_7< Q_6$$Q_7<Q_8$. Que es, lo que no fue una sorpresa, en realidad no es cierto: la distribución es bimodal.

De lo que puedo expresar el $Q_i$'s (usando la teoría) como arriba, sin el límite en términos de esta distribución, que se define por la $z_i$'s. Eso es útil porque tengo una forma rigurosamente obligado el $z_i$'s usando, como he mencionado anteriormente, algunos cálculos de gran tamaño. También, tengo un conjunto de datos muy grande para el $Z$ variable.

Answer 1

En mi respuesta, me ofrecen muchos enlaces a material de fondo para ahorrar espacio aquí. Voy a escribir mi respuesta tomando la info en los enlaces.

Creo que un enfoque Bayesiano es un ajuste natural para este problema, especialmente desde que buscar convencer sólo a ti mismo. Es un poco complicada de utilizar los intervalos de confianza para responder a la pregunta que realmente importa, es decir, qué tan plausible es que el $Q_{7}<Q_{6}$ $Q_{7}<Q_{8}$ dado el ejemplo de la $z_{i}$ distribución? El enfoque Bayesiano permite abordar esta cuestión directamente.

La función de probabilidad

Deje $f_k$ ser la frecuencia observada de número entero resultado $k$ en la muestra y deje $N$ ser el tamaño de la muestra. La función de probabilidad es proporcional a la distribución multinomial. Tiene la forma

$L(z_{0},...z_{8};f_{0},...f_{8})=\prod_{i=0}^{8}{z_{i}}^{Nf_{i}}$.

Antes de la distribución

La distribución Dirichlet es la elección natural para la distribución previa porque es el conjugado previo para la probabilidad multinomial. Tiene la forma

$p(z_{0},...z_{8};\alpha_{0},...,\alpha_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}-1}$

Este estado tiene nueve hyperparameters ($\alpha_i$ valores), y son un poco de un dolor de tratar. En este "gran ejemplo" de contexto, cualquier opción razonable de hyperparameter valores se han insignificante influencia en el resultado, pero aún así, creo que merece la pena dedicar un poco de esfuerzo para la selección de valores sensatos.

Esto es lo que recomendamos que ajuste la hyperparameters. En primer lugar, tenga en cuenta que bajo esta distribución $\mathrm{E}(z_{i})=\frac{\alpha_{i}}{\sum_{i=0}^{8}\alpha_{i}}$. Siguiente, tenga en cuenta que el más simple de máxima entropía de distribución sobre los productos naturales es la distribución geométrica. A fin de establecer

$\alpha_{i+1}=r\alpha_{i}=r^{i}\alpha_{0},\,0<r<1,$

$\alpha_{0}=A\left(\frac{1-r}{1-r^{9}}\right).$

A continuación,$\mathrm{E}(z_{i})=r^{i}\left(\frac{1-r}{1-r^{9}}\right)$, por lo que la distribución de la $z_{i}$ valores se centra en un (trunca) distribución geométrica. Además, $\mathrm{Var}\left(z_{i}\right)\propto\frac{1}{(A+1)}$, por lo que el valor de $A$ controles de la dispersión en torno a esta expectativa, pero no tiene ningún efecto en la expectativa de sí mismo.

Esta especificación se reduce el número de hyperparameters de los nueve $\alpha_{i}$ valores a sólo $r$$A$. Voy a aplazar la discusión de los valores específicos de $r$ $A$ por ahora.

Probabilidad Posterior de la proposición de interés

La distribución posterior de la $z_{i}$ valores es la siguiente distribución Dirichlet:

$p(z_{0},...z_{8}|f_{0},...,f_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_{i}-1}.$

Deje $\mathbb{Y}=\left\{ z_{0},...z_{8}|Q_7<Q_6 \text{ and } Q_7<Q_8\right\} $. La probabilidad posterior de que usted está interesado en es

$\Pr(Q_7<Q_6 \text{ and } Q_7<Q_8|f_0,...,f_8) \propto \int_{\mathbb{Y}}\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_i-1}dz_{i}.$

Esta integral es intractible, pero se puede calcular la probabilidad de interés numéricamente utilizando el siguiente algoritmo de Monte Carlo.

Para$j$$1$$J$,

1. Muestra un conjunto de $z_i$ de los valores de su posterior distribución.

2. El uso de los valores de las muestras para calcular $y_j=I(Q_{7}<Q_{6})I(Q_{7}<Q_{8})$ donde $I(\cdot)$ es el indicador de la función.

A continuación,$\Pr(Q_7<Q_6 \text{ and }Q_7<Q_8|f_{0},...,f_{8})\approx \frac{\sum_{j=0}^Jy_j}{J}$.

La exactitud de la Monte Carlo aproximación va como $\sqrt{J}$: $J=10^4$ conseguirá que al menos dos decimales de precisión 19 veces de cada 20, $J=10^6$ obtendrá al menos tres decimales de precisión 19 de cada 20 veces, etc.

Y si su probabilidad posterior de interés no está cerca de 0 o 1, sólo la muestra más datos, enjuague y repita.

Antes de hyperparameters, parte dos

El exponente de $z_i$ en la expresión de la parte posterior de la densidad es

$\alpha_i + Nf_i - 1 = Ar^{i}\left(\frac{1-r}{1-r^{9}}\right) +Nf_i - 1 = A\mathrm{E}(z_i) +Nf_i - 1$

Se puede observar que el hyperparameter $A$ juega el mismo papel en la distribución previa como $N$ juega en la probabilidad, es una especie de "estado de la tamaño de la muestra". Para garantizar que el estado tiene una influencia insignificante en la conclusión, solo tienes que elegir un valor de $A$ tal que $A\ll N$; por ejemplo, $A = 1$.

Para establecer $r$, tenga en cuenta que usted puede calcular la probabilidad anterior de la proposición $Q_7<Q_6 \text{ and } Q_7<Q_8$ utilizando el mismo algoritmo de Monte Carlo descritas anteriormente, pero con la previa distribución en lugar de la distribución posterior en el paso 1 del bucle. Trate de encontrar un valor de $r$ que da una probabilidad anterior de 0,5 (o más, si usted siente que es más razonable).

Answer 2

Supongo que los z_k no son probabilidades, pero muestra las frecuencias. Esto es porque, de lo contrario, Q_i(z_0, ..., z_i) no es una variable aleatoria. En ese caso, el cálculo de la varianza de la Q_i es sencillo álgebra. Definir, en primer lugar, el caso de los indicadores de Z_i que es 1 si Z == i, 0 en caso contrario. Es una variable aleatoria de Bernoulli con probabilidad de p_i. Usted puede calcular el primer y segundo momentos de cualquiera de estas variables y se deben dar todos los términos necesarios para el cálculo de la varianza de la Q_i.

Answer 3

Kevin, por favor, tenga cuidado ya que voy a tener que cambiar su notación un poco: su $z_i$'s no son mis $z_i$'s.

Creo que el siguiente Bayesiano solución es vale la pena intentarlo. Cocinar un parámetro al azar $\Lambda>0$ y deje $Z_1,\dots,Z_n$ condicionalmente yo.yo.d., dado $\Lambda=\lambda$,$Z_i\mid\Lambda = \lambda \sim \textrm{Poisson}(\lambda)$. El uso de la notación $Z=(Z_1,\dots,Z_n)$. Usted ya tiene una muestra de $z=(z_1,\dots,z_n)$ de la $Z_i$'s, con $n=2^{28}$. Definir las variables aleatorias $$\Theta_i = P\{Z_i=k\mid \Lambda\} = \frac{e^{-\Lambda}\Lambda^k }{k!} \, , $$ para $i\geq 0$ (si esto no es claro, echar un vistazo). Ahora, en esta formulación de sus formas cuadráticas $Q_i=Q_i(\Theta_0,\dots,\Theta_i) = Q_i(\Lambda)$ son funciones de la $\Lambda$. Así, el $Q_i$'s son al azar y se desea determinar la probabilidad posterior $$ P\{Q_7<Q_6 \,\,\,\textrm{y}\,\,\, Q_7<Q_8\mediados de Z=z\} \, . \qquad (*) $$ Con una antes de $\Lambda\sim\textrm{Gamma}(a,b)$, utilizando el Teorema de Bayes, tenemos $$ \Lambda\mediados de Z=z \sim \, \textrm{Gamma}\left( a + \sum_{i=1}^n z_i, b + n\right) \, . $$ Calcular los $(*)$ generación yo.yo.d. $\lambda_i$'s de la antigua distribución (uso R!) y computación $$ \frac{1}{N} \sum_{i=1}^N I_{(-\infty,Q_6(\lambda_i))\cap(Q_8(\lambda_i),\infty)}(Q_7(\lambda_i)) \, , $$ que converge, por la fuerte ley de los grandes números, a $(*)$ casi seguramente. Para obtener un "sí" a la pregunta original, esta probabilidad posterior debe ser "lo suficientemente grande". Con una enorme cantidad de muestra ($n=2^{28}$), creo que es posible jugar con los valores de $a$ $b$ a antes de hacer su elección de no mucho "informativo".