Óptimo de muestreo para estimar una función cuadrática

Question

Supongamos que tengo una función cuadrática: $$ f(x) = a^T x + x^TBx $$ con $x \in \mathbb{R}^n$. Dado un punto de $x$ puedo medir la $f(x)$ hasta un poco de ruido, es decir, que yo pueda obtener una medición: $$ \hat{f}(x) = f(x) + z \; \;\;\; z \sim N(0,\sigma^2). $$ Ahora, dado un punto de $x_0$ e una $n$-dimensional $S^n$ bola de radio $\epsilon$ centrada alrededor ($S^n = \{x: ||x-x_0|| \leq \epsilon \}$), hay una óptima (en algún sentido) manera de seleccionar los puntos de $S^n$ para la estimación de los parámetros de $a$$B$?

Hasta ahora he muestreado puntos de $S^n$ al azar, pero tal vez hay una manera de aprovechar el hecho de que $f(x)$ es cuadrática. También he elegido yo esfera, pero podría haber utilizado un hipercubo, lo importante es que tengo que evaluar la función alrededor de un punto de $x_0$ (que se da) sin ir muy lejos de ella.

Answer 1

Deje $y_i$ el valor de la variable aleatoria $\hat{f}(x_i)$ $Y_n$ denotar $\{y_i\}_{i \leq n}$,

En el caso de que usted tiene que solucionar todos sus puntos de $\{x_i\}_{i \leq n}$ antes de recibir cualquier observación $y_i$, le sugiero que considerar los puntos que maximizan algunos óptimo diseño de criterio. Como StasK dijo, D-optimalidad es un criterio común a la hora. Latina Hipercubo de Muestreo es una forma sencilla de aproximar estos diseños, y a menudo está implementado en el software como Matlab.

Si su procedimiento es secuencial, es decir, usted sabe $Y_i$ antes de elegir a $x_{i+1}$, puede que desee incluir en su conocimiento previo acerca de la $f$. Un buen criterio es entonces la Ganancia de Información (un.k.una Información Mutua). $$I(y_{i+1} \mid Y_i) = H(y_{i+1}) - H(y_{i+1} \mid Y_i)$$ donde $H(X)$ el valor del diferencial de la entropía de la variable $X$. A continuación, puede elegir el $x$ maximización de la ganancia de información en cada paso, $$x_{i+1} = \underset{x \in S^n}{argmax}\ I(x \mid Y_i)$$