Referencias sobre optimización numérica para estadísticos

Question

Estoy buscando una referencia sólida (o referencias) numéricos de optimización de técnicas dirigidas a los estadísticos, es decir, aplicar estos métodos a algún criterio inferencial problemas (por ejemplo el MAPA/MLE en común de los modelos). Cosas como el gradiente de la pendiente (recta y estocástico), EM y sus spin-offs/generalizaciones, recocido simulado, etc.

Tengo la esperanza de que habría algunas notas prácticas sobre la aplicación (tan a menudo carecen de papeles). No tiene que ser completamente explícita, pero al menos debe proporcionar una sólida bibliografía.

Algunos superficial de la búsqueda subido un par de textos: Análisis Numérico para los Estadísticos por Ken Lange y Métodos Numéricos de Estadísticas por Juan Monahan. Opiniones de cada parecen mixto (y escasa). De las dos la lectura de la tabla de contenido sugiere la 2ª edición de Lange libro es el más cercano a lo que yo busco.

Answer 1

James Suave Computacional de Estadística (2009).

James Suave del álgebra de matrices: teoría, cálculos y aplicaciones en estadística (2007), más hacia el final del libro, el comienzo es genial también, pero no es exactamente lo que estás buscando.

Christopher M. Obispo de Reconocimiento de patrones (2006).

Hastie et al.'s de Los elementos de aprendizaje estadístico: minería de datos, inferencia y predicción (2009).

Está usted buscando algo como de bajo nivel como un texto que se responda a una pregunta como: "¿por Qué es más eficiente para almacenar matrices y de mayores dimensiones de las matrices como un 1-D de la matriz, y cómo puedo índice en la costumbre M(0, 1, 3, ...)?" o algo como "¿Cuáles son algunas de las técnicas que se utilizan para optimizar los algoritmos estándar, tales como el gradiente de la pendiente, EM, etc.?"?

La mayoría de los textos en el aprendizaje de máquina proporcionará un debate en profundidad del tema(s) que usted está buscando.

Answer 2

Libro de Nocedal y Wrights

http://users.EECS.Northwestern.edu/~Nocedal/Book/

es una buena referencia para la optimización en general, y muchas cosas en su libro son de interés para un estadístico. También hay un capítulo entero en mínimos cuadrados no lineales.

Answer 3

Optimización, por Kenneth Lange (Springer, 2004), revisado en JASA por Russell Steele. Es un buen libro de texto con de suave álgebra matricial para un curso introductorio de cálculo de la matriz y optimización, como el de Jan de Leeuw (cursos/202B).

Answer 4

Como complemento a estas, usted puede encontrar Magnus, J. R. y H. Neudecker (2007). Matriz de Cálculo con Aplicaciones en Estadística y Econometría, 3ª ed útil aunque sea pesado. Se desarrolla un tratamiento completo de infinitesimales operaciones con matrices, y luego los aplica en un número de estadística típica de las tareas tales como la optimización de la MLE y no lineal de mínimos cuadrados. Si en el final del día, usted va a terminar de averiguar hacia atrás a la estabilidad de la matriz de los algoritmos, la buena comprensión de la matriz de cálculo será indispensable. Yo personalmente utilizan las herramientas de la matriz de cálculo en la determinación de asintótica resultados en estadística espacial y multivariante de los modelos paramétricos.