Tengo formación en programación informática y teoría numérica elemental, pero ninguna formación real en estadística, y recientemente he "descubierto" que el sorprendente mundo de toda una serie de técnicas es en realidad un mundo estadístico. Parece que las factorizaciones de matrices, la terminación de matrices, los tensores de alta dimensión, las incrustaciones, la estimación de la densidad, la inferencia bayesiana, las particiones de Markov, el cálculo de vectores propios y el PageRank son todas técnicas altamente estadísticas, y que los algoritmos de aprendizaje automático que utilizan estas cosas, utilizan mucha estadística.
Mi objetivo es ser capaz de leer los artículos que discuten estas cosas, e implementar o crear los algoritmos, mientras que la comprensión de la notación, "pruebas" y argumentos estadísticos utilizados. Supongo que lo más difícil es seguir todas las pruebas que implican matrices.
¿Qué documentos básicos pueden ayudarme a empezar? ¿O un buen libro de texto con ejercicios que merezca la pena trabajar?
En concreto, algunos papeles que me gustaría entender completamente son :
- Finalización exacta de matrices mediante optimización convexa, Candes, Recht, 2008
- La transformada rápida de Cauchy y la regresión lineal robusta más rápida, Clarkson et al, 2013
- Proyecciones aleatorias para máquinas de vectores de apoyo, Paul et al, 2013
- Estimación de la probabilidad en alta dimensión con modelos de densidad profunda, Rippel, Adams, 2013
- Obtención de estimaciones que minimizan el error y límites universales de error de entrada para la compleción de matrices de bajo rango, Király, Theran, 2013
1 votos
¿Está usted ya familiarizado con las matrices, por ejemplo, a través de un curso de álgebra lineal aplicada, o es eso parte de lo que está buscando aprender? Yo diría que la primera mitad de la lista que has dado son temas importantes en estadística más que en técnica altamente estadística (lo que me parece que va en la dirección contraria). Hay varias preguntas aquí sobre los libros recomendados para el aprendizaje de la máquina estadística. Te sugeriría que aportaras un ejemplo o dos de específico papeles que has encontrado y que te gustaría entender; eso ayudará a enfocar mejor las respuestas que recibas.
2 votos
Sí, estoy familiarizado con las matrices, a través del álgebra lineal, y con los conceptos de espacio vectorial, bases, normas, pero no entiendo del todo cosas como la factorización LU, aunque tengo bastante claro la ortogonalización de Gram-Schmidt y el algoritmo QR no optimizado, aunque no del todo por qué funcionan. También no entiendo cómo la gente puede derivar los vectores propios de una matriz aleatoria sin realizar un algoritmo de vectores propios sobre ella.