Las áreas matemáticas más útiles para un programador son
- trigonometría y álgebra lineal, especialmente para dibujar y reconocer formas, trazado de rayos, animaciones, etc,
- combinatoria, en particular para enumerar conjuntos de forma inteligente, estimar tiempos de ejecución de bucles simples y recursiones, etc,
- algo de teoría elemental de grupos y, en particular, de grupos de permutación, para algoritmos que impliquen trazar grafos (en particular, árboles) y también para la enumeración inteligente, como en el caso anterior.
Hay un montón de libros introductorios sobre cada uno de los temas mencionados, aunque quizá otras personas puedan comentar cuáles son los más adecuados para los no matemáticos. Tenga en cuenta que las tres áreas son bastante independientes, al menos al principio, y puede aprenderlas en cualquier orden o en paralelo.
Edición: He olvidado la que posiblemente sea la mejor manera de empezar: una vez que conozcas la definición y algunos datos básicos sobre los grupos, deberías leer el libro Perlas de Indra . Es un libro muy bonito que explica cómo dibujar ciertos tipos de fractales con el ordenador. Introduce todas las matemáticas relevantes prácticamente desde cero y proporciona los programas reales en pseudocódigo, listos para que los implementes en tu lenguaje favorito. Las matemáticas y los algoritmos que introduce son muy relevantes para otras situaciones, pero como te interesan especialmente los gráficos, ¡difícilmente encontrarás una forma mejor de empezar! Incluso hay un infografista que basa parte de su trabajo en ese libro.