Espero que esto sea útil, sólo estoy describiendo lo que me funcionó bien en el pasado. Recomiendo usar libros físicos reales (por ejemplo, yo usé Matemáticas para el millón - Lancelot Hogben en esta etapa y recomendaría este libro en particular también porque le tengo mucho cariño).
Además, puedes aprender muy bien los conceptos matemáticos básicos programándolos (por ejemplo, algoritmos para convertir entre bases, factorizar cuadráticas, encontrar raíces cuadradas por el método de Newton cuando llegues al cálculo) - si sólo programas por programar probablemente no aprenderás muchas matemáticas (o al menos, la mayor parte de lo que aprendas será por accidente), pero si lo haces como un acto de explicación detallada puede ser un proceso excelente para encontrar una comprensión mucho más clara de lo que sea que estés aprendiendo (¡y como extra puedes ejecutarlos para resolver automáticamente problemas que ya sabes hacer!)
Para encontrar un camino sería útil que hicieras una lista de los teoremas o aplicaciones más avanzadas que te fascinan (tendrás que elegir los tuyos, pero me refiero a cosas como por qué las órbitas de los planetas en el universo de Newton son elipses, por qué no se puede cuadrar el círculo o cómo funciona el raytracing, etc. No importa si te rindes después de un par de meses de trabajo extremadamente duro al descubrir que no puedes estudiar estas cosas todavía, porque aún así habrás sacado mucho provecho de ello.