En inglés, los nombres propios con mayúsculas. El número de casos que mencionas son todos los usos como los nombres propios, sino simplemente que se referirá a un lexema o corolario, no por su nombre no es el uso de un nombre propio, y lo es con mayúsculas.
Así, por ejemplo, uno debe escribir sobre el lema antes Teorema 1.2 de tener una prueba similar a la Lema 5, mientras que el principal corolario de la Sección 2 no.
Edit. Bueno, me he convertido en un conflicto. El Manual de Estilo de Chicago, de la que siempre he tomado como mi guía en la materia, afirma en el punto 7.136 que "la palabra capítulo es convertidas a minúsculas y se detallan en el texto". Y en 7.141 están a favor de la ley 3 y escena 5 en palabras que denotan partes de poemas y obras de teatro. Esto parece hablar en contra de la Sección 2 y posiblemente contra Teorema 1.2. En 7.135 dicen que el común de títulos como prólogo, prefacio, introducción, contenido, etc. son convertidas a minúsculas, como en "Allan Nevins escribió el prólogo...". Esto también puede ser evidencia en contra del Teorema 1.2. Pero en 7.147 están a favor de Piano Sonata no. 2, que puede ser evidencia en favor del Teorema 1.2. Pero no el tratamiento matemático escrito de forma explícita, y ahora estoy menos seguro de lo que he creído siempre, por encima de. He de hacer notar que la CSM mismo texto se refiere a "fig. 1.2" y "la figura 9.3", y no en la Figura 1.2, lo que claramente hablan en contra del Teorema 1.2. Así que me temo que voy a tener que cambiar mi opinión acerca de esto.