Lo verás igual, independientemente del índice de refracción de tu medio. La razón es tan sencilla como que, cuando la luz llegue a tu retina, estará viajando por el interior de tu ojo, por lo que el único índice de refracción que importa es el del ojo.
¿Qué es lo que realmente detectamos, la longitud de onda de la frecuencia? La frecuencia es la que está relacionada con la energía, por lo que mi sensación es que debe ser la que influye en las reacciones químicas, es decir, al final, la forma en que los conos pueden detectar la luz.
En efecto, el humor vítreo (el relleno interior de los globos oculares) pierde agua con la edad, hasta el punto de se está muriendo de la retina, algo muy común entre las personas mayores (Wikipedia dice que el 75% de > 65 años). Las principales consecuencias son los artefactos visuales, pero nadie ha afirmado que los colores se vean diferentes de repente.
Los libros de física citan las longitudes de onda porque suelen ser las que se miden en el laboratorio en el rango óptico. Además, los valores numéricos son (y esto es subjetivo) más convenientes.