Me topé con esta pregunta mientras estudiaba el mismo libro de texto, pero encontré que la respuesta amable de Mariano Suárez-Álvarez, aunque por supuesto apreciada, carecía del detalle que deseaba. Afortunadamente, Justin Rising publicó una respuesta más elaborada a la misma pregunta en Quora. He decidido copiarla y pegarla aquí para el beneficio de otros.
La respuesta de Justin Rising a la misma pregunta en Quora:
Considera R3 con la métrica euclidiana estándar, y mira el conjunto de puntos (x,y,0) tal que x2+y2≤1. ¿Cuál es el interior de este conjunto?
Un punto está en el interior de un conjunto si puedes dibujar una pequeña bola abierta alrededor de él que esté contenida en el conjunto. Pero para cualquier punto en nuestro conjunto, cualquier bola abierta alrededor de cualquier punto en él contendrá puntos fuera del plano x−y, por lo que tiene un interior vacío.
Esto es técnicamente correcto, pero es un comportamiento indeseable. El interior relativo de un conjunto se obtiene mirando el cono afín (http://en.wikipedia.org/wiki/Affine_hull) del conjunto, que en este caso es R2, y utilizando la métrica apropiada allí. Entonces, aunque nuestro conjunto tiene un interior vacío, su interior relativo es el interior del disco unitario, que es lo que "realmente debería ser".
Los interiores relativos son muy importantes en la optimización convexa, donde realmente estarías restringiendo el conjunto de problemas que puedes resolver sin motivo alguno si insistieras en utilizar interiores en lugar de interiores relativos.
Surge en los comentarios, y vale la pena añadirlo a la respuesta, que hay muy buenas razones para hablar tanto de interiores como de interiores relativos. El interior relativo solo se define en espacios vectoriales; en particular, tienes nociones de adición y multiplicación escalar para definir un cono afín. Si fuera a definir una topología en las palabras del diccionario, podría hablar del interior de un conjunto de inmediato, pero tendría que hacer bastante trabajo para poder hablar de interiores relativos.